Два робота загружают страницы от имени Wevion, и оба указывают своё имя в заголовке User-Agent.
WevionStackCheck
Он читает сайт, только когда посетитель wevion.ai вводит домен этого сайта в наш калькулятор набора рекламных инструментов.
Он запрашивает robots.txt, затем публичную главную страницу и, если страница загружает контейнер Google Tag Manager, не более двух контейнеров с googletagmanager.com. Он никогда не отправляет формы, не входит в аккаунты, не переходит по ссылкам на другие страницы и не запускает код страницы.
Он представляется таким User-Agent:
Mozilla/5.0 (compatible; WevionStackCheck/1.0; +https://wevion.ai/bot)Мы храним список найденных инструментов 24 часа, чтобы за это время не читать один и тот же сайт дважды. Мы не храним копию страницы и не публикуем найденное.
Как закрыть доступ роботу WevionStackCheck
Добавьте эти строки в ваш robots.txt. Робот сначала запрашивает robots.txt и на этом останавливается.
User-agent: WevionStackCheck
Disallow: /WevionSeoBot
Он читает карты сайта (sitemap) и страницы сайтов, владельцы которых подключили их к Wevion, от имени владельца.
Он представляется таким User-Agent:
WevionSeoBot/1.0 (+https://wevion.ai/bot)