Zwei Bots rufen im Auftrag von Wevion Seiten ab, und beide nennen sich in ihrem User-Agent.
WevionStackCheck
Er liest eine Website nur aus, wenn jemand auf wevion.ai ihre Domain in unseren Stack-Rechner für Werbe-Tools eingibt.
Er fragt die robots.txt ab, dann die öffentliche Startseite und, wenn die Seite einen Google-Tag-Manager-Container lädt, bis zu zwei Container von googletagmanager.com. Er sendet nie Formulare ab, meldet sich nie an, folgt keinen Links zu anderen Seiten und führt den Code der Seite nicht aus.
Er gibt sich mit diesem User-Agent zu erkennen:
Mozilla/5.0 (compatible; WevionStackCheck/1.0; +https://wevion.ai/bot)Wir speichern die Liste der gefundenen Tools 24 Stunden lang, damit dieselbe Website in dieser Zeit nicht zweimal ausgelesen wird. Wir speichern keine Kopie der Seite und veröffentlichen nicht, was wir gefunden haben.
So sperrst du WevionStackCheck aus
Füge diese Zeilen in deine robots.txt ein. Der Bot fragt zuerst die robots.txt ab und geht dann nicht weiter.
User-agent: WevionStackCheck
Disallow: /WevionSeoBot
Er liest die Sitemaps und Seiten von Websites, deren Betreiber sie mit Wevion verbunden haben, im Auftrag des Betreibers.
Er gibt sich mit diesem User-Agent zu erkennen:
WevionSeoBot/1.0 (+https://wevion.ai/bot)