Wevionのためにページを取得するボットは2つあり、どちらもユーザーエージェントで自らを名乗ります。
WevionStackCheck
wevion.aiの訪問者が、広告運用ツールの費用計算ツールにサイトのドメインを入力したときだけ、そのサイトを読み取ります。
まずrobots.txtを、次に公開トップページを取得し、ページがGoogleタグマネージャーのコンテナを読み込む場合は、googletagmanager.comから最大2つのコンテナを取得します。フォームの送信、ログイン、他ページへのリンクの追跡、ページのコードの実行は一切行いません。
次のユーザーエージェントで名乗ります。
Mozilla/5.0 (compatible; WevionStackCheck/1.0; +https://wevion.ai/bot)見つかったツールの一覧は24時間保存し、その間に同じサイトを二度読み取らないようにしています。ページのコピーは保存せず、見つかった内容を公開することもありません。
WevionStackCheckを拒否する方法
robots.txtに次の行を追加してください。このボットは最初にrobots.txtを確認し、そこで読み取りを止めます。
User-agent: WevionStackCheck
Disallow: /WevionSeoBot
運営者がWevionに接続したサイトのサイトマップとページを、運営者に代わって読み取ります。
次のユーザーエージェントで名乗ります。
WevionSeoBot/1.0 (+https://wevion.ai/bot)