有两个读取程序代表 Wevion 抓取页面,两者都会在用户代理(User-Agent)中标明自己的名称。
WevionStackCheck
只有当 wevion.ai 的访客在我们的广告投放工具计算器中输入某个网站的域名时,它才会读取该网站。
它先请求 robots.txt,再请求公开首页;如果页面加载了 Google Tag Manager 容器,还会从 googletagmanager.com 请求最多两个容器。它从不提交表单、登录、跟随链接访问其他页面,也从不运行页面的代码。
它使用以下 User-Agent 标明身份:
Mozilla/5.0 (compatible; WevionStackCheck/1.0; +https://wevion.ai/bot)我们会把找到的工具列表保存 24 小时,这样同一个网站在这段时间内不会被读取两次。我们不保存页面副本,也不公开找到的内容。
如何阻止 WevionStackCheck 访问
把以下几行添加到你的 robots.txt。读取程序会先请求 robots.txt,读到这里就会停止。
User-agent: WevionStackCheck
Disallow: /WevionSeoBot
它代表网站所有者,读取所有者已接入 Wevion 的网站的站点地图和页面。
它使用以下 User-Agent 标明身份:
WevionSeoBot/1.0 (+https://wevion.ai/bot)