Meta AI 爬虫与艺术家网站超过 550,000 次访问相关联

NET-4.01%

关键要点

  • Meta AI 爬虫对 Chelsea Paulus 的网站发起了超过 550,000 次请求,导致她的 SiteGround 主机资源不堪重负,CPU 使用率达到 100%。
  • Meta 将 Meta External Agent 和 Meta Web Indexer 爬虫列为用于训练基础 AI 模型以及提升 Meta AI 搜索结果质量的工具。
  • SiteGround 的服务器端防护措施被证明不足后,Paulus 使用 robots.txt、防火墙和 Cloudflare 的免费人机验证工具屏蔽了这些爬虫。

总部位于圣迭戈的艺术家兼儿童读物作家 Chelsea Paulus 告诉 Business Insider,Meta 的一个机器人向她的网站发起了超过 550,000 次访问。她说,这些流量耗尽了她的托管资源,而 Meta 的开发者文档称,爬虫的用途包括训练 AI 模型和改进产品。

Meta 爬虫耗尽了 Paulus 网站的托管资源

Paulus 说,她经营自己的生意已有十年,并于去年成为全职艺术家。她的四个网站共用 SiteGround 的一个托管方案。SiteGround 总部位于保加利亚。她说自己以前从事过科技和网页设计工作,随着流量不断累积,她注意到出了问题。

10 月 24 日,SiteGround 给 Paulus 发邮件,警告她已用掉分配给她的 CPU 资源的 80%。到了接下来那个周一,当她查看安全仪表板时,发现每秒有数次请求传入。她在 WordFence 中追踪到一个 IP 地址,发现其位置与 Meta 在达拉斯的地点相符。访客自称“Meta External Agent”,SiteGround 的运营人员后来确认了这一点。

Meta 的开发者网页称,Meta External Agent“会抓取网络内容,用于训练基础 AI 模型或通过直接索引内容来改进产品等场景”。Paulus 说,她偶尔投放过 Meta 广告,以前也见过 Facebook 机器人访问她的网站,但从未遇到过如此大量的访问。她说,她不认为这是有意或恶意的攻击。

Paulus 使用托管控制措施屏蔽 Meta 爬虫

Paulus 说,她编辑了 robots.txt 文件并设置了防火墙,但这些措施可能需要 24 小时才能生效。她联系 SiteGround,要求立即阻止这些机器人。据 Paulus 称,托管服务商给了她一段代码,让她添加到网站上的一个隐藏文件中;她说,这并不是普通网站所有者会想要编辑的内容。

这一解决办法只是暂时的。到了周中,Paulus 说,另一个名为“Meta Web Indexer”的 Meta 机器人出现了,并将她的托管资源使用率推至 100%。Meta 的开发者指南将 Meta Web Indexer 定义为一种爬虫,它“会浏览网络,以提升用户的 Meta AI 搜索结果质量”。

Meta 发言人周一告诉 Business Insider,网站管理者可以控制机器人活动,并将该媒体引向 Meta 的《Meta Web Crawlers Developer Documentation》。发言人称,Meta 会出于不同目的使用网络爬虫,管理者可以通过 robots.txt 等工具控制爬虫与其网站的互动方式,而且 Meta 会提供公开指南并尊重网站所有者的偏好。SiteGround 未回应置评请求。在一张邮件往来截图中,SiteGround 表示,其“服务器端防护”已经在限制机器人尝试访问。

Paulus 的网站仍难以应对流量

截至周一,Paulus 说她的网站仍难以应对流量。她从 Instagram 个人资料中移除了网页链接,以防止更多真人点击导致网站彻底离线。她说自己无力提高网站的流量额度,因为机器人不是客户,也不会带来额外收入。

Paulus 说,没有法律禁止 AI 机器人抓取可公开访问的网站。她还在考虑使用 Cloudflare 的真人验证工具来阻止机器人访问她的网站;据报道,当时该工具可以免费使用。她呼吁 Meta 设置防护措施,并表示,如果问题持续下去,她认为小企业会为更高的使用额度或保护自身的相关计划支付更多费用。

Meta 爬虫事件详情

  • Paulus 说,Meta 的一个机器人向她的网站发起了超过 550,000 次访问。
  • 10 月 24 日,SiteGround 警告 Paulus,她已用掉分配给她的 CPU 资源的 80%。
  • Paulus 说,接下来那个周一她查看安全仪表板时,每秒有数次请求传入。
  • Paulus 说,到了周中,Meta Web Indexer 将她的托管资源使用率推至 100%。
  • Paulus 的四个网站共用一个 SiteGround 托管方案。
  • Meta 的开发者文档称,Meta External Agent 会抓取网络内容,用于包括训练基础 AI 模型和通过直接索引内容改进产品在内的场景。
  • Meta 的开发者指南称,Meta Web Indexer 会浏览网络,以提升用户的 Meta AI 搜索结果质量。
  • Paulus 说,robots.txt 和防火墙的更改可能需要 24 小时才能生效。
  • Paulus 说,据报道,当时 Cloudflare 的真人验证工具可以免费使用。

常见问题

Meta External Agent 有什么用途?

Meta 的开发者网页称,Meta External Agent 会抓取网络内容,用于训练基础 AI 模型或通过直接索引内容来改进产品等场景。

Meta Web Indexer 对 Paulus 的网站做了什么?

Paulus 说,到了周中,Meta Web Indexer 出现并将她的托管资源使用率推至 100%。Meta 的开发者指南称,它是一种会浏览网络、以提升用户 Meta AI 搜索结果质量的爬虫。

Paulus 如何尝试阻止这些爬虫?

Paulus 说,她编辑了 robots.txt 文件、设置了防火墙,并联系了 SiteGround。她说,托管服务商提供了一段代码,让她添加到网站上的一个隐藏文件中。她还在考虑使用 Cloudflare 的真人验证工具;据报道,当时该工具可以免费使用。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论