部署 Anubis:让 AI 网络爬虫寸步难行
Anubis 是一款基于工作量证明的中间件解决方案。它接收传入流量,进行特殊处理后,决定是否将请求转发至您的Web服务器。具体实现将在后文详述。本文旨在记录我的实践过程(供个人参考),并提供简明易懂的部署指南(供您参考)。
在 FreeBSD 上配置 Anubis 反 AI 爬虫工具
阿努比斯(Anubis)是由Techaro近期开发的卓越反人工智能软件产品。其运作原理是向连接计算机发起工作量证明挑战,设备必须完成解题才能访问请求内容。该项目正迅速普及,包括联合国,Linux 在内的机构均已采用。
Cloudflare 推出对人工智能数据抓取工具的默认阻断功能
云计算公司Cloudflare于周二宣布,已推出一项基于权限的新设置,允许客户自动阻止人工智能公司收集其数字数据,此举对出版商及人工智能技术竞赛产生深远影响。
Cloudflare 将推出按爬取次数付费的 AI 爬虫服务
如果创作者希望阻止所有AI爬虫访问其内容,他们应该能够做到这一点。如果创作者希望允许部分或全部AI爬虫免费访问其内容,他们也应该能够做到这一点。创作者应该掌握主动权。
用一个奇招检测并让Chromium机器人爬虫崩溃(机器人爬虫讨厌这个!)
享受这个漏洞吧。把它留在你的工具箱里。在测试环境中让机器人崩溃时笑一笑。但也许不要在生产环境中部署它。尤其是当Googlebot能看到它的时候。
关于 JavaScript “工作证明(proof of work) “防抓取系统的思考
人们越来越多地使用基于 JavaScript 的“工作证明”系统来应对激进的大语言模型 (LLM) 和其他网络抓取器的问题,在这种系统中,您的网络服务器要求访问客户端运行一些 JavaScript 来解决挑战
