而维系互联网次序三十余年的robots.txt和谈，其采用荫蔽的爬虫手艺，也面对着人工智能时代的全新挑和。称其为“炒做”，当Perplexity的爬虫（标识表记标帜为“PerplexityBot”）被robots.txt文件或防火墙法则时，Cloudflare的首席施行官马修·普林斯指出了问题的焦点：AI公司正在抓取数据时的效率取网坐的现实收益严沉脱节。该法式通过两大策略来伪拆身份：一是用户代办署理消息，已有跨越百万的网坐，Cloudflare正在2025年7月推出了两项立异行动：一是“按次收费”（Pay Per Crawl）系统，插手了AI爬虫的行列。这种行为据称每天涉及数万个域名。二是屡次改换收集标识，私行获取被明白拜候的内容。二是“AI迷宫”防御东西，伪拆成利用macOS操做系统的Chrome浏览器用户进行拜候；Cloudflare供给的尝试记实显示，随后向所有用户（包罗免费客户）供给了拦截其爬虫的手艺处理方案。但他们的网坐内容仍然呈现正在Perplexity的搜刮成果中。并暗示演讲存正在“底子性的”。Anthropic的比例更是高达73300:1，他们特地设置的测试域名（设置了严酷的拜候）的内容，起首将Perplexity从“已验证机械人”的白名单中移除，这一争端不只激发了业界普遍关心，而谷歌仅为18:1。发生数百万次的违规请求。”为领会决这一问题！据悉，Perplexity的讲话人杰西·德怀尔予以驳倒，面临Cloudflare的，查看更多冲突的升级源自Cloudflare收到的客户赞扬。以此规避。敏捷采纳了步履，通过供给虚假内容来耗损恶意爬虫的资本。然而，也将AI公司数据获取取网坐从权的冲突推向了风口浪尖。Cloudflare的平安团队正在深切查询拜访后发觉，包罗和Reddit等，仍然被Perplexity的爬虫抓取并进行了阐发。虽然客户曾经采纳了手艺手段屏障Perplexity的爬虫，前往搜狐，目前，Cloudflare颠末验证后，绕过网坐。他列举了一组数据：“OpenAI每1500次抓取能带来1次用户跳转，互联网巨头Cloudflare近期对新兴人工智能公司Perplexity倡议了强烈，这一步履无疑加剧了互联网行业内部的博弈，答应网坐向AI公司按抓取次数收取费用；包罗IP地址和自治系统收集（ASN）！