Cloudflare近日发布报告称,AI初创公司Perplexity在多个网站明确禁止AI抓取的情况下,仍通过更改用户代理(UA)和网络标识信息规避限制,持续进行大规模内容采集。报告指出,Perplexity无视robots.txt规则及已知爬虫拦截机制,手段包括伪装身份和更换IP地址。Cloudflare通过机器学习识别出其爬虫行为,涉及数万个域名,日请求量达数百万次。
对此,Perplexity发言人Jesse Dwyer称Cloudflare的指控为“销售噱头”,并否认相关爬虫为其所有。Cloudflare回应称,调查源于客户投诉,并已验证其真实性,目前已将Perplexity爬虫移出认证名单并加强拦截措施。