Reddit CEO表示微软抓取数据须付费 搜索流量不再仅靠内容爬取

【太平洋科技快讯】Reddit首席执行官史蒂夫·霍夫曼近日发表声明，要求微软等公司为抓取Reddit网站数据付费，且他表示Reddit要求付费的做法与传统媒体出版商相似，旨在从生成式AI中获得收益。他指出，搜索引擎的传统价值交换模式正在发生变化，单纯依赖爬取内容换取流量的模式已不再适用。

霍夫曼透露，Reddit已与谷歌和OpenAI等公司签订了付费协议。此举旨在控制并了解Reddit数据的使用情况，以确保数据不被滥用，而微软、Anthropic和Perplexity三家公司拒绝与Reddit进行谈判，导致Reddit不得不采取措施限制这些公司的数据抓取行为。他强调，封锁这些公司对Reddit来说是一个艰难的决定。

霍夫曼强调，付费协议对于确保数据合理使用至关重要。他以Reddit与OpenAI的SearchGPT合作协议为例，说明付费协议的有效性。

霍夫曼表示，微软未经授权利用Reddit数据训练AI，并在Bing搜索结果中展示Reddit内容，甚至通过Bing API出售这些数据。他认为，微软等公司认为互联网上的内容可以免费使用，这种观点有失偏颇。

近几个月，Reddit不断强化对未经授权网络爬虫的打击。7月初，Reddit更新了robots.txt文件，屏蔽了部分搜索引擎的爬虫。结果导致Reddit内容在Bing等搜索引擎上消失。

而针对Reddit在Bing搜索结果中消失一事，微软搜索主管乔迪·里巴斯表示，Reddit屏蔽了Bing的爬虫，对其他搜索引擎不公平。微软发言人凯特琳·劳尔顿也表示，公司尊重Reddit的决定。