通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  少尉

注册:2015-11-142
跳转到指定楼层
1#
发表于 2024-10-8 14:01:42 |只看该作者 |倒序浏览
大模型遭遇数据荒这件事,已经从遥遥领先的预言变成了一个所有AI厂商都不得不面对的难题。为了解决这个问题,谷歌前CEO埃里克施密特更是曾语出惊人,表示AI创业公司可以先通过AI工具盗取知识产权,然后再雇佣律师来处理法律纠纷。但就在AI行业出现“语料危机”的兵荒马乱里,也有厂商发现了商机。


日前,全球知名的内容分发网络(CDN)Cloudflare宣布将在明年推出交易市场,允许AI公司付费获取网站内容的抓取权限。据Cloudflare方面的描述,网站运营者可以将自己的网站放在这个市场中,如果有AI开发商愿意付费购买其内容,则可以向后者提供接口以供抓取网站的内容用于AI大模型的训练。

进入2024年之后,随着Common Crawl数据集、The Pile语料库等开源数据库的开发殆尽,AI厂商在获取语料数据这件事上也完全可以用“吃相难看”来形容。例如苹果、英伟达、OpenAI在训练大模型时使用了YouTube未经授权的数据,AI独角兽Anthropic更是直接分布式拒绝服务攻击(DDoS)小网站等让人大跌眼镜的操作,也开始堂而皇之的出现。


当然,除了这些上不得台面的玩法之外,业界也在尝试用“合成数据”来训练大模型,试图用这种“左脚踩右脚上天”的模式来使得大模型摆脱对于语料数据的依赖。可惜随着一篇《Nature》上的论文问世,使用AI生成的数据集训练大模型会污染它们的输出,无法避免“模型崩溃”(model collapse)的缺陷,也让合成数据这条路径的未来蒙上了阴影。

如此一来,向内容方索取数据就又变成了AI厂商的唯一选项。现在的情况,是AI厂商对于数据的需求永无止境,但他们需要将有限的预算花在算力、电力、水资源等刚性需求的资源上,以至于“偷数据”就变成了一个降本增效的手段。同时,一般的网站虽然有数据、但也缺乏保护数据的能力。


站在网站站长的角度,一方面自己网站的内容被AI厂商无偿抓取,另一方面AI厂商爬虫进行的高频次抓取已经与DDoS没区别了,导致自己还要付出更高的带宽和流量清洗成本。由此不愿付钱的AI厂商与想要将数据卖个好价钱的内容方之间,自然也就产生了不可调和的矛盾。

这时候,双方都需要一个类似Cloudflare这样的角色站出来当“裁判员”。作为CDN提供商,Cloudflare的竞争力来源于在全球拥有超过152个数据中心,这些数据中心战略性地分布在全球各地,以确保其业务覆盖所有主要地区,再加出色的网络技术,也使得全世界目前有20%的互联网流量都经过了该公司的网络代理。


为了向用户提供高速网络服务,Cloudflare建设了一个专用的高容量光纤网络,用于在全球的数据中心之间传输流量,这也使得其能够完全控制内部和外部流量的路由,以便更有效地管理流量。而为全球中小网站提供一个低成本接入公开网络的能力,这就是Cloudflare的底气。

就如同谷歌提供了一个广告竞价平台,得以让全球的站长通过经营网站获得收入一样,Cloudflare现在就是打算复刻谷歌曾经的做法,建立一个内容拍卖平台,让AI厂商像广告主一样为他们感兴趣的内容付费。毕竟全球1/5的流量会经过Cloudflare的分发网络,所以也意味着后者确实也拥有类似谷歌搜索引擎的地位。


与此同时,为了保证这个交易市场得以运行下去,Cloudflare还宣布为使用其服务的所有网站,包括免费托管在Cloudflare上的网站提供AI审计工具 (Cloudflare AI Audit),从而向网站站长报告AI厂商的爬虫何时访问网站、抓取数据的IP地址、抓取频次,以及其他相关数据。

借助AI审计工具,哪些AI厂商尝试抓取了网站的数据也就变得一目了然。并且为了配合这个交易市场,Cloudflare方面表示AI审计工具与目前为站长提供的一键屏蔽AI爬虫功能不同,其提供了更灵活的屏蔽策略。比如说,一旦某网站与OpenAI达成合作,站长就可以单独为OpenAI的GPTBot提供“绿色通道”。


不得不说,作为业界知名的“赛博菩萨”,Cloudflare确实是想用户之所想、急用户之所急,这样一套组合拳打下去,AI厂商大概率就会乖乖地向网站站长付费了。

来源:36kr

举报本楼

本帖有 4 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-12-29 09:47 , Processed in 0.147308 second(s), 17 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部