Jul 20, 2024 · Data Provenance Initiative
Consent in Crisis: The Rapid Decline of the AI Data Commons：AI数据公地危机：网络数据限制一年内激增
2024年7月，MIT等机构对14000个网络域名的数据使用协议进行了大规模纵向审计。研究发现，2023-2024年间，C4数据集中约5%的token（或28%的关键来源）已被robots.txt完全限制使用；若考虑服务条款限制，45%的C4数据已被限制。不同AI开发者面临差异化的限制，且网站服务条款与robots.txt之间存在不一致。
EVENT STORY
Development
- First ReportConsent in Crisis: The Rapid Decline of the AI Data Commons：AI数据公地危机：网络数据限制一年内激增arXiv cs.AI
- Current Assessment数据限制的加剧将迫使AI公司转向付费数据、合成数据或私有数据，增加训练成本并可能加剧数据偏见。对于依赖开放网络数据的学术研究和小型创业公司，影响尤为严重。Agent Pulse · analysis
该研究首次大规模量化了AI训练数据可获取性的快速恶化。一年内，大量高质量网络数据通过robots.txt和服务条款被限制，导致C4等主流训练语料库的多样性和新鲜度下降。这直接威胁到通用AI系统的扩展规律和学术研究的可复现性，凸显了数据治理的紧迫性。
研究对C4、RefinedWeb、Dolma等语料库的14,000个来源域进行了纵向审计，分析了robots.txt和Terms of Service中的AI相关限制条款。发现2023-2024年间，限制性条款数量激增，且不同AI公司（如OpenAI vs. 其他）面临不同限制。研究还指出网站意图表达不一致的问题。
数据限制的加剧将迫使AI公司转向付费数据、合成数据或私有数据，增加训练成本并可能加剧数据偏见。对于依赖开放网络数据的学术研究和小型创业公司，影响尤为严重。
建议AI公司立即审计自身训练数据来源的合规性，并建立数据获取的多元化策略，包括与数据提供商签订长期协议、投资合成数据生成技术，以及参与数据治理标准制定。
关注数据限制趋势是否持续，以及是否有新的数据共享协议或法律框架出现。AI公司可能需要投资数据合成技术或与内容提供商建立商业合作。