AI 训练数据会用完吗？耗尽的不是数据，是免费、高质量且可合法使用的那一层

如果把「数据」理解成互联网上的全部文本，答案是不会。真正在变紧的是另一层：免费、高质量、可合法使用，三者同时成立的那一层。为行文方便，下面把它叫「三者交集」。比它更宽的那一层——只要免费公开、不管质量和法律状态——不会消失，总量也还在增长；会持续变薄的是这个交集。Epoch AI 在 2024 年 6 月估算，人类公开文本经质量与重复调整后的有效存量约 300 万亿 token；按当时的训练数据规模增长趋势外推，会在 2026–2032 年之间用尽，若过度训练则更早；按计算最优训练，约在 2028 年用尽。这些数说的是有效存量，不是全部。

300 万亿 token 量的是「有效」

Epoch AI 统计的是人类生成的公开文本，扣掉重复、低质、无法用于训练的部分后剩下的「有效 token」。这比 2022 年旧版明显推后，原因不是发现新数据，而是存量估计被上调：经仔细筛选的网页数据被证明可以替代精选语料，高质量存量估计因此上调约 5 倍；多轮重复训练又进一步扩大了可用的训练 token 数——物理存量不变，重复使用同一批数据的边际收益递减。

这个数对「有效」的定义高度敏感。同一批网页，换一个质量阈值，有效 token 能差一个数量级。它适合回答「还有几年」，不适合当倒计时。把 2028 年说成某一天，是把区间估计当成了日历。而且「用尽年份」不是存量的保质期，是存量与需求增速的交点：训练量增长快，用尽就早；增长慢，就晚。Epoch 的区间依赖它对训练量增长的假设。

关上的不是水库，是取水口

MIT 数据溯源计划 2024 年 7 月审计了 14,000 个网络域名，结论是数据公地正在快速关闭：

5% 和 28% 不矛盾。这是 2024-07 的单一时点快照，只能说明当时有多少被限制，不能说明限制在变多；「比例在下降」是趋势判断，需要第二个时点才能证实，本文没有这个数据。能确认的是结构：高价值站点的受限比例（28%）远高于按总量加权的比例（5%）。

更要命的是 robots.txt 与服务条款经常不一致：站点可能允许抓取，却在服务条款里禁止用于 AI 训练。robots.txt 诞生于 1994 年，本意是防止搜索引擎把服务器爬垮，从来没有「允许索引、但禁止训练」的语义。一个为搜索引擎写的技术约定，现在承担着数十亿美元授权谈判的法律地基。

CDN 成了新的收费站

Cloudflare 2025 年推出 Pay Per Crawl（按抓取付费），2026 年演进为 Pay Per Use（按使用付费）：不再按抓到页面收费，而在内容实际被使用时收费。更强硬的一步是，自 2026 年 9 月 15 日起，默认阻止「混用型」爬虫访问投放广告的页面——同一个爬虫既做搜索索引又做 AI 训练，现在必须分开标识。

为什么关键：内容方过去分不清「抓我给流量」和「抓我训模型」。分开后，两种行为第一次可以分别定价。

支撑它的是抓取与回流的极端不对称。2025 年 6 月，OpenAI 的抓取/引流比约 1,700:1，Anthropic 约 73,000:1；更近的数据显示 Anthropic 每带来一次引流要抓约 2 万个页面。这组数字要打折：它们来自 CDN 与流量分析商，正是新收费机制的受益方。方向可信，具体倍数不宜直接引用。

它的意义不在短期收入，而在为版权授权走向「小内容方自动收费」提供基础设施。

法律把「能抓」和「敢用」分开了

Anthropic 2025 年 8 月和解、2026 年 7 月获终局批准，赔付 15 亿美元，覆盖约 50 万种图书、每种约 3,000 美元。这笔钱赔的是「怎么拿到的」，不是「拿来干什么」：主审法官在 2025 年 6 月的裁定中区分了两个行为——用合法获得的图书训练模型，法院认为具有高度转换性、合理使用抗辩可以成立；从盗版图书库下载并保存副本，不受合理使用保护，这才是赔付对象。和解本身是商业决定，不产生约束性先例。

纽约时报诉 OpenAI／微软至今未决。美国关于「用受版权保护的内容训练是否构成合理使用」这个根本问题，到 2026 年 9 月仍没有终局答案。

欧盟走的是另一条路：AI 法案要求模型提供者按模板披露训练内容摘要，2025 年 8 月 2 日生效，罚则最高为全球年营业额 3% 或 1,500 万欧元（取高者）。模板颗粒度粗，表面机制大概率失效；真正起作用的是它迫使模型公司建立内部数据台账，把一次性合规变成持续负担。

三者合起来，产业后果只有一句：数据来源的可审计性，从「合规加分项」变成了「生存必需品」。一份技术可获取、但法律地位不明的语料，对准备融资或上市的公司，价值可能是负的。

到 2026 年，最紧的约束已经换了

本文判断，「数据墙」在 2024 年是对的，到 2026 年已不是最紧的约束。这是判断，不是已证事实。「约束松紧」要有判据：预训练数据采购是否放缓、数据价格是否回落、训练是否因数据不足延期、可验证任务的供给是否导致项目延期。这四项本文都没有系统数据，所以只能给方向判断。判断的根据是训练重心后移：当模型能力的增量主要来自后训练，「预训练语料够不够」对能力上限的边际影响在下降。这与前面「2026–2032 年有效存量用尽」不矛盾：前者说的是「供给够不够」，后者说的是「能力增量主要来自哪」。供给会在 2026 年后逐年变紧，但紧不等于它是当前最紧的那一个。当前真正紧的，本文判断是「能验证对错的高难度任务」的数量。需要说明：后训练算力是否已超过预训练，没有任何一家实验室披露过可核数字，本文不作量级判断。

反例检验：如果预训练数据不再是约束，为什么还在花大钱买版权语料？本文的解释是：现在买的目的不是补量，是补法律确定性和领域密度。买下医学出版社的全部期刊，不是缺 token，是缺能在法庭上说清来源的高密度语料。

例外也要标出：代码这类，免费层的质量没有明显下降，因为有 GitHub 这样集中、许可清晰、持续增长的来源。科学文献是另一种情况：版权问题正通过出版社授权交易部分解决，改善的是授权供给，不是免费层的质量。

读到「数据要用完」，先问三个问题

一，说的是哪一层：全部文本、有效高质量文本，还是免费且可合法使用的那一层？二，「有效」用什么质量阈值？三，数据法律地位是否清楚？

判断是：更宽的免费层不会消失，但三者交集会持续变薄，边际质量在下降，且快于总量增长。高价值内容在退出开放网络：专业内容进付费墙，社交讨论进 App 和私域，创作者内容进订阅制。AI 生成内容在稀释语料池：有研究提示，新抓取网页中由模型生成的比例在上升，语料的信息量下降、字节数上升；具体比例未取得，这里只作方向判断。法律风险让「能抓」与「敢用」分离。

由此推出的不是「AI 会停下来」，而是预算方向变了：买方从买更多 token 转向买确定性、买密度、买来源可审计；卖方真正的稀缺不是字节，是溯源能力和领域深度。把「数据耗尽」读成「AI 见顶」，是把供给结构问题错读成总量问题。

资料来源

1. Epoch AI. 公开人类文本有效存量估算[R]. 2024-06.（题名待替换）
2. Data Provenance Initiative. Consent in Crisis[R]. 2024-07.
3. Cloudflare. Pay Per Crawl、Pay Per Use 机制与 Cloudflare Radar 抓取比数据[EB/OL]. 2025–2026.
4. Anthropic. Bartz v. Anthropic 案和解与终局批准文件[EB/OL]. 2025-08／2026-07.
5. 欧盟委员会. 人工智能法案训练内容披露义务与罚则[EB/OL]. 2025-08.
6. 诺辉投资研究部. AI 训练数据与语料 · 行业认知研究报告[R]. 2026-09.

数据截止 2026-09　|　相关：AI 训练数据市场规模到底多大 · 中国数据标注市场：117.53 亿元是谁的钱 · AI 训练数据与语料 · 行业认知研究报告

编写依据

本文依据本赛道研究报告及用户授权的成品库 Markdown 摘编，素材获取于 2026-10-30。原文所列资料时点、出处及核验边界按提供稿保留；本轮未逐条回溯外部来源。