2026 年，一个做预训练的团队在内部会上讨论一个新问题：下一版模型的语料，从哪里来。这个问题在 2020 年不存在，那时候的答案是「互联网还有很多」。
六年之后，「还有很多」变成了「还有，但不能直接用」。剩下的是低质文本、重复内容、以及模型自己写的东西。
这条曲线已经拐过弯了。接下来要算的不是技术账，是人的账。而人的账，通常要按代来算。
一、三条曲线在同一年交叉
第一条是可用文本的存量。Epoch AI 在 2022 年给过一个区间，认为高质量语言数据可能在 2023 到 2027 年之间被用尽；一年多之后，他们把区间改成了 2026 到 2032 年。区间往后挪，不是因为数据变多了，是因为「高质量」的定义被放宽了。
第二条是合成数据的比例。当真实语料不够，最直接的办法是让模型生成语料再喂给模型。这条路在工程上走得通，在数学上有一个已知的终点。
2024 年《Nature》上的一篇论文把这个终点命名为 model collapse：如果训练数据里模型生成的内容占比逐代上升，分布的两端会先消失，然后整体向均值塌陷。塌陷不是突然发生的，是每一代都看起来还行，三代之后才发现多样性没了。
第三条是评测。当测试题也被爬进训练集，分数就不再是能力的度量，而是记忆的度量。这一条最隐蔽，因为它不会报错，只会让所有人对一个已经失效的指标继续投入。
二、第一代人：把世界翻译成文本的人
过去十年，有一批人靠「把世界变成可训练的文本」吃饭。标注员、转录员、数据清洗工、外包评测团队，分布在肯尼亚、菲律宾、印度北部和中国的一些三线城市。他们的工作是给图片画框、给对话打分、把方言录音转成文字。
合成数据替代的正是这批工作里最规范的那部分。一个模型可以生成一万条格式完美的标注，成本接近于零，而人做不到。
但被替代的只是「规范」那一半。真正难的部分——判断一段方言里两个词的情感差别、确认一张医学影像的边界、决定一句话算不算违规——仍然需要人。于是这个行业会收缩成一个很窄的塔尖：少数高薪的专家标注，和大量消失的基础岗位。
这不是第一次发生。纺织、打字、数据录入都走过同一条路。不同的是速度：过去这类替代用两代人完成，这次可能只用五年，而中间那批人没有第二次职业生命周期。
三、第二代人：写字的人开始互相读
第二层的代价更隐蔽，因为它不表现为失业，表现为语言的收敛。当大部分人用同一批模型写邮件、写方案、写稿，文字的风格会向模型的中位数靠拢。
这个过程有正反馈。模型读到的是被它自己影响过的文本，下一代模型学到的是收敛后的分布，再下一代更窄。不是内容变差了，是可用句式的种类变少了。
我在自己的稿子里见过这件事。改到第三遍时，句子会开始变得整齐，每段三句，每句一个转折。读起来没错，但没有毛边，而毛边往往是一个人的辨识度所在。
这一代人付出的代价不是写不出来，是写出来的东西越来越像别人。效率提升是真的，可替代性上升也是真的，两者是同一件事。
四、第三代人：在模型文本里长大
第三层的代价要二十年后才看得清。今天开始识字的孩子，接触的文本里已经有相当比例是模型生成的，而他们无法分辨。
这里的关键不是「学到错误知识」，是「失去从零描述的能力」。描述一件事物需要先在脑子里建立一个不完全的模型，再用有限的词把它挤出来，这个过程很慢，也很不舒服。
如果每一次描述都可以先问一句「帮我写一段」，这个练习就被跳过了。跳过一次没关系，跳过一万次，能力就不会长出来。
有教育研究者把这类现象类比成计算器普及后的心算能力。这个类比有一半成立：心算确实退化了，但数学能力没有，因为工具接管的是运算，不是建模。语言不一样，语言既是工具也是被建模的对象。
五、一个不太好接受的推论
把三层放在一起，会得到一个不舒服的结论：模型的能力上限，不由算力决定，由「人类还剩多少没被记录的经验」决定。
因为训练数据只包含已经被写下来的部分。而世界上大部分事情从来没有被写下来：一个修理工判断异响的手法、一个护士看病人脸色就知道要换药的经验、一个菜贩捏一下就知道瓜熟没熟。这些经验没有进入语料，所以模型永远学不到，无论参数加到多大。
更麻烦的是时间差。文本从产生到进入训练集，中间有几个月到几年的延迟。模型永远落后于「现在」，而且这个落后是结构性的，不是工程问题。
所以那个推论是：我们会得到一个在「过去」无所不知、在「现在」一无所知的系统，而人类的大部分决策发生在「现在」。
这听起来像悲观结论，其实不是。它意味着人的位置没有被替代，只是被挪到了模型够不到的地方：现场的、当下的、没被写下来的那部分。但这个位置有一个前提——你得真的在场。
六、稀缺的不是算力，是没被写过的句子
如果上面的推演成立，资源的定价会反过来。过去五年最贵的是 GPU，接下来一段时间，最贵的可能是「还没被模型读过的人类文本」。
这件事已经在发生。出版社开始给旧书库定价，报纸开始给历史档案授权，一些机构把未数字化的手稿当作资产。它们卖的不是内容，是「干净」——没有被模型污染过的分布。
个人层面也有一个对应的动作：把你自己的观察写下来，写得具体，写得只有你能写。不是为了发布，是为了留下一份不在训练集里的样本。
这句话听起来像自我安慰，但它有实际含义。如果未来的模型只能从人类文本里学习，那么人类文本的多样性就是它的天花板；保护多样性，等于保护它未来的能力。
写在最后
数据枯竭这个故事，通常被讲成一场危机：算力还在涨，燃料没了。但真正的变化不在供给侧，在于「记录」这件事本身变得有战略价值。
过去三十年，我们默认写下来的东西会被遗忘，因为太多了。现在恰恰相反：写下来的会被永久记住并被反复学习，没写下来的会彻底消失。
所以这一代人真正的任务，可能不是生产更多文本，而是决定哪些经验值得被写下来。模型吃完了互联网之后，剩下的那部分世界，才是它真正的边界。
你身上有没有一门手艺，是从来没有被完整写下来过的？
评论 (0)