第六章 · 一本错题本的故事

一台空机器和整座图书馆

前五章我们搭好了机器的结构：文字切成 token，token 变成坐标，坐标经过几十层「环顾全场」，最后吐出下一个词的排行榜。但这台机器刚出厂时是个白痴——里面几十亿个旋钮全是随机数，你问它「今天下雨出门记得带」，它可能告诉你下一个词是「冰箱」。

从白痴到博学，中间发生的事叫训练。这一章我们讲清楚训练到底是怎么干的。它的核心，朴素到像小学生的学习方法：做题、对答案、改错题，循环几十亿次。

一本史上最贵的错题本

训练用的「题库」，就是人类写过的海量文本：网页、书籍、论文、对话、代码——往少了说也是几万亿个 token。训练时，机器做的是这样一种填空题：

「床前明月光，疑是地上霜。举头望明月，低头思___。」

机器给出它的排行榜：比如「故」20%，「家」15%，「乡」5%……然后对答案：正确答案是「乡」。机器只给了 5%，错了。

接下来是关键动作，也是整个训练的灵魂：算清楚每个旋钮该往哪个方向拧、拧多少，才能让「乡」的分数下次高一点。然后把所有旋钮都按这个方向微调一丁点。这个动作的学名叫反向传播，别怕，大白话版本是：从最后的错题出发，倒着往前追责，算出每个旋钮对这次错误各负多少责任，然后各改各的。就像一锅汤咸了，有经验的厨师能判断出是盐放多了还是酱油放多了、各自多了多少——反向传播干的就是这件事，只不过锅里有几十亿种调料。

「下次改多少」的尺度叫学习率——大白话：每次改错题的力度。力度太小，学得太慢；力度太大，忽左忽右学不稳。这也是个要仔细调的东西，但本质上就这么点事。

然后下一道题、再下一道题……每道题错一点、改一点。一套流程走下来，整件事可以用三行话说完：

1. 出题：从海量文本里随手截取一段，盖住最后一个词。
2. 对答案：看机器给的排行榜，跟真实答案差多少（这个「差多少」叫损失，就是「错得有多离谱」的分数）。
3. 改错题：反向传播追责，把所有旋钮往减少损失的方向微调一点。

循环几十亿、上百亿次。这就叫预训练——大白话：在正式上岗之前，先把人类全部文本当题库刷一遍。

旋钮们是怎么从噪声变成知识的

见证奇迹的地方在这里。一开始，旋钮全是乱的，机器答题全靠蒙。但随着错题本越记越厚，一些旋钮开始「分工」：

• 刷过几千万道题之后，有些旋钮组合渐渐管起了语法——「了」后面大概不接名词，英文的 a 后面得接单数名词。
• 再往后刷，有些组合管起了事实——「《红楼梦》的作者是」后面，「曹雪芹」的分数悄悄爬到了第一。
• 刷得再久，有些组合竟然管起了推理的套路——「因为……所以……」「先……再……」这类逻辑链条的走向，也被拧进了旋钮里。

没有任何人规定哪个旋钮管语法、哪个管事实。分工是在一次次「改错题」里自己涌现出来的。这就像一支没人指挥的球队，打着打着，有人成了前锋、有人成了后卫——因为这样的配置赢球多。

这台错题机器有多烧钱

说一个数量级，感受一下这件事的规模。训练一个当今第一梯队的大模型，要动用上万张顶级显卡，日夜不停地跑上几个月，光电费和硬件折旧就是几千万到上亿美元。训练全程，机器大约要「读」完几万亿个 token——相当于把人类互联网上有质量的文字读好几遍。

这也解释了一个行业的基本格局：预训练是少数大玩家才玩得起的游戏。底子（基座模型）靠重金砸出来，后续的调教（下一章讲）反而便宜得多。于是行业里出现了「大厂炼丹、众人调香」的分工。

一个你可能没想到的问题：它为什么不止会背书

读到这里，一个自然的疑问是：刷了这么多题，机器会不会只是把题库背下来了？

答案是：确实会背下来一部分（这也是版权争议的源头之一），但绝不止于此。证据是，它能从容应对题库里绝对没有的新句子——你现编一个荒诞的场景：「如果章鱼的墨水能治感冒，药店该怎么设计货架？」它能给出像模像样的分析。背诵做不到这个，只有真正把规律拧进了旋钮、能现场组合运用，才接得住这种全新的题。

机器从「刷题」里长出来的，本质上是一台世界规律的压缩机：几万亿 token 的文本被压进几百亿个旋钮，压掉的是冗余，留下的是规律。这就是「智能」在这座桥上的样子。

但故事还没完。研究者在烧钱烧到一定量级时，发现了一个谁都不曾预料的现象：模型大到某个程度之后，会突然会一些它小时候完全不会的东西——不是慢慢变好，是「开窍」式的跳变。这就是下一章要讲的：大力为什么会出奇迹。