把黑箱拆开:手搓一个大语言模型 书架

第 16 章 / 共 16 章

第十六章 · 拆完之后:清醒地看这波 AI

假设现在有人塞给你一台你从没见过的机器:黑色盒子,一个投币口,一个出货口。你投一枚硬币,它吐出一颗糖。你不知道里面是什么,于是你开始编故事——里面住着个小精灵?盒子有意识,它"决定"给你糖?你越想越玄乎,直到有一天你拧开螺丝,看见里面就是一根弹簧、一个卡槽、一段传送带。那一刻,神秘感"啪"地碎了。你没有变得更蠢,你变得更自由了——你现在知道它会在什么时候卡壳,知道怎么修,甚至知道怎么自己造一个。

过去这十五章,我们干的就是拧螺丝。现在盒子开着,零件摊了一桌子。这最后一章,我们不加新零件了,我们后退三步,看看这台拆开的机器到底是个什么东西——以及,看清楚它之后,你该怎么跟这波 AI 相处。

把桌上的零件重新拼一遍

我们从"它只在干一件事"开始:猜下一个词。就这么一个笨到有点可笑的目标,是全书的地基。你现在应该能一口气把整条链子背下来了,我们快放一遍:

输出端呢?它吐的不是一个词,而是整张词表上的一个概率分布——对每个可能的下一个词,给一个"我觉得是它的把握有多大"。然后掷一次加权骰子(第十章)选一个。就这样一个词一个词地滚下去,滚出一篇文章。

所以从头到尾,它做的是同一个动作:看着前面的一串数字,算出后面最可能接哪个数字。翻译、写诗、debug、安慰你——在机器眼里全是同一道填空题,只是填的内容不一样。没有一个专门"负责翻译"的模块,也没有一个"负责思考"的开关。

那"智能"是从哪冒出来的?

这是第一章抛的悬念:这么笨的目标,凭什么长出看起来像智能的东西?现在你有答案了,而且这个答案一点都不神秘。

要把"下一个词"猜得足够准,你被逼着不得不学会一大堆本事。想接好"水在一百摄氏度会___",你得懂点物理;想接好"因为下雨,所以我___",你得会一点因果;想接好一段代码的下一行,你得掌握语法和逻辑。把预测做到极致,就等于把世界的规律压缩进旋钮里。不是有人教它这些技能,是"猜得更准"这个压力,顺手把这些技能挤了出来。

再叠上第九章那件事:规模一大就变了。参数从几亿堆到几千亿,某些能力像水烧到一百度那样,过了某个点突然"沸腾"出来。这既不是魔法,也不必然是什么灵魂觉醒——很可能只是"模式"这东西本身就有层级,量攒够了,高层的模式才拼得出来。

一句话:它的聪明,是"海量数据 × 巨大函数 × 一个笨目标"三者相乘的副产品。你桌上这些零件,单独看每一个都平平无奇;乘在一起,规模够大,就涌出了让你惊掉下巴的东西。神奇的不是某个零件,是"规模"这个乘号。

所以它不是神,也不是骗局

现在你有资格对两种极端都翻个白眼了。

说它是神的人,把副产品当成了主体。它答得出你的哲学问题,不代表它"懂"哲学——第十三章我们较过真:它更像一个背下了全世界考卷的学生,答案对,但你没法确认它是真理解还是超级模仿。它也不"记得"你——第十二章戳破了这个幻觉:它没有记忆,每次对话都是把整张纸条重读一遍现算,你以为的"它记得我们上次聊过",不过是那张纸条还没被划出窗口而已。

说它是骗局的人,则低估了那个乘号。"不就是个猜词的自动补全吗"——是,但"猜词猜到能写出可用代码、能翻译、能把一段乱麻理清楚",这本身就是二十年前多数人不敢想的事。把它贬成纯粹的鹦鹉学舌,和把它捧成神,是同一种偷懒:都拒绝去看盒子里到底发生了什么。

拆开之后的真相朴素得多:它是一台被规模放大的模式机器。它没有意图,没有欲望,不想统治你也不想帮你,它只是在你给的上下文后面,接一个统计上最顺的词。它的强,强在模式抓得又多又细;它的坑,也全长在这个机制的骨头缝里。

它的坑,你现在能一眼看穿

正因为你知道它怎么运作,它那些让外行抓狂的毛病,在你眼里就变成了"意料之中"。

看懂机制的好处,是你从此能预判它什么时候靠谱、什么时候会翻车。事实性、需要精确计算、需要"我不知道"的诚实——这三种场景,请默认不信,动手去核。创意、改写、把模糊的东西整理成有条理的东西——这些正是它的主场,放心用。会用它的人和被它坑的人,差别不在谁的提示词更花哨,在谁真的知道盒子里是什么。

因为你亲手搭过

第十四章你用两百行代码搭过一个迷你版,亲眼看着它从吐乱码,一步步吐出像样的句子。第十五章你把一个真的开源大模型塞进了自己的电脑,还亲手给它做过一次轻量微调。这两件事的意义,远不止"跑通了个 demo"。

它的意义是:你摸过它的全部零件,没有一处是靠"魔法"糊过去的。词向量是查表,注意力是几个矩阵相乘,训练是拧旋钮下山。每一步你都能自己在纸上或脑子里跑一遍。一个东西,当你能从头把它造出来,它就再也没法用神秘感唬住你了。

这才是这本书真正想给你的东西。不是让你成为能训练千亿模型的工程师——那需要的是钱和卡,不是这本书。而是让你在这个满天飞着"AI 觉醒""AI 要取代人类""AI 是营销泡沫"的年代里,成为屋子里少数拧开过螺丝、看过里面弹簧的人。别人在盒子外面编精灵的故事,你知道那是一根弹簧、一条传送带、一个乘得很大很大的乘号。

怕,来自不懂。你不懂那台投币机,才会怕里面有精灵。现在盒子开着,零件你都认得,你不必再怕它,也不必盲目崇拜它——你可以清醒地、带着一点看穿把戏的从容,去用它、去质疑它、去在它翻车时一眼指出它错在哪根旋钮上。

所以本质上,它就是一台猜下一个词的机器,被半个互联网喂大、被规模乘到吓人。它不神,也不假;它只是我们造出来的、迄今为止最像会思考的一面镜子——照出的,始终是我们自己写下的一切。而你,已经把这面镜子拆开看过了。

把黑箱拆开:手搓一个大语言模型 · 王建硕
面向对世界有好奇心的人 · 费曼式写法 · 由多个 AI 代理撰写与互相审校