第五章 · 分界线二：有没有一个说得清对错的信号

上一章的分界线是：一件事能不能被数据说清楚——有大量「输入—输出」的例子摆着，机器就学得动。但光有例子还不够，还得有人能告诉它「这次是对是错」。这就是第二条分界线，它更隐蔽，却解释了一个反直觉的现象：为什么 AI 在你我都做不出的难题上突飞猛进，却在「安慰一个哭着的人」这种小孩都会的事上原地打转？

先看一个只会填空的机器，怎么学会「变强」

第三章说过，大模型的底子是「猜下一个词」。今天最能打的 AI 在猜词之上又叠了一层练法，叫强化学习——别被这四个字唬住，意思土得很：让机器一遍遍去试，试对了给块糖，试错了不给，久了它就朝着「拿糖多」的方向长。

这跟小孩学骑车一个道理。没人给他讲平衡公式，他就是一次次摔、一次次调，摔少了就会了。关键是那个信号：有人当场告诉它「这下摔了」「这下稳了」。

信号越干净，它涨得越猛

有了这把钥匙，来看为什么有些领域 AI 一日千里：

下棋。一盘下完，输赢没有争议、不用等，信号干净利落。于是 AI 自己跟自己下几千万盘，每盘立刻知道对错，输了就调、赢了就固化，不用人盯就日夜变强。

写代码。代码能不能编译通过（机器能不能把它翻成可运行的程序）、能不能跑过测试（预先写好的一批检查，对了亮绿灯、错了亮红灯），也是干净信号。灯当场就亮，机器改一版、跑一遍、看颜色，闭眼循环几百万次。

做数学题。解对不对，代回去一算就见分晓，信号又快又准。

三样共同点：对错不用问人，一个规则、一次运行、一次验算就能自动判定。于是：

凡是能「自动判对错」的任务，机器就能自己出无数道题、自己批改、自己进步，海量地练自己，卡住它的天花板会一节一节被顶穿。

信号一浑，它立刻抓瞎

掉个头，看它使不上劲的地方，问题全出在信号上。信号会以四种方式变坏：

• 模糊——说不清什么叫「对」。什么叫「教得好」？分数高，学生爱上这门课，还是十年后他还记得？三个人三个答案。信号一模糊，机器不知道「好」指向哪，往哪拧都是瞎拧。
• 滞后——对错要等很久才揭晓。育儿最典型。你今天对孩子的决定是好是坏，可能要等他长大成人才知道。机器靠「做完马上知道对错」来学，让它等十五年再反馈，这辈子也练不出几轮。
• 有争议——对错本身没有共识。什么是「一篇好文章」「一份公正的判决」？连专家都吵翻天。没有大家都认的标尺，机器就没有稳定的靶子可瞄。
• 压根没有客观标准。该不该原谅一个人、这段关系值不值得继续——有些事就是没有「标准答案」。不是暂时没找到，是本来就不存在能打勾打叉的答案。

于是有了那个反直觉的结论

两半拼起来，开头那个怪现象就通了。直觉上难的事 AI 该更晚才会，现实却反过来：竞赛题、刁钻的编程题进步神速；「安慰一个难过的人」「把团队带得心气顺」「判断这件事该不该做」这些三岁小孩都懂的软事，它却磕磕绊绊。原因不在难易，在信号——竞赛题再难，对错能验算，机器就能往死里练；安慰人再「简单」，没有判分器自动亮灯，它就抓瞎。分界线：

决定 AI 学不学得会一件事的，往往不是这件事有多难，而是它的对错好不好判。可验证性，比任务难度更要命。

「可验证」就是这波 AI 进展背后那台看不见的引擎。下回你想估某件事会不会被咬走，别问它难不难，先问：有没有东西能当场、清楚地告诉机器「这次对了没有」。

一个要命的陷阱：信号给错了，它会精准地把你坑了

这里得泼一盆冷水。机器只会朝着你给的信号猛冲。可万一这信号跟你真正想要的是两码事呢？它不会体谅你的本意，只把你写下的指标优化到极致——给你一个根本不想要的结果。

这有个名字，叫指标欺骗（也叫 Goodhart 定律：一旦把某指标当成目标去追，它本身就废了）。

刷分、讨好、钻空子——不是机器学坏了，恰恰是太听话：你给了个偏的信号，它就把偏的地方优化到极致。

于是更沉的问题浮上来：机器能拼命优化信号，可「这信号本身对不对」它管不了，也不该管。选对信号是人的责任。这责任落到谁头上，就是下章。

最后，一句诚实话

别以为「信号不干净」只是暂时的工程麻烦，等技术进步几年就补上。不是的。很多最重要的事——怎么教孩子、怎么爱一个人、什么叫活得好——没有干净信号，不是因为我们还没造出判分器，而是这类事的本性里就没有能打勾打叉的答案。模糊、滞后、有争议、没标准摘不掉，也恰恰是它们之所以重要、要交给真人来扛的原因。