AI 很强,然后呢? 书架

第 09 章 / 共 12 章

第九章 · 信任的校准

两种翻车方式

用 AI 的人会在两个相反的方向上翻车。

第一种是信过头。AI 给的数字直接抄进报告,AI 写的代码不看就上线——直到某天当众爆炸。这种人犯的错叫「过度信任」。

第二种是不信。每个字都自己核对,每段代码都自己重写一遍——最后算下来,用 AI 比自己干还慢。这种人犯的错叫「信任不足」,它不爆炸,所以更难被发现,但它让你把这本书前面所有的旋钮都白拧了。

正确的位置既不是全信也不是全不信,而是一个准确的中间态:校准——你对 AI 的信任程度,要和它真实的可靠程度匹配。它九成可靠的领域你信九成,七成可靠的领域你信七成。

学开辅助驾驶

最好的类比是辅助驾驶。好的辅助驾驶用户脑子里有一张清晰的图:高速跟车几乎不用管,进出匝道手要回到方向盘,雨雪天干脆自己开。他不是「相信这个系统」或「不相信这个系统」,他相信的是分场景的可靠性。

糟糕的司机只有两种:要么开辅助驾驶睡大觉,要么因为「机器不可信」而一路自己开、累个半死。车是同一辆车,差别全在这张脑内的图上。

用 AI 也是一样。你需要的是自己的那张图——按任务类型分开记账的翻车率。

建你自己的校准表

通用说法(「AI 写代码很行」「AI 写数字容易错」)只能当起点,真正的校准表是你自己攒出来的,因为可靠性取决于你的任务、你的领域、你的验收标准。方法朴素得可笑:用,出错,记下来。

用久了,你会有这样一本账:

这本账没有一条是定律,换个模型版本就要重记——这正是关键:校准是一次性的学习,更是一项持续的维护。每次模型升级,聪明的做法不是庆祝,而是拿几个你出过错的旧任务重新试一遍,更新你的账。

两个加速校准的技巧

第一,用分歧当警报器。同一道题问两个模型(或问两次),答案一致的地方通常可以快读,分歧的地方几乎一定是该你细看的地方。你不必知道谁对——分歧本身就是「此处可靠性存疑」的路标。这比通篇精读省力得多。

第二,按代价分配信任,而不只按概率。翻车率两成的任务,如果翻车了改一行字就好,可以闭眼用;翻车率只有百分之二的任务,如果翻车是发给一万个客户,也必须查。信任的正确单位不是「这题多容易错」,而是「错误概率 × 错误代价」——这正是第六章三层质检线背后的同一条算术。

大白话:别问「AI 可信吗」,问「这件事上它值几分信任」——你的账本会告诉你。

到目前为止,我们说的都是怎么管好「一个 AI」。可它不累、不贵、可以同时干十件事——为什么你只让它干一件?下一章,从带一个到带一群。

AI 很强,然后呢? · 竹小竹8167
费曼式写法 · 由多个 AI 代理撰写与互相审校