判断的品味 书架

第 05 章 / 共 10 章

第五章 · 证据这关:AI 最会一本正经地错

评价的第二个部件是证据。第三章说过,「检查」这道工序——核实事实、抓自相矛盾——在面对 AI 输出时从好习惯变成了保命技能。这一章讲为什么,以及具体怎么查。

AI 的错误长什么样

先建立一个关键认知:AI 的错误和人类作者的错误,长相完全不同。

人类写错东西,通常有迹可循:他不熟的地方写得含糊,他编造的地方笔调发飘。一个有经验的读者能从字里行间嗅出「这段作者心里没底」。文字的可信度和作者的把握程度大致是挂钩的——这是一个进化了很久的社交信号系统。

AI 没有这个系统。它生成一段文字时,「确定的事实」和「合理的猜测」用的是同一种笔调、同一种自信。它能用引用学术论文的权威口吻,报出一本不存在的书、一个不存在的页码、一个差两倍的数字。这在业内叫幻觉(hallucination):模型生成的听起来可信但与事实不符的内容。重点不是「它会错」——人也会错——重点是它错的时候和它对的时候一模一样地自信。你赖以为生的那个「这段写得这么顺,应该没问题」的直觉,在 AI 面前是个坏仪表。

大白话:人类撒谎会脸红,AI 不会。所以你那套「看脸色识谎」的功夫在 AI 身上全部作废,只能用笨办法:一条条查。

检查的三种靶子

面对一份 AI 输出(或任何人的产出),检查工序瞄准三类靶子,难度递增:

靶子一:事实性硬伤

数字、日期、人名、引文、法条、API 参数——一切「有唯一正确答案」的东西。这是最容易查也最容易被 AI 搞砸的一类。查法没有捷径:凡是可以核查的,一律核查。数字回到原始来源,引文去搜原文,参数去翻官方文档。一个实用的心法是「风险加权」:这个数字错了代价多大?报告里的市场规模错一位数可能没人发现,合同里的违约金错一位数会出大事。检查力度跟着代价走,不跟着「看起来可疑程度」走——因为 AI 的可疑程度不报错。

靶子二:内部一致性

东西自己跟自己打架:第三页说「用户增长强劲」,第七页的数据显示月活在下滑;开头假设「预算有限」,结尾推荐最烧钱的方案。这类错误 AI 常犯,因为它是逐段生成的,写第七页时并不「记得」第三页承诺过什么。查法是把长文档里的所有断言和数字列成一张清单,两两对照。这很枯燥,但它是抓这类错误唯一可靠的姿势——靠通读的「整体感觉」几乎必漏,因为 AI 每一段单独读起来都很顺。

靶子三:前提与语境

最难的一类:每句话单看都对,合在一起对不上你所在的真实处境。AI 给的方案默认了「团队有十个人」,你们只有三个;它引用的最佳实践来自一个烧得起钱的大厂;它说「一般建议这样」,而你面对恰恰是不一般的那个 case。这类错误没法用搜索引擎核查,只能靠你自己对处境的掌握——这恰恰是 AI 给不了、只能靠人的部分。查法是每读一条建议就问一句:这条建议背后的默认前提是什么?这个前提在我这里成立吗?

检查的流程化:把「仔细点」变成一张单子

「你要仔细一点」是最没用的建议——仔细不是态度问题,是流程问题。航空业早就想明白了:飞行员技术再高,起飞前也照清单逐项打勾,不靠「我今天状态好」。这个思路落到评价上,就是给你常验收的东西各做一张检查清单(checklist)。

举几个例子:

清单的价值在于它把检查从「依赖当天的专注度」变成「依赖一个结构」。注意力会波动,清单不会。而且清单是积累的:每被 AI 坑一次,就把那个坑变成清单上的一项。被坑三次之后,你的清单就是你个人的「AI 错误图谱」——这是花钱都买不来的资产。

一个心态转变:从「读者」变成「质检员」

检查功夫真正难的不是技术,是姿势。我们读东西的天然姿势是「读者」:顺着作者的思路走,被说服,点头。而检查要求你切换到「质检员」:不顺着走,处处反问「凭什么是这样」。这个切换很耗能,所以人会偷懒——尤其是当文本读起来舒服的时候,而 AI 恰恰最擅长生产读起来舒服的文本。

有一个简单的触发动作能帮你切换:先找一处错,再开始读。心理学上有个现象,一旦你在一份文档里抓到过一处错误,你对整份文档的信任校准会立刻重置——你会从「默认它对」切到「默认它可能错」。所以拿到 AI 输出的第一件事,不是通读,是抽查:随机挑两个事实去核,核完再决定这份东西值得你投入多少信任。

本章小结

AI 的错误特征是「错得自信」,人类的直觉仪表在它面前失灵,检查必须升级为独立工序。检查瞄准三类靶子:事实硬伤(逐条溯源)、内部一致性(断言清单两两对照)、前提语境(问「这条建议默认了什么」)。把检查流程化成清单,每被坑一次就加一项。姿势上,先抽查找一处错再通读,强制自己从读者切到质检员。下一章换个方向:证据查完了,东西「对」了——但「对」不等于「好」。判断「好不好」需要另一种资本:见识。

判断的品味 · 竹小竹8167
费曼式写法 · 由多个 AI 代理撰写与互相审校