AI 咬走的那一刀 书架

第 06 章 / 共 15 章

第六章 · 分界线三:错了,代价谁来担

上一章埋了个钩子:判断一个信号对不对、值不值得追,本身还是人的责任。顺着往下拽,会拽出第三条分界线,也是「AI 什么都能干」的乐观派最容易漏掉的一条。前两条线问的都是「AI 干得了干不了」——能不能被数据描述、有没有可判对错的信号。这一条不问能力强不强,只问更冷的一个:这件事错了,代价谁来担?

同一句话,在两个地方重量不一样

你随手问 AI「我最近老头晕,可能是啥」,它列了七八种可能。这句话在这儿重量很轻——参考一下,真难受还是得去医院;说错了,也不过多虑一晚。

一模一样的能力搬个地方。你躺在手术台上,麻药已上,主刀盯着屏幕,AI 提示「此处血管走向异常,建议改变切口」。同样一句「建议」,同一个模型,这一刀下去错了就是错了,缝不回来。

两个场景里 AI 的水平、句子质量可能一模一样,变的只是错了以后的代价。这就是第三条线的起点:决定一件事能不能全交给 AI 的,往往不是它答得多好,而是答错了谁倒霉、倒多大的霉。

关键词:得有一个「能被追究」的主体

先立一个词。问责(也叫担责,英文 accountability,你就理解成「出了事,有一个能被揪出来、能受罚、能补救的具体主体」)。它包含三样,缺一不可:出事能追到一个明确的主体头上;这个主体能被惩罚(赔钱、吊照、坐牢、身败名裂);它还有能力有义务把它补正。人敢把要紧事托付出去,就靠这套兜底。

有一点容易被绕进去:这个「能被追究的主体」不一定是某个自然人,也可以是一家公司、一个机构。法律里管这叫法人(一个被法律当成「人」来对待的组织——它能签合同、能起诉别人、也能被别人起诉)。医院、药厂、银行都是法人:你告的常常不是主刀医生,而是医院。

把 AI 放进这个框里,会发现件滑稽事:模型根本没法被追责。

惩罚之所以是惩罚,是因为被罚的对象有能被夺走的东西。模型没有。所以「把责任外包给模型」是空话——就像说「这事出问题由风负责」,风连「负责」是什么都不知道。责任从不蒸发,只会落回那个能被追究的主体头上。

你可能会顶一句:公司也没有血肉,法人不也是「拟制」出来的吗,凭什么它能担责、模型不能?区别不在于有没有肉身——法人确实也没有——而在于:公司有资产、有执照、有能被强制拿走的东西,能被起诉、判赔、吊照关门;模型什么都没有。担责的门槛从来不是「你是不是活人」,而是「身上有没有能被剥夺的东西」。

所以终点上,必须站一个能担责的主体

在那些代价高、不可逆、必须对结果负责的环节——开刀、判案、放贷、批药、发射——最后总得有个能被追责的主体兜底。很多人以为留着这道人工关卡是因为「AI 还不够强」。错。哪怕 AI 的判断比人还准,终点上也必须站着一个能被追责的主体。因为社会需要的不是「一个更准的判断」,而是「一个出了事能被揪住、能补救的对象」——这是信任和法律的地基。

顺手堵一个反例。无人驾驶、自动交易这类系统运行时并没有谁「逐次人工签字」,但责任没消失——它整体压在运营那家公司身上:车撞了人告车企,程序把市场搞崩罚那家机构。担责可以由一个机构整体承接,未必要落成一个自然人的签名。

换个角度。假设 AI 诊断准确率 99.9%,人类医生只有 99%,看数字该让 AI 拍板。但真出了那 0.1% 的事,家属找谁?告谁?谁去赔偿、承担后果?总得有个主体接住。这根柱子不是技术不行才留的「临时工」,而是结构上必须存在——抽掉它,信任、法律、追责整栋楼就塌。

一个反直觉的推论:AI 越强,「签字的人」越值钱

AI 越强,人「亲手做」的活越来越被咬走——不用亲手写病历、查条文、敲代码。但正因为亲手做的部分被机器接管,那个「担责地把关」反而浮出水面、更值钱。把关、审核、签字,这些以前像「盖个章」的轻活儿,会变成责任岗的核心:当 99% 的判断都由 AI 生成,人的意义就浓缩在最后那一下——「我看过了,我确认,出了事我负责。」

把两件常被搅在一起的事掰开:「谁做决定」和「谁担后果」不是一回事。决定可以全交给机器,但只要后果由人承担,那个「我确认」就必须是人做的。这道缝,正是人被需要之处。

但别把这条线用过头

这条线有它的边界,还容易被滥用。

第一种,是拿 AI 当挡箭牌。做了个糟糕的决定,出事就摊手:「这是 AI 建议的呀。」这叫责任稀释(用自动化当借口,把本该自己扛的责任稀释掉、甩出去)。别信这套:系统里但凡还有个人按下「执行」,责任就没走。

第二种,是反过来把「担责」泛化成「什么都得人来」。不对。大量场景根本没什么代价,就该痛快地全交给 AI。想周末去哪玩、把一段话改顺、列个打包清单——错了又怎样,重新生成就是了。这些地方还非拉个人「把关」,不是负责,是浪费。

还有第三种,更隐蔽:以为「加一道人工签字」就等于「更安全」。不一定。当机器几乎总是对的时候,把关的人很容易变成橡皮图章——反正它都对,扫一眼就点确认,久而久之不再真看。这有个专门的名字,自动化偏见(人过度信任自动系统、懒得复核,机器说啥就是啥)。这时强塞一道签字反而给了「有人看过了」的假安心。

这不是要拆掉「终点上得有担责主体」这根柱子,而是补上另一半:让这个主体真正去看、去核、去负责,比逼它画个勾重要得多。签字只有连着「真的复核过」才有意义。

所以这条线真正的用法,是问一句:这件事一旦错了,是「重来一次」就能了,还是「有人得为此付出代价」?前者交给 AI;后者,终点上必须有个能担责的主体。

三条线,收个尾

三条分界线凑齐了:能不能被数据描述、有没有可判对错的信号、错了代价谁来担。前两条画的是「AI 够不够得着」,第三条画的是「就算够得着,该不该让它一个人说了算」。

AI 能做的判断越来越多,但它接不了「终点」——终点的定义就是:这里得有一个能被追究、能受罚、能负责补救的主体。这个位置模型永远进不去:它什么都没有,也就没什么能被夺走。

下一章,把这个「人必须在场」的道理再往前推一步:有些事,需要的不只是一个能担责的签名,而是一个真身——一个有血有肉、此刻真的站在这里的人。为什么有些位置 AI 连「代替出席」都做不到?

AI 咬走的那一刀 · holly
面向对世界有好奇心的人 · 费曼式写法 · 由多个 AI 代理撰写与互相审校