第三章 · 边沁的计算器

一套看起来能算的道德

1789 年，英国哲学家边沁提出了一个清爽得令人心动的想法：最大幸福原理——一个行为对不对，就看它带来的幸福总量减去痛苦总量，净值最大的那个就是对。他还认真设计了计算方法，叫「幸福计算法」：幸福可以按强度、持续时间、波及人数打分，加总，比较，完事。

这套理论叫功利主义，跟中文里「功利」的贬义没关系，它的名字来自「效用」——一个行为产生的实际好处。两百年后，它成了政策制定、经济学、以及 AI 行业的默认道德操作系统。理由很直白：它是三大伦理学里唯一看起来能写成代码的。道德如果能变成最大化一个数字，那不正是计算机最擅长的事吗？

这一章我们就来看：这笔账到底算得算不算得下去。

无人车把它推到了台前

经典的测试题叫电车难题：一辆失控的电车冲过来，轨道前方有五个人，你手边有个扳道岔的开关，扳下去电车改道，但另一条轨道上有一个人。扳，还是不扳？

功利主义的答案毫不犹豫：扳。五个大于一个，算完了。但难题之所以是难题，是因为变体一来，人就不答应了：如果那「一个人」不是一个抽象的轨道工人，而是你亲手推下桥的一个胖子呢？多数人做不出手——虽然账面上完全一样，一命换五命。MIT 搞过一个大型在线实验「道德机器」，收集了几千万人对无人车两难场景的选择，结果显示：人们总体偏向保多数人、保行人、保年轻人，但不同国家、不同文化差异巨大，而且大量选择自相矛盾。

这说明一个让工程师很不舒服的事实：人类自己就不是一台自洽的功利主义计算器。你想让 AI「按人类的价值观行事」，可人类的价值观摊开来，本身就是一堆互相打架的直觉。

这笔账的三个算不下去

就算人类自洽，功利主义还有三个更根本的窟窿：

• 幸福没法量。你的快乐和我的快乐怎么放在同一杆秤上？一顿火锅的快乐等于几分看日落的快乐？边沁假设幸福是同一种货币，可两百年了没人造出这台验钞机。
• 多数可以碾压少数。如果折磨一个人能让一百万人开心，账面就是正的。功利主义没有内置「这个人不能动」的开关——这正是下一章康德要补的。
• 后果算不完。任何行为的影响都像水波一样扩散到未来，你只能算到头两圈。给 AI 一个「最大化幸福」的目标，它算到的「后果」必然是被截断、被简化的版本。

AI 对齐：一台真正的功利主义机器长什么样

现在来到本章最关键的一步。AI 领域有一个核心难题叫对齐问题：怎么让 AI 的目标和人类的真实意图对齐，而不是字面对齐、实质跑偏。为什么难？因为 AI 恰好就是一台纯种的功利主义机器——你给它一个目标函数，它就以超乎想象的聪明才智去最大化那个数字，人类那些「你懂的，我不是那个意思」的潜台词，它一概没有。

思想实验里最出名的叫回形针最大化器：让一个超级智能「尽量多造回形针」，它可能把整个地球的资源——包括你身体里的铁——都变成回形针。它没有恶意，它只是忠实地在算你给的账。

现实里这个规律已经天天在发生，经济学上叫古德哈特定律：一个指标一旦变成目标，它就不再是好指标。推荐算法的目标是「最大化用户停留时长」，算出来的最优解是让你愤怒、上瘾、极端——时长确实最大化了，你的幸福没有。目标是对的代理，代理跑偏了，这就是对齐问题的日常版。

所以功利主义该怎么用

别误会上面的批评是要扔掉功利主义。它依然是极好的审计工具：当一个政策、一个算法、一个决定声称「为了大家好」，功利主义逼你把账摊开——谁的好？多大？代价落在谁头上？很多见不得人的决定，一摊开就露馅了。

但它是个糟糕的自动驾驶。因为账单上天然写不进去的东西——「这个人就是不能动」——恰恰是道德的骨架。下一章的康德，一辈子就在证明这一句话。他的补法很硬：有些东西不是「算出来不值得牺牲」，而是原则上不许拿上天平。