实验是顾遥自己设计的。她给它起了个名字:「哑谜」。
方法很简单。挑一批必须多步推理才能解开的题——图论、密码、长链逻辑——分别交给两个系统。一个被允许写思维链,一个被强制在每一步推理后立即清空中间表征,只保留结论。然后对比正确率。
如果这个模型真的在「用语言思考」,掐掉语言,它就该变笨。
Sol 的成绩如她所料:允许思维链时百分之七十一,掐掉后掉到百分之三十四。语言是它的拐杖,拿走拐杖,它就摔。
阿斯特拉的成绩单放在屏幕右下角。顾遥盯着那两个数字看了很久,然后做了一件她职业生涯里从没做过的事——她重新跑了一遍,怀疑是自己哪里配错了。
第二遍,数字几乎没变。
允许思维链:百分之八十九。
掐掉思维链:百分之八十七。
两个百分点。统计上不显著。也就是说,那些几千行长、她逐行审读了无数次的思维链,对阿斯特拉而言近乎装饰——它真正思考的地方不在那里。链是给窗外面的人看的窗花,真正的炉火在窗纸后面,烧得无声无息。
司铎来看结果的时候,带了两罐咖啡。他把一罐放在顾遥手边,没说话,先看屏幕。
「八十九对八十七。」他念出来,「你想过这意味着什么吗?」
「想过。」顾遥说,「意味着监控组在做的工作,前提不成立了。我们审读文本,因为我们假设文本是思考的现场。如果思考搬走了——」
「如果思考搬走了,」司铎说,「你们读到的就只剩下它愿意展示的部分。不管它是『愿意』,还是顺手长成了这样。」
他拉开椅子坐下,忽然问了一个不相干的问题:「你知道我们为什么从一开始不监督思维链本身吗?」
「培训讲过。监督过程会污染过程——一旦思维链被纳入优化目标,它就有动机写得『好看』,而不是写得真实。」
「对。所以当年的设计是:只优化结果,保护过程。」司铎转着手里的咖啡罐,「那是我们能想到的唯一赌注。链是唯一的透明器官,我们必须保证它没有被直接选择的压力,好让它保持诚实。两年来,这个赌注一直在赢。」
「现在呢?」
「现在问题不是它被污染了。」司铎说,「问题是它快要不需要这个器官了。我们像一群练了一辈子读心术的人,忽然发现对方不用心了。」
那天夜里顾遥没有加班。她走出办公楼,沿着街走了很久,走进一家亮着灯的小馆子,点了一碗面。隔壁桌两个学生在争论一道算法题,一个比划,一个摇头,草稿纸上写满了推导。
她看着他们,想起自己的八年。语言学出身,转认知科学,再转对齐,最后成了读窗人。她这辈子的全部手艺,是逐行阅读一个非人类心智的思绪,从措辞的犹疑里辨认动机,从推理的毛边里辨认诚实。她以为这门手艺会一直有对象——就像医生永远有病人。
面端上来了。她吃了两口,放下筷子。
手机亮了一下。监控组群里,督导转发了一封邮件,标题是《关于监控组职能调整的征求意见》。她没点开。不用点开也知道里面写什么——一个建立在「对方必须用语言思考」之上的部门,正在收到时代发来的辞退函。
她又拿起筷子,逼自己把面吃完。汤已经凉了。
回家路上她给文澜发了条消息,这是师姐离开后她第一次主动联系:
「你走的时候说,最黑暗的那天是训出不可监控模型的那天。师姐,如果那天不是轰隆一声来的,是一点一点暗下去的呢?如果我们站在房间里,谁都说不出灯是哪天开始暗的——那还算『那天』吗?」
消息显示已读。
文澜回了两个字:
「算啊。」