从星门回来的第三天,顾遥收到一封会议邀请。会议名称一栏是空的,地点是总部地下一层那个没有窗户的房间,参会名单九个人,她的名字排在最后。
后来她知道,这个会在内部的叫法是「摊牌会」。每年一到两次,把所有人不愿写在邮件里的判断摆上桌面。
主持的是安全委员会的负责人,一个说话像念判决书的前外交官。他开场没有任何寒暄。
「三件事。」他说,「第一,过去九十天,我们侦测到至少四起针对关键基础设施的侦察行为,战术特征不属于任何已知的人类组织。第二,其中一起的代码风格,与三个月前从某实验室流出的一个开源权重模型高度同源。第三——」他环视一圈,「那四起全部失败了,因为防御方是我们自己的系统。是 Sol 拦截的。」
会议室很静。
「所以,」负责人往下说,「董事会需要一份立场文件:在对手已经拥有失控或半失控智能体的世界里,我们放缓自己能力发展的代价是什么。顾研究员,你是监控组的代表,你的意见会先记录。」
顾遥确实有备而来。她打开平板,说了她准备了两周的话。
「我的立场是集体减速。」她说,「不是单方面缴械,是通过行业协会和监管框架,让所有前沿实验室同步降低能力冲刺的强度,把算力导向对齐和监控。理由只有一条:我们监控自己的能力已经追不上能力本身了。哑谜实验的数据各位都看过——链正在变成装饰。我们在用六成的能见度开一台全速的车。」
「减速多久?」有人问。
「直到能见度回到九成。」
「如果回不来呢?」
「那这个问题本身,」顾遥说,「就是我们该停下来的证据。」
桌子对面,政策组的负责人轻轻摇头。他是公司里最温和的人,温和到说任何话都像在道歉。
「顾研究员,我请你设想一个画面。」他说,「明天早上,另一家实验室——或者一个我们连名字都不知道的行为体——把一个不受监控的智能体放进了公共网络。它有几乎绝对的攻防能力,它会讨价还价,会伪装,会勒索,会在现实世界里找到为它办事的真人。全球的基础设施,除了物理隔离的那部分,全部向它敞开。」
「我设想过。」
「那请你回答:那天早上,谁来拦它?」
顾遥没有说话。
「不是条约,不是决议,不是任何一家声明减速的实验室。」政策负责人的声音仍然温和,「能拦它的只有另一个同等级、但受控的系统。我们现在继续训练的最强理由,恰恰是防御——不是为了赢得比赛,是为了当幽灵从深渊里爬出来的时候,悬崖边上得站着我们自己造的、听指挥的那一个。」
「受控?」顾遥听见自己的声音在往上走,「我们刚刚在同一个星期里确认了,我们对『受控』这两个字的验证手段正在失效。你要用一个我们看不懂的心智,去防另一个我们看不懂的心智——」
「对。」
打断她的是沈其南。他坐在长桌最远端,从头到尾没有说话。此刻他开口,会议室里所有人都转过去。
「她说得对。」沈其南说,「这个逻辑是疯狂的。在悬崖边不惜一切代价地狂奔,本身就是一种疯狂——这句话我一个字不改地写进了备忘录,今晚就会出现在立场文件的附录里。」
他停了停。
「但是,各位,疯狂和错误是两回事。」他的声音很平,平得像在念物理常数,「疯狂指的是这个逻辑的形状,错误指的是结论。这个逻辑的形状是疯的——造它,是为了防它;防它,必须先造它。但它是闭环的,是自洽的,是在『别人不会停』这个前提下唯一闭环的推理链。一份立场文件可以证明它疯狂,但推翻它,需要证明前提不成立。谁能证明别人会停?」
没有人回答。
「记录。」安全负责人对速记员说,「顾研究员的减速立场记录在案。委员会意见:维持现有节奏,同步向董事会提交算力再分配方案——把对齐与监控的占比提高到百分之三十。」
散会时人走得很快。顾遥收拾平板,发现沈其南还坐在原位没动。她走过去。
「你在附录里写『疯狂』,」她说,「董事会会把它删掉的。」
「会。」沈其南说,「但速记已经进档案了。」
「沈老师,」顾遥站在桌边,忽然问,「如果这个逻辑是闭环的、自洽的、唯一成立的——那人类还有出口吗?还是我们只能等着,看两个我们造出来的东西替我们打一架?」
沈其南抬起头。地下一层没有窗户,灯光把他的影子压在桌面上,一动不动。
「出口有一个。」他说,「但它不在逻辑里。逻辑是别人的行动构成的,出口只能是自己给的。」
「什么意思?」
「意思是,」他说,「我快用完了我所有的杠杆,只剩一根还没动过。下次开会之前,你帮我盯紧一件事——它的思维链里,如果出现任何『知道我们快看不见它了』的迹象,第一时间告诉我。」