Harness 决定你是什么人 书架

第 05 章 / 共 14 章

第五章 · 让 AI 自己检查作业

前面几章讲了 Harness 的静态部分:工具、上下文、环境。这一章讲它的动态部分——也是最容易被误解的部分:闭环。

从 Harness 角度,想提高使用 Agent 的效率,核心是为 Agent 构建一套可以自我开发、自我验证、自我测试、自我迭代的环境。

先别急,这里有个必须立刻澄清的误会。

不是模型在迭代,是工作在迭代

很多人一听「自我迭代」,以为说的是让 AI 自己训练自己、越用越聪明。不是。模型的参数从头到尾没变过——它今天和昨天一样聪明,既不更笨也不更聪明(为什么这很重要,第十四章会专门讲)。

迭代的是它手里的那件工作。写一版代码 → 跑一遍 → 报错 → 改 → 再跑 → 测试通过。模型还是那个模型,但代码从第一版烂稿变成了能跑的成品。就像同一个学生,把草稿改了三遍才交——他的智商没变,但分数变了。

大白话:闭环不是让 AI 变聪明,是让 AI 别交草稿。聪明程度不变,但允许它「写完自己检查一遍再交」,质量天差地别。

闭环的四个环节

一个完整的闭环长这样:

  1. 自我开发:Agent 做出一个东西——一段代码、一份分析、一个脚本。
  2. 自我验证:它自己检查这个东西对不对——代码能跑吗?数字对得上吗?
  3. 自我测试:它自己构造考验——边界情况行不行?换个输入还成立吗?
  4. 自我迭代:发现问题,回到第一步改,直到通过为止。

关键在最后一环往回跳的那个箭头。没有这个箭头,前面三步只是「做得比较仔细的许愿」。

闭环是基础设施,不是提示词

这是本章最想强调的一点:你需要能够让 Agent 完成一整个闭环,并且提供一套基础设施,让它完成这么一个闭环。

注意是「基础设施」,不是「指令」。你在提示词里写「请检查你的答案」,这不叫闭环——这只是让它「口头检查」。它说「检查过了没问题」,你信吗?它并没有真的跑一遍。

真正的闭环是物理的:Agent 写完代码,环境里真的有一个解释器能执行它,执行结果真的喂回给 Agent,失败了它真的能再改一版。每一个环节都是「真的发生」,而不是「嘴上发生」。这就是为什么闭环属于 Harness 而不属于模型——执行的机器、回传的管道、重试的机制,全在模型之外。

打个比方:你让员工「写完报告自己校对一遍」,和他桌上真的有一台能打印出校对稿的打印机、一支红笔、一套「改完才能归档」的流程——前者是许愿,后者是制度。闭环必须是制度。

闭环和多聪明没关系

一个反直觉的事实:闭环能补齐的,恰恰是不够聪明的部分。一个 80 分的模型配完整闭环,产出经常超过一个 95 分的模型裸跑——因为 95 分的模型也会犯 5 分的错,而闭环的作用就是在交付前把那 5 分抓回来。

这也是为什么本书后面会说:就算模型的智商从此冻结,我们的工作方式还有巨大提升空间。闭环就是最大的那个旋钮之一。

下一章换个角度,看一个 Harness 救场的极端案例:让反应以秒计的大模型,去玩反应以毫秒计的游戏。

Harness 决定你是什么人 · 竹小竹8167
费曼式写法 · 由多个 AI 代理撰写与互相审校