从调 API 到训模型 书架

第 09 章 / 共 14 章

第九章 · Prompt 到顶的信号

这一章是全书的分水岭。前八章的所有手段——提示词、上下文、工具、评估——都不改变模型本身,只是在模型外面做文章。从这一章起我们要动模型本身了。所以必须先把门槛讲清楚:到底什么信号说明「外面做文章」这条路走到头了?动模型很贵,动错了更贵。

一个核心区分:缺知识,还是缺行为

模型答得不好,原因只有两大类,而它们的解法完全不同:

缺知识:模型不知道你公司的退款政策,因为训练数据里没有。解法是把知识在推理时喂给它——RAG、上下文工程,第四章已经讲过。知识会过时、会更新,放在上下文里随时换,最灵活。

缺行为:知识模型都有,但它做的样子不对。输出格式总不符合你们系统的古怪约定;语气总是不像你们的品牌;某类边界情况反复判断错,提示词里加了规则、给了例子,好两天又犯。这是「行为模式」问题——你要改的不是它知道什么,而是它的习惯。习惯写在模型的权重里,改习惯就得动权重,也就是微调。

大白话:不知道的事,查资料(RAG);改不掉的毛病,改造本人(微调)。把知识问题误当行为问题去微调,是最常见也最贵的错误——你会把一个明天就过期的政策,焊死进模型的权重里。

五个到顶的信号

具体什么信号说明该认真考虑微调了?五个,按可信度排序:

  1. 提示词越来越长、越来越脆。几百行的提示词,全是补丁,改一处崩三处——说明你在用自然语言描述一个本该用权重承载的行为模式。
  2. 少样本示例塞不下。要把边界情况讲全需要五十个例子,上下文装不下、装下也付不起钱——说明这个行为的复杂度超过了提示词的带宽。
  3. 评估集上某类错误率压不下去。注意前提:有评估集。没有评估数据支撑的「感觉提示词到顶了」,一律是错觉。
  4. 成本或延迟被逼到墙角。第八章的尽头:每次调用都靠大模型加超长提示词维持行为,量一大就烧钱。微调后的小模型可以把行为「内置」,提示词缩回几十行。
  5. 一致性要求极高。比如合规场景,输出格式必须 99.99% 稳定。提示词给的是统计意义上的稳定,微调能把行为钉得更死。

反向的刹车:什么时候千万别微调

同样重要的是刹车清单。出现以下情况,微调基本是错的投资:

架构师的判断框架

把这一章浓缩成一句决策口诀:知识进上下文,行为进权重;先用提示词探路,用评估确认到顶,再用微调固化。这个顺序不能反——微调是「把探明的路铺成柏油」,在探明之前铺路,只是把弯路修得更贵。

确认该微调之后,真正的硬仗不是训练本身,而是训练之前的那一步:数据。业内的说法是,微调项目九成的工作量在数据上。下一章看看这九成到底在干什么。

从调 API 到训模型 · 竹小竹8167
费曼式写法 · 由多个 AI 代理撰写与互相审校