第十一章的微调动的是别人的开源模型。这一章谈最后一步:从基座开始,训练一个真正属于你的专用模型。先泼一盆冷水:绝大多数团队永远不需要做这件事。所以本章的前半部分是「什么时候值得」,后半部分才是「怎么做」。顺序不能反——这个决定做错,烧的是六位数起步的真钱。
什么时候值得自训:三个硬条件,缺一不可
- 任务定义稳定且高频。需求还在变,训出来就过时;调用量不够大,摊不回训练成本。自训的经济学本质是:把每次调用都在付的「大模型理解你意图」的税,一次性前置成训练成本。量不够大,税前置就不划算。
- 通用模型在该任务上有结构性的天花板。注意是「结构性」——不是「GPT 偶尔答错」,而是「你的任务依赖的信号,通用模型的训练数据里根本没有」。典型例子:工业设备的振动信号分类、你们内部十年积累的代码审查记录、某种小众语言的法律文书。这类数据世界上只有你有,这是自训唯一不可替代的理由。
- 数据主权或延迟的硬约束。数据不能出内网,或者延迟预算小到不可能走云端 API——这时候自训自部署不是优化,是准入条件。
大白话:值得自训的情形,说到底只有一种——你手里有别人没有的数据,而且这个数据对应的需求又大又稳。缺了「独有数据」这一条,前面九章的手段几乎总是更便宜。
基座选择:别从随机权重开始
「自训」在今天几乎不意味着从零训练。从零预训练一个有竞争力的模型要烧掉几百万到上亿美元的算力,那是巨头游戏。现实路径是站在开源基座的肩膀上:选一个尺寸合适的开源模型(参数量按任务复杂度选,能用 7B 就别上 70B),用你的数据做继续预训练或深度微调。基座已经学会了语言和推理的通用能力,你只注入它缺的领域信号。
训练流水线:和第十一章同构,只是放大
好消息:概念上没有任何新东西——数据、训练、留出集评估,就是第十、十一章那套,只是每个环节放大了一个量级。真正新增的是工程纪律:
- 小规模先行:先用 1% 的数据和最小的模型跑通全流水线,验证数据管线、评估指标都对,再上量。直接全量开训,等于没测试就上线。
- checkpoint 纪律:训练中定期存档,并且每个存档都过评估——训练后期模型常常开始过拟合,最好的 checkpoint 往往不是最后一个。
- 失败的预算:训练任务崩溃、loss 发散是常态不是意外,预算里要留重跑的钱。
算力账:一次性支出 vs 永续租金
自训的账要和 API 的账对着算。API 是永续租金:每次调用都在付钱,量越大越贵。自训是一次性大额支出加少量推理成本:训练花一笔(租 GPU 按周计),之后每次推理只花自托管的电费级成本,量大时单价可以比 API 低一两个数量级。交叉点在哪里,取决于你的调用量、模型尺寸和团队维护成本——把三个数代进去算,别凭感觉。
别忘了账的隐藏项:维护。基座模型在进步,开源社区每半年刷新一次,你的专用模型如果不持续迭代,两年后就是古董。自训买到的不只是模型,是一份长期的维护责任。
走完这一步意味着什么
能独立完成「判断该自训 → 选基座 → 备数据 → 跑流水线 → 评估 → 部署」全链路的人,就是市场上说的算法岗里能落地的那一类。你已经站在这条路的技术顶端了。剩下两章换个视角:技术之外,架构师每天在做什么决定,以及这条路具体怎么走。