打开任何一家大模型厂商的价目表,你会看到一种很新的报价方式:不是包月,不是按次,而是「每百万 token 输入 X 元、输出 Y 元」。智能,像菜市场的猪肉一样,挂出了单价。
这是 token 最新的一个阿凡达,也是最出人意料的一个:一个语言学兼工程学的切词单位,摇身变成了经济单位——围绕它的调用、分发与结算,一套新的价值体系正在成形。有人把词元称为「智能时代可计量、可定价、可交易的最小信息单元」。这一章就拆解这句话:凭什么偏偏是 token,能坐上这个位子?
一个合格的计价单位需要什么
历史上能当计价单位的东西都过了三关:数得清(一度电就是一千瓦时,没有半个「度感」)、人人认(买卖双方的表得是同一种表)、和成本挂钩(多耗一度,电厂真多烧一把煤)。看 token 怎么过这三关:
- 数得清:第六章说过,每个 token 有编号。一次请求用了多少输入、吐出多少输出,服务器数得一个不差——这是纯机械计数,没有扯皮空间。
- 人人认:tokenizer 是公开的,你可以把同一段话拿去官网自己切一遍对账。表摆在明处。
- 和成本挂钩:模型每处理一个 token,就要实打实地做一轮矩阵运算,GPU 的电费随 token 数近似线性增长。token 数和真金白银的成本之间,有物理意义上的对应。
大白话:token 就是 AI 时代的「电表读数」。电厂不按「你家的幸福感」收费,按千瓦时;大模型也不按「这个回答多有智慧」收费,按 token。两者都不完美,但都赢在同一点:表可信,数可查,成本对得上。
但它终究只是电表,不是电
这里有全书最值得警惕的一个混淆:token 计量的是「处理的量」,不是「智能的质」。一千个 token 的废话和一千个 token 的真知,账单上一模一样。电表只记你用了多少电,不管你用来炼钢还是烤糊了面包。
而且这块表还有第六章埋下的那个毛病:不通约。各家刀法不同,同一段话在 A 家切出 100 个 token,在 B 家可能是 120 个。所以「每百万 token 的价格」跨厂比较时打了个折扣——就像两家商店都用「斤」,但一家的斤是 500 克,另一家是 450 克。精明的买家会把同一份真实任务分别跑一遍、看总账单,而不是只比单价。计价单位的历史重演了:秦始皇统一度量衡之前,跨国的「斤」也是一笔糊涂账。
围绕读数长出的生意
一旦有了可信的读数,围绕它的商业生态就像围绕电表长出的电力工业一样冒出来:
- 调用:开发者按 token 买「智能原料」,组装成自己的产品;
- 分发:聚合平台像电力批发商,打包多家模型转售,赚调度和差价;
- 结算:企业内部按部门分摊 token 用量,像分摊电费;预算、限流、成本优化全围绕着这个读数转——「这句提示词能不能省 200 个 token」成了真实的工程问题,提示词工程一半是技术,一半是节俭。
再往远处看一步:当 AI 代理(agent)开始互相调用、互相付费时,它们之间结算的「货币」大概率就是 token 或它的某种衍生凭证。第六章的文本碎片和第七章的链上铜板,在收银台前正式握手——一个提供读数,一个提供账本。
本章留下的问题
八个阿凡达巡礼完毕(算上词典本义和硬件返祖):凭证、通行证、语法符号、文本特征、统计碎片、资产凭证、计价单位。有的代表权利,有的代表类别,有的代表意思,有的代表钱。
是时候回答第一章那个贯穿全书的问题了:这些化身到底共享了什么,让六个行业不约而同抓起了同一个词?下一章收网——我们会看到,答案不在任何一本技术手册里,而在侯世达那盏灯里:概念的扩张从来不是逻辑推演,而是一次次类比起跳。