如果你是程序员,token 是你每天都在用的词:登录态 token、API token,还有大模型的「这个模型上下文窗口 128K token」。如果你管过 AI 项目的账单,token 是计价单位:一百万 token 多少钱,明码标价。如果你爱读历史,你大概见过它的老祖宗:中世纪信使手里那枚凭信。
这些 token 是同一个词吗?是。它们的意思一样吗?完全不一样。这一章我们就追踪这个词的几百年旅程——你会亲眼看到第四章说的「丢一半、留一半」是怎么一步步发生的。看懂了 token 的迁徙,就看懂了所有词义的迁徙。
第一站:一枚小东西,代表一个大东西
token 的源头在古英语 tācen,就是「记号、凭证」。它最早扎实落地的场景是权力:国王不能亲临现场,就派一个使者,使者手里拿一样东西——一枚印章戒指、一节剖开的木符、一封盖印的信。这东西本身一文不值,但它代表国王在场。见到它,如见到国王授予的那份权力。
把这一站的核心结构提炼出来,就是 token 的「市中心」:一个小东西,本身没有价值,但它代表一个更大的东西,并且凭它能获得某种权限或信用。记住这个骨架,后面每一站我们都拿它来对。
第二站:进地铁和赌场——实体化
后来 token 变成了实体小物件:地铁代币、游戏机厅的游戏币、赌场筹码。地铁闸机不认你这个人,只认那枚小铜片。
对一下骨架:留下了「小东西代表大东西(一次乘车权)」和「凭它获得权限(过闸机)」;丢掉了「代表某个具体的人」——代币是匿名的,谁拿着都算数。这是第一次重要的「丢」:从代表身份,变成代表权利。注意,这一站还悄悄埋了一颗种子:代币可以交换——一枚游戏币五毛钱——它已经半只脚站在钱边上了。
第三站:进计算机——权限的一小段证据
计算机安全领域借走这个词时,干的正是第四章说的类比:登录成功之后,服务器不可能每次都重新验证你的密码,于是发给你一小串字符——session token——以后每次请求你出示它,服务器就认。这跟信使凭信一模一样:不用国王亲临(重新输密码),看凭证就行。
这一站留下的是骨架里最核心的部分——「凭小东西获得权限」;丢掉的是「实体」,token 变成了纯数字。后来又进一步:API token、OAuth 的 access token,结构没变,只是颁发方从「你自己登录的服务器」变成「你授权过的第三方」。城区在扩,市中心还在。
第四站:进编译器和大模型——含义几乎翻面
然后发生了一次大跳。在编译器里,词法分析器把源代码切成一个个最小单元,每个单元叫一个 token——一个变量名是一个 token,一个加号也是一个 token。大语言模型继承了这个用法:模型不直接读字,先把文本切成 token(大致三四个字符一个),一切计算都在 token 上做。
拿骨架来对,你会愣一下:「凭它获得权限」呢?没了,彻底没了。这里的 token 不代表任何权力,它只是「被系统当作一个整块处理的最小单位」。留下的是骨架里另一条更隐蔽的线——「一个小东西,被当作一个整体来代表和处理」,丢掉了权限那一整条腿。
这一站最能说明问题:同样一群写代码的人,嘴里同一个词,安全工程师说的是「凭证」,AI 工程师说的是「碎块」。两边的城区以同一个词为中心,却朝完全不同的方向扩建。跨组合作时吵的那些「你说的 token 是哪个 token」,就是第四章「同图不同地」的行业版。
第五站:进账单——碎块成了钱
第四站那个「碎块」,本来跟钱八竿子打不着。可大模型是按 token 收费的:你调一次 API,账单上写的不是「用了多少秒」,而是「消耗了多少 token」,一百万 token 多少钱,明码标价。这个代码碎块就这样被拽进了经济体系,成了 AI 这门生意的计价单位——就像电表上的「度」:你买的不是「电」这个笼统的东西,你买的是一度一度的电。
计价只是第一步。一个东西只要能度量、能定价,围绕着它的一整套经济活动就会自己长出来。今天围绕大模型 token,正在加速成形一套新的价值体系,有人叫它词元经济——说白了,就是「围绕词元的调用、分发与结算做起来的生意」:
- 调用:token 是消耗品,也是生产资料。应用厂商从模型厂商那里买 token,就像工厂买电——每一次模型调用都是一笔以 token 计的开支,省 token 就是省成本。
- 分发:token 开始被批量地切分、转售、配额。模型厂商按百万 token 批发,云厂商打包成额度转售,应用厂商再把 token 揉进订阅套餐里零售给用户——一条从批发到零售的分销链,跟任何一门资源生意一模一样。
- 结算:token 是结算的刻度。上游跟下游对账、平台跟开发者分账、公司内部给各部门摊算力成本,算的都是 token。它成了 AI 产业内部流通的那杆秤。
调用、分发、结算三环一闭上,token 就不再只是计价单位,而是 AI 产业商业化的主通道:模型厂商卖 token,应用厂商买 token 做成产品再卖钱,整条产业链的价值都拿它来计、来分、来结。有人说「token 是 AI 时代的货币」,话糙理不糙:它不躺在你钱包里,但这条产业链上流的每一分钱,都拿它结算。
拿骨架来对,你会忍不住笑:第四站那个连「权限」都丢光了的碎块,居然在账单上把「代表价值」这一条找了回来——它不代表国王,不代表乘车权,它代表一份实打实要付钱的东西。这不是巧合。一个概念只要沾上「可度量、可转让、可累积」,经济体系迟早把它收编:当年收编了第二站的游戏币,如今收编了大模型的碎块。被收编进经济体系,也是一个概念迁徙的方向。
把这趟旅程串起来
凭信 → 代币 → 数字凭证 → 代码碎块 → 计价单位。每一次迁徙,都是新领域的人看着旧概念说:「我要的那层意思它身上有,剩下的不要了。」
回头看,token 没有一次是被「重新定义」的——没有人开会决定「从今天起 token 改指代码碎块」。每次都是某个领域的人做了一次范畴化:「这个东西,像我们已经认识的那个 token。」然后挂进去,丢掉用不上的,强调合用的。几百年后,词还是同一个词,底下的城区已经扩出好几片互不连通的街区。
现在你手里有了完整的链条:词是指针(第三章),指针指向的概念是无城墙的城区(第四章),城区在一次次的范畴化里迁徙扩建(这一章)。下一章换个角度:既然城区一直在长,而每个人经历的事不一样,那两个人脑子里同一个词的城区,会长成什么样?答案是——常常是两个城市。