对上号 书架

第 05 章 / 共 10 章

第五章 · 一个词的迁徙史:token

如果你是程序员,token 是你每天都在用的词:登录态 token、API token,还有大模型的「这个模型上下文窗口 128K token」。如果你管过 AI 项目的账单,token 是计价单位:一百万 token 多少钱,明码标价。如果你爱读历史,你大概见过它的老祖宗:中世纪信使手里那枚凭信。

这些 token 是同一个词吗?是。它们的意思一样吗?完全不一样。这一章我们就追踪这个词的几百年旅程——你会亲眼看到第四章说的「丢一半、留一半」是怎么一步步发生的。看懂了 token 的迁徙,就看懂了所有词义的迁徙。

第一站:一枚小东西,代表一个大东西

token 的源头在古英语 tācen,就是「记号、凭证」。它最早扎实落地的场景是权力:国王不能亲临现场,就派一个使者,使者手里拿一样东西——一枚印章戒指、一节剖开的木符、一封盖印的信。这东西本身一文不值,但它代表国王在场。见到它,如见到国王授予的那份权力。

把这一站的核心结构提炼出来,就是 token 的「市中心」:一个小东西,本身没有价值,但它代表一个更大的东西,并且凭它能获得某种权限或信用。记住这个骨架,后面每一站我们都拿它来对。

第二站:进地铁和赌场——实体化

后来 token 变成了实体小物件:地铁代币、游戏机厅的游戏币、赌场筹码。地铁闸机不认你这个人,只认那枚小铜片。

对一下骨架:留下了「小东西代表大东西(一次乘车权)」和「凭它获得权限(过闸机)」;丢掉了「代表某个具体的人」——代币是匿名的,谁拿着都算数。这是第一次重要的「丢」:从代表身份,变成代表权利。注意,这一站还悄悄埋了一颗种子:代币可以交换——一枚游戏币五毛钱——它已经半只脚站在钱边上了。

第三站:进计算机——权限的一小段证据

计算机安全领域借走这个词时,干的正是第四章说的类比:登录成功之后,服务器不可能每次都重新验证你的密码,于是发给你一小串字符——session token——以后每次请求你出示它,服务器就认。这跟信使凭信一模一样:不用国王亲临(重新输密码),看凭证就行。

这一站留下的是骨架里最核心的部分——「凭小东西获得权限」;丢掉的是「实体」,token 变成了纯数字。后来又进一步:API token、OAuth 的 access token,结构没变,只是颁发方从「你自己登录的服务器」变成「你授权过的第三方」。城区在扩,市中心还在。

第四站:进编译器和大模型——含义几乎翻面

然后发生了一次大跳。在编译器里,词法分析器把源代码切成一个个最小单元,每个单元叫一个 token——一个变量名是一个 token,一个加号也是一个 token。大语言模型继承了这个用法:模型不直接读字,先把文本切成 token(大致三四个字符一个),一切计算都在 token 上做。

拿骨架来对,你会愣一下:「凭它获得权限」呢?没了,彻底没了。这里的 token 不代表任何权力,它只是「被系统当作一个整块处理的最小单位」。留下的是骨架里另一条更隐蔽的线——「一个小东西,被当作一个整体来代表和处理」,丢掉了权限那一整条腿。

这一站最能说明问题:同样一群写代码的人,嘴里同一个词,安全工程师说的是「凭证」,AI 工程师说的是「碎块」。两边的城区以同一个词为中心,却朝完全不同的方向扩建。跨组合作时吵的那些「你说的 token 是哪个 token」,就是第四章「同图不同地」的行业版。

第五站:进账单——碎块成了钱

第四站那个「碎块」,本来跟钱八竿子打不着。可大模型是按 token 收费的:你调一次 API,账单上写的不是「用了多少秒」,而是「消耗了多少 token」,一百万 token 多少钱,明码标价。这个代码碎块就这样被拽进了经济体系,成了 AI 这门生意的计价单位——就像电表上的「度」:你买的不是「电」这个笼统的东西,你买的是一度一度的电。

计价只是第一步。一个东西只要能度量、能定价,围绕着它的一整套经济活动就会自己长出来。今天围绕大模型 token,正在加速成形一套新的价值体系,有人叫它词元经济——说白了,就是「围绕词元的调用、分发与结算做起来的生意」:

调用、分发、结算三环一闭上,token 就不再只是计价单位,而是 AI 产业商业化的主通道:模型厂商卖 token,应用厂商买 token 做成产品再卖钱,整条产业链的价值都拿它来计、来分、来结。有人说「token 是 AI 时代的货币」,话糙理不糙:它不躺在你钱包里,但这条产业链上流的每一分钱,都拿它结算。

拿骨架来对,你会忍不住笑:第四站那个连「权限」都丢光了的碎块,居然在账单上把「代表价值」这一条找了回来——它不代表国王,不代表乘车权,它代表一份实打实要付钱的东西。这不是巧合。一个概念只要沾上「可度量、可转让、可累积」,经济体系迟早把它收编:当年收编了第二站的游戏币,如今收编了大模型的碎块。被收编进经济体系,也是一个概念迁徙的方向。

把这趟旅程串起来

凭信 → 代币 → 数字凭证 → 代码碎块 → 计价单位。每一次迁徙,都是新领域的人看着旧概念说:「我要的那层意思它身上有,剩下的不要了。」

回头看,token 没有一次是被「重新定义」的——没有人开会决定「从今天起 token 改指代码碎块」。每次都是某个领域的人做了一次范畴化:「这个东西,像我们已经认识的那个 token。」然后挂进去,丢掉用不上的,强调合用的。几百年后,词还是同一个词,底下的城区已经扩出好几片互不连通的街区。

现在你手里有了完整的链条:词是指针(第三章),指针指向的概念是无城墙的城区(第四章),城区在一次次的范畴化里迁徙扩建(这一章)。下一章换个角度:既然城区一直在长,而每个人经历的事不一样,那两个人脑子里同一个词的城区,会长成什么样?答案是——常常是两个城市。

对上号 · 竹小竹8167
费曼式写法 · 由多个 AI 代理撰写与互相审校