这个月你为 ChatGPT 的 API 付了一笔账单,计价单位是 token。上班刷卡进楼,闸机认的是 token。你是个程序员,上午刚调试完编译器的报错,那里面最小的零件也叫 token。中午刷到一个新闻:某某 token 在交易所暴涨。
四个 token,四个世界。是巧合,还是同一盏灯的四道光?
这本书借侯世达《表象与本质》的方法——他写「影子」怎么从地上的暗影,一路蔓延成「形影不离」「影子内阁」「心理阴影」——来追踪 token 这个概念的八次化身。你会发现它有一套固定动作:每降落一个新世界,就换上一具当地躯体,可灵魂始终没变:一个东西站出来,代表另一个东西;因为验证替身,永远比验证正主便宜。
我们从游戏厅哐当一声掉出来的铜板出发,路过门禁的通行证、编译器的词法刀、搜索引擎的指纹、大模型嚼碎的统计残字、区块链上的资产契据,最后停在收银台前——看文本碎片如何变成智能时代的计价单位。九章之后,你手里会多出一个趁手的工具:下次在任何领域撞见 token,问三个问题就知道它是谁——它替谁站岗?谁铸的?兑什么现?
第一章先到潘多拉星球——先弄明白「阿凡达」这个比喻,为什么比「引申义」三个字好使得多。