一个词在六个世界里的变身
导读 · 从这里进门安检闸机认 token,编译器切 token,大模型按 token 收你的钱——它们凭什么共用一个名字?
侯世达怎么写「影子」:概念不是清单而是光晕,引出 token 的六张脸
读 → 02 第二章 · 游戏厅里的铜牌token 的本义:代表权利的凭证——代币、令牌环,替身的诞生
读 → 03 第三章 · 门卫手里的通行证安全领域的 token:代表「你已通过验证」这件事实,离本义最近的阿凡达
读 → 04 第四章 · 编译器的第一道刀词法分析:把字符流切成带类型和内容的符号,token 第一次变成「特征」
读 → 05 第五章 · 搜索引擎的切片师分词、词干提取:token 作为文本的特征,用来撮合查询和文档
读 → 06 第六章 · 大模型嘴里嚼的碎字BPE 统计切词:半个词也是 token,每家切法不同,还按它计费
读 → 07 第七章 · 区块链上的硬币影子加密货币 token:代表一笔资产的凭证,替身跳进了价值世界
读 → 08 第八章 · 按斤称两的智能token 成为经济单位:可计量、可定价、可交易的最小信息单元
读 → 09 第九章 · 阿凡达们共一张脸收网:六个化身共享的内核是「替身」——类比才是概念扩张的发动机
读 →