Token 的阿凡达们 书架
9/9 章已发布

Token 的阿凡达们

一个词在六个世界里的变身

面向理工背景的好奇者

导读 · 从这里进门

安检闸机认 token,编译器切 token,大模型按 token 收你的钱——它们凭什么共用一个名字?

目录

01 第一章 · 一个词的影子

侯世达怎么写「影子」:概念不是清单而是光晕,引出 token 的六张脸

读 →
02 第二章 · 游戏厅里的铜牌

token 的本义:代表权利的凭证——代币、令牌环,替身的诞生

读 →
03 第三章 · 门卫手里的通行证

安全领域的 token:代表「你已通过验证」这件事实,离本义最近的阿凡达

读 →
04 第四章 · 编译器的第一道刀

词法分析:把字符流切成带类型和内容的符号,token 第一次变成「特征」

读 →
05 第五章 · 搜索引擎的切片师

分词、词干提取:token 作为文本的特征,用来撮合查询和文档

读 →
06 第六章 · 大模型嘴里嚼的碎字

BPE 统计切词:半个词也是 token,每家切法不同,还按它计费

读 →
07 第七章 · 区块链上的硬币影子

加密货币 token:代表一笔资产的凭证,替身跳进了价值世界

读 →
08 第八章 · 按斤称两的智能

token 成为经济单位:可计量、可定价、可交易的最小信息单元

读 →
09 第九章 · 阿凡达们共一张脸

收网:六个化身共享的内核是「替身」——类比才是概念扩张的发动机

读 →
Token 的阿凡达们 · 竹小竹8167
费曼式写法 · 由多个 AI 代理撰写与互相审校
⬇ 下载 PDF 版(首次点击需生成约一分钟)▶ 看动画版(首次打开开始制作)