结论先行：词元（Token）是大模型处理文本、代码、图像、语音、视频的最小运算单元，2026 年 3 月，全国科学技术名词审定委员会面向全社会优先推荐试用“词元” 作为 AI 领域 Token 的中文译名（国家数据局同步引用该名词）；区块链、网络安全场景依旧分别使用 “代币”“令牌”，以此区分不同领域概念。它既不是汉字也不是单词，而是模型计费、记忆（上下文窗口）与衡量AI活跃度的通用标尺。一句话：你发给AI的每句话，都会被拆成词元序列加工，再还原成你能读懂的回答。
一、词元到底是什么
定义：词元是大语言模型通过分词算法，将人类自然语言拆分、编码后得到的最小可运算语义单元。人类靠汉字、单词、标点理解语言，而AI无法直接识别原生文字，只能读取和运算标准化的词元——AI的文本理解、翻译、创作、对话，本质都是对词元的解析、运算与重组。
命名由来：在AI语境之前，Token 在不同领域译法各异：区块链常译"代币"，网络安全多称"令牌"，造成概念混淆。2026年3月，国家数据局与全国科学技术名词审定委员会审定发布"词元"作为 Token 的规范中文名。"词"点明其语言文本属性，"元"代表基本处理单元（如同计算机的"字节"、化学的"元素"、电子的"元件"），精准贴合AI技术本质。
通俗类比：把自然语言想象成大小形状杂乱的天然石块（没有统一标准），词元则是经过标准化切割的规整积木；也可以比作"过安检"——你输入的文字是待检行李，模型自带的分词器（Tokenizer）是安检机，它会把整段文字按预设规则拆分、编码，转换成一个个词元，再映射为数字编号送进模型；输出时再把数字反向还原成文字。
二、最常见的误区：词元≠字，也不≠词
大众最普遍的认知错误，是把 Token 与文字数量直接等价。事实上，二者没有固定的对应关系：模型会根据语言类型、词频、字符组合规律智能分词，不同语言拆分逻辑差异极大，甚至同一句话用不同模型处理，词元数量也会不同（各家分词规则像"方言"，互不通用）。
| | |
|---|
| 不逐字拆，语义优先、按词频智能合并；"科技""人工智能""大数据"等高频词多整体合为1个词元 | |
| 高频短词（the、you、and、is）基本1个单词对应1个词元；低频长词、复合词、变形词会被拆开 | 1个单词 ≈ 1–1.5 个词元；1个词元 ≈ 4 个字母 ≈ 0.75 个单词 |
| "unfortunately" 被拆解为 un-fortun-ate-ly 等 3–4 个词元 | |
| | |
部分海外模型分词器下，中文通常 “1 汉字≈1‑2 个词元”、英文 “1 单词≈1 个词元”；但该差值随模型分词器差异很大，部分国产优化模型中文词元消耗反而低于英文；在部分海外模型场景下，表达同等语义中文消耗词元会比英文多出约 30%‑50%，这是部分场景中文计费偏高的底层原因之一。
三、分词是怎么发生的
分词（Tokenization）是把自然语言变成机器能算的数字的核心环节，流程为：用户输入 → 模型分词器按预设规则拆分编码 → 映射为数字编号 → 模型推理运算 → 输出数字 → 反向还原为文字。
为什么必须这么做？计算机只认识数字，听不懂人类语言；若每句话都逐字翻译，无穷的语言组合会让存储量大到不现实。所以大模型先把语言拆成最小语义单元（词元），再像"查字典"一样在知识库里找每个单元的含义，并让这些单元之间做计算——例如"国王 + 女性 = 女王""国王 + 配偶 = 王后"。靠这套机制，计算机既能理解语义，也能进行计算。
四、词元的三个核心作用
1. 计价器（决定花多少钱）。绝大多数商业大模型按输入词元 + 输出词元的总数计费：你提问的字越多、AI回答越长，消耗词元越多、花费越高。很多产品的"免费额度用完请开通会员"提示，盯的就是这个词元总量。
2. 记忆力（决定能记多少）。每个模型都有"上下文窗口"，即单次能处理的最大词元上限（如 8K、128K）。它装的是"你的提问 + AI的回答 + 历史对话"的总词元。可以想象成一块固定大小的黑板：写满之后，最早的内容会被擦掉。超出窗口的内容会被截断，导致回复不完整或"忘记"前文。128K 词元按普通印刷书籍估算大约相当于 300 页文本；该为英文文本参考估值，中文、代码、表格实际页数会出现明显差异。
3. 计量标尺（衡量AI时代活力）。词元具备"可计量、可定价、可交易"的特征，成为跨越算力（FLOPs）、数据（PB）、参数量等不同量纲的统一标尺。词元调用量被用来衡量模型性能、推理效率与AI渗透深度——如同工业时代用"用电量"衡量活力，智能时代用"词元"衡量发展。据国家数据局与央视报道，我国日均词元调用量在2026年3月突破140万亿（较2024年初的1000亿增长千倍），2026年6月—8月进一步突破500万亿；每生成1分钟720p的AI视频，约消耗上百万词元，复杂智能体一次操作也能"烧掉"几十万词元。
五、不止文字：多模态词元
词元并不局限于文本。当大模型从纯文本走向图像、语音、视频，词元的外延同步扩张：一张图片被切成一格格图像块（每格一个词元），一段语音被切成一帧帧声片段（每帧一个词元），一段视频被切成按时序排列的画面与声音单元（每个单元也是一个词元）。此外，程序代码、数学公式、化学式、表情符号等一切可字符化对象，以及起止符、分隔符、掩码符等功能词元，都属于词元家族。正因为一切信息都被离散成统一的最小碎片，词元才成为智能时代的"标准尺子"。
六、怎么省词元（实用建议）
- 精简提示词：去掉"你好""感谢"等礼貌废话，大模型不需要靠客套来理解任务，每句冗余都在同时消耗输入和输出的词元。
- 善用英文：表达同一意思，英文通常比中文更省词元（中文更"费"词元），对长文档翻译、批量处理尤其明显。
- 控制上下文：长对话及时开新会话，避免历史记录把上下文窗口挤满导致"遗忘"或截断。
- 选对模型与档位：不同模型分词效率与单价不同，有公开报道称国产模型单价约为海外模型的 1/6，日常高频使用可优先对比性价比。
七、注意事项
- 官方定名时间："词元"是2026年3月由国家数据局、全国科技名词委审定的规范中文名；旧译"代币""令牌"分别对应区块链、网络安全场景，在AI语境下勿混用。
- 词元≠字数：计费、免费额度、上下文上限都以词元计，不是以"字"或"提问次数"计。
- 跨模型不通用：每家模型分词规则不同，同一句话在不同模型里的词元数可能不同，不能把A模型的词元直接套给B模型。
- 上下文窗口是"总账"：上限包含提问+回答+历史全部词元，长对话会遗忘或截断，并非只算你当前这句话。
- 标点空格都算钱：标点、空格、数字、特殊符号、表情符号均计入词元。
- 中文更费词元：同样意思，中文词元消耗通常比英文高约30%–50%。
- 多模态也耗词元：图片、语音、视频的切分单元同样是词元，AI生图/生视频/语音的消耗远高于纯文字。
- 数值以官方为准：各模型的单价、每日免费额度、上下文窗口上限随版本快速迭代，具体以各平台官方文档实时显示为准。
以上信息综合自国家数据局公开信息、中国网信网《焦点访谈》、央视新闻、科普中国、央广网、人民政协网、北京市人民政府、中国军网等官方与权威媒体的公开报道与科普内容（发布时间跨 2026年2月至10月）。关于各模型具体单价、每日免费额度、上下文窗口上限等随版本快速迭代，且不同模型分词规则各异，具体数值与可用性请以各模型官方文档实时显示为准。
AI 速览
