Token（官方优先推荐试用中文定名 “词元”）是大语言模型处理信息的最小基本单元，也是AI时代的计价单位。2026年3月24日，国家数据局首次明确Token的标准中文译名为"词元"；3月25日，全国科学技术名词审定委员会正式公告优先推荐"词元"作为官方译名。简单来说，人类以字、词、句为单位读书写字，AI则以Token为单位"阅读"和"生成"内容。每一次你向大模型提问、每一次它给出回答，背后都在消耗Token。本文从定义、换算、计费、上下文四个维度，系统讲清Token到底是什么。
一、Token是什么：核心定义与官方定名
Token（词元）是人工智能模型处理和表示文本的最小基础单元，可以是词、子词、字符，或按其他规则切割的字符串片段。大模型无法直接读懂人类的自然语言，必须先把文字交给"分词器（Tokenizer）"切成一个个标准化的碎片，再转化成数字向量进行计算。这些碎片就是Token。
官方定名：词元
| | |
|---|
| | 在官方发布中首次提到Token的标准中文译名——"词元" |
| | 正式公告，优先推荐 “词元” 作为人工智能领域 Token 的中文名，面向全社会发布试用，后续将结合应用情况完成最终审定确认。 |
通俗类比：Token是AI时代的"新货币"
主流媒体用多个比喻解释Token的定位：
- 流量：像手机流量一样，每个AI模型厂商都以Token消耗量为单位向用户收费
- 电费+流量+汽油三合一：大模型只要开始响应指令，全程都在消耗Token
注意：模型加载、等待闲置状态本身不消耗词元；只有输入处理、生成输出阶段才产生词元消耗。
- 智能时代的"用电量"：正如用电量衡量工业活力，词元调用量衡量人工智能发展
- AI时代的"石油"：词元是量化AI服务成本最精细的标尺
为什么大模型必须用Token，而不是直接读文字？
计算机只认识数字，听不懂人类语言。如果逐字翻译成数字，人类语言组合无穷无尽，存储量不现实；如果按完整单词处理，英文有数十万单词、中文词汇超百万，模型输入输出层维度会暴涨，推理速度极慢。Token是平衡"模型容量"与"计算效率"的折中方案：
- 常见词（如"人工智能""云计算"）在词表中存在，整体计为1个Token
- 生僻字或词表外的词，会被拆成更小的片段（如"不高兴"拆为"不"+"高兴"两个Token）
- 标点符号、空格、换行、表情符号也各算1个Token
核心认知：Token ≠ 汉字，也 ≠ 单词。二者没有固定的一一对应关系。同一个意思，用常见词表达更省Token，用生僻词或古文表达会消耗更多Token。不同模型有各自的"分词法"，同样一段中文在不同模型里Token数量可能差10%–15%。
二、Token换算：1个Token等于多少字？
由于分词规则因语言、词频、字符组合而异，Token与字数的换算是估算值。以下为通用参考标准。
中英文Token换算对照表
| | |
|---|
| | 主流口径（央视/军网/科普中国）；高频复合词整体为1 Token，生僻字逐字切分 |
| | |
| | the、you、and 等高频短词基本1词1 Token |
| | unfortunately 可能被拆为3–4个 Token；英文 Token 总数通常高于单词数 |
| | |
| | |
| | |
| | |
千字量级快速估算
- 1000个纯中文汉字（含标点）：约 1300–2000 个Token（日常对话偏低，技术文档/古文偏高）
- 1K Token：约 2000 中文字符（行业通用计价基准，误差±10%以内）
三、Token怎么查、怎么省
如何查看一段文本的Token数
- 官方工具：OpenAI 提供 tiktoken 库（BPE分词器）；Anthropic、Google 各有自己的分词器，可在对应平台 playground 实时查看
- 在线计算器：token-calculator.net、pythonalchemist.com 等支持多模型本地实时分析（注意需选择对应模型，结果才准确）
- API返回：调用大模型接口时，响应体通常会明确告知本次消耗的 input_tokens 与 output_tokens 数量
降低Token成本的实用技巧
| |
|---|
| 删除"你好""感谢""请"等客套语，大模型不需要礼貌用语来理解任务，每句客套都在消耗输入和输出Token |
| System Prompt 在每次API调用都计入输入Token，删除冗余预设指令可长期省钱 |
| "我很快乐"比"余心甚悦"消耗的Token更少，且模型理解更好 |
| 英文单词Token密度通常高于中文（1词≈1 Token），特定场景用英文可降耗 |
| 历史对话全程消耗输入Token，非连续对话及时清空无效记录 |
| 复用缓存prompt可节省约50%–90%的输入成本（多数厂商支持） |
| |
四、Token与上下文窗口、计费的关系
上下文窗口：AI的"短期记忆硬盘"
大模型每次能记住和处理的最大Token数量叫上下文窗口（Context Window）。它就像一块固定大小的黑板——你写的问题、AI写的回答、以及之前的聊天记录都写在这块黑板上。黑板写满后，最早的内容会被擦掉（截断），AI因此"忘记"开头。
- 上下文窗口上限 = 提问Token + 回答Token + 历史Token 的总和上限
- 2026年主流模型的上下文窗口普遍达到 128K–1M Token（约10万–75万汉字）
- 超出上限会导致回复不完整或丢失上下文，需要靠分段或摘要管理
按Token计费：你的AI账单怎么算
大模型API普遍按"输入Token + 输出Token"分开计价，输出通常比输入贵（生成过程消耗更多算力）。
| | |
|---|
| | 较便宜，约 $0.10–$10 区间（因模型而异） |
| | |
| | |
| | |
词元经济：从"对话消耗"到"任务消耗"
Token消耗模式已发生本质变化：早期是"对话消耗"（单次聊天只用少量Token），现已转向"任务消耗"——AI智能体执行多步骤复杂任务时，单任务Token消耗可从几千级冲到百万级。根据国家数据局统计：
以上信息截至2026年9月13日综合自国家数据局公告、全国科学技术名词审定委员会、央视网、央广网、新华网、中国军网、科普中国网、CSDN、hqyj.com、pythonalchemist.com、kickllm.com、token-calculator.net 等来源。Token与字数的换算比例为估算值，不同模型分词器差异较大（±10%–15%），精确计费请以各模型官方定价页与API实际返回为准。
AI 速览
