Token是大模型处理文本时的最小计量单位,既像“字数”又像“货币”:API按它计费,上下文长度按它计算。一个英文单词约为1个多token,一个汉字通常折算一到两个token,具体因模型分词器而异。
Token和字数是什么关系?
- 英文:常见单词多在1-2个token之间;
- 中文:一般一个汉字约1-2个token,生僻词、专业术语可能更多;
- 代码与表格:符号密集,token消耗明显高于自然语言。
同一句话,不同模型的分词方式不同,token数也会有差异,精确预估应以对应平台的计数工具为准。
Token怎么影响费用?
主流API按输入和输出的token分别计价,通常输出单价高于输入。控制成本的常见思路:
- 提示词精简:删除冗余背景与重复约束;
- 长文分段处理:避免每次都携带全部历史;
- 输出长度控制:让模型先给结论再展开;
- 模型分级:简单任务用轻量模型,复杂任务再升级。
token不够用了怎么办?
- 压缩上下文:把长资料先摘要成要点再发送;
- 分段问答:长文档切片,按需携带相关段落;
- 缓存复用:固定不变的说明类内容,优先使用平台的缓存计价能力(如支持);
- 按需选档:同一模型常有不同上下文版本,按任务规模选档。
这些做法的共同点是:让每次请求只携带当前任务真正需要的内容。
Token和上下文窗口什么关系?
上下文窗口指一次对话能容纳的token总量上限,包括历史消息与当前输入。窗口越大,能“记住”的资料越多,但每次请求的token成本也越高,两者需要权衡。
| 概念 | 类比 |
|---|---|
| Token | 水费按吨计量的“吨” |
| 上下文窗口 | 水桶的容量上限 |
一个容易被忽略的细节:对话历史也计入token,长对话越聊越贵,适时新开会话往往更省。
想对比各家模型的计价与能力入口,可查看AI工具导航;更多大模型基础概念,见学习教程栏目。
常见问题FAQ
为什么我发的中文比英文贵?
多数模型对中文的分词效率低于英文,同样内容的token数偏多,费用相应更高,属于正常现象。
上下文窗口越大越好吗?
窗口大意味着可处理的资料多,但长上下文成本高,且中间内容可能被忽略,按需选择更划算。
怎么快速估算一段文字的token?
粗略估算可按汉字数乘以1.5,正式做预算建议用各平台的官方计数工具实测。
图片和语音怎么算token?
多数平台把图片按分辨率折算成token,语音按时长或转写文本计算,规则各不相同,以官方文档为准。