Token 是什么:为什么 AI 按字数收费
「第二教育网」是一个专注于优质教育资源导航与学习方法分享的第三方平台。本文将从方法、工具与实操几个角度,帮你把这件事一次看明白。
打开任何一个 AI 工具的定价页,你都会看到"每百万 Token 多少钱"。很多人把它粗略理解为"字数",这个理解对了一半,但正是错的那部分最影响实际使用。
Token 不是字,也不是词
模型并不直接处理汉字或英文单词,而是先把文本切成一个个小块,每一块叫一个 Token。切分规则由分词器决定,遵循"常见组合优先合并"的原则。
举个例子:英文里 unhappiness 可能被拆成 un、happi、ness 三块;而常用的 the 通常是一个完整 Token。中文的情况不同,常见词语如"学习""因为"往往各占一个 Token,生僻字或罕见组合则可能被拆成多个。
大致的换算感觉
- 英文:一个 Token 大约对应 4 个字符,或者说 0.75 个单词,一千 Token 约等于 750 个英文词。
- 中文:不同模型的分词器差异较大,粗略可以按一个汉字 0.6 到 1.5 个 Token 来估算,一千 Token 大致对应几百到一千多汉字。
- 标点、空格、换行也占 Token,代码中的缩进同样计费。
Token 决定了三件事
第一是能装多少内容。所谓上下文窗口 128K,指的是一次对话里输入加输出合计能容纳的 Token 上限。你贴进去的长文、模型的回答、之前的对话历史,全都要挤在这个额度里。
第二是花多少钱。通常输入和输出分别计价,输出往往更贵。让模型写一篇长文,比让它总结一段短文贵得多。
第三是响应速度。生成的内容越长,需要预测的次数越多,等待时间也越长。这就是为什么"请简洁回答"不只是礼貌,而是实实在在省钱省时间。
几个省 Token 的实用做法
- 长材料先自己裁剪,只贴真正相关的段落,而不是整本教材丢进去。
- 一次对话只做一件事,聊太久就开新对话,避免历史记录白白占用额度。
- 明确要求输出格式和长度上限,比如"控制在 300 字以内,分三点说明"。
- 重复使用的长背景资料,可以整理成固定模板,需要时再粘贴。
理解 Token 之后,你会发现很多 AI 使用的"玄学"问题,比如为什么聊到后面开始答非所问、为什么账单涨得快,其实都指向同一个根源。
常见问题(FAQ)
一个汉字等于几个 Token
没有固定答案,取决于具体模型的分词器。粗略估算可按一个汉字 0.6 到 1.5 个 Token 计算,常见词语更省,生僻字和特殊符号更费。
上下文窗口用完了会怎样
超出窗口的部分会被截断或从开头被丢弃,模型就会"忘记"最早的内容,表现为开始答非所问。解决办法是开新对话或精简输入。
为什么让 AI 简短回答更省钱
因为输出同样按 Token 计费,且输出单价通常高于输入。限制输出长度能直接减少计费 Token 数量,同时缩短等待时间。
Token 数量能提前算出来吗
可以。多数平台提供 Token 计算工具或接口,把文本粘贴进去即可得到精确数值。批量处理长文档前先算一次,能避免意外超支。