什么是分词器 Tokenizer：为什么 AI 数不清一句话有几个字

「第二教育网」是一个专注于优质教育资源导航与学习方法分享的第三方平台。本文将从方法、工具与实操几个角度，帮你把这件事一次看明白。

分词器（Tokenizer）是把一段文字切成更小单元的工具，这些单元叫 Token。模型不直接认识汉字或字母，它认识的是词元编号，所有输入输出都要先经过分词。所以我们说模型按 Token 计费、按 Token 记长度，而不是按字数。

中文和英文的切法不一样

• 中文常见以字为单位，也有一部分是常见词组整体成词元，所以数字感觉比实际字数略少。
• 英文按子词切，比如常见词整体保留，生僻词拆成前后几块，长单词会被拆碎。
• 标点、空格、数字也各自占用词元，容易被忽略。

数数为什么会出错

人数是「数字符」，模型是「看词元序列里重复了几轮」。当一句话里同类结构多、需要逐个对齐时，它容易整体估算而不是逐个计数，于是出现少算或多算。这不是它故意偷懒，而是生成方式的天然弱点。

怎么让它在计数类问题上靠谱

• 让它逐项编号列出，再数编号，而不是直接问有几个。
• 要求它把每项与原文对照，数一个勾一个。
• 分段数：一次只让它数一小段，结果比一口气数全篇稳。

其他受影响的场景

除了数数，分词还影响收费、长度限制和跨模型差异：同一段中文在不同模型里词元数可能不同；生僻字、长串数字、外文混排通常更费词元。所以写长材料摘要时，控制格式符号比堆文字更能省预算。

一个好用的判断

• 模型报的长度和你感觉差很多：多半是符号和换行也占位。
• 跨模型对比报价时：同一段文字词元数各不同，别直接比字数。
• 需要精确计数：让它先展开再汇总，不要一步到位。

一句话总结：分词器决定了模型眼里一个字有多长。理解它，就知道数数、计费、长度限制这些现象背后都只是切词方式的不同。

顺带一提，拼音、生僻字、长串数字往往比常用词更费词元，把材料里的无关符号清理掉，有时比删字更省预算。需要它严格照格式输出时，也别用容易折行的复杂排版，那会额外占掉不少可用长度。