AI Token 工具
字数转 Token — 我的文本有多少 token?
在词与 token 之间互相换算。粘贴文本获取精确的 GPT token 数,或输入词数进行快速估算——并实时显示字符和词数。
- 1 token
- ≈ 4 个字符
- 1 token
- ≈ ¾ 个英文单词
- 1000 个词
- ≈ 1300 个 token
- 1000 个 token
- ≈ 750 个词
关于此工具
AI 模型以 token 而非词来计量文本。经验法则:1 token ≈ ¾ 个英文单词,或约 4 个字符——所以 1000 个词约 1300 个 token,1000 个 token 约 750 个词。确切数值取决于措辞、语言和标点。
粘贴文本获取精确的 GPT token 数(并实时显示词数和字符数),或输入词数进行快速估算。适合把文章、论文、系统提示和文档塞进模型的上下文窗口。
词、字符与 token 解释
字符是单个字母和符号;词以空格分隔;token 是模型实际读取的子词片段。分词器会保留常见词的完整形态,但拆分生僻或较长的词,因此对英文而言 token 数介于词数和字符数之间。
各语言每词的 token 数
英文平均每个 token 约 0.75 个词。其他拉丁字母语言类似,但中文、日文、韩文、泰文、阿拉伯文和源代码在相同含义下使用更多 token——有时一个字符就是一个 token。请始终核对真实文本,而非依赖单一比例。
使用方法
- 粘贴文本 — 查看其 token、词数和字符数实时更新。
- 或输入词数 — 输入一个词数以快速估算 token。
- 规划提示词 — 用这些数字把内容控制在模型的上下文窗口内。
常见问题
1000 个词是多少 token?
英文约 1300 个 token(1 token ≈ ¾ 个词)。确切计数取决于文本——粘贴到上方以获得精确数值。
1000 个 token 是多少词?
约 750 个英文单词。英文以外的语言和代码每词通常使用更多 token。
500 个词是多少 token?
英文约 650 个 token。请粘贴真实文本以获得精确计数,因为标点和生僻词会改变结果。
为什么词与 token 不完全对应?
分词器按子词、空格和标点切分,因此常见词常是一个 token,而生僻或较长的词则是多个。
token 计数精确吗?
从粘贴文本得出的计数使用精确的 GPT(tiktoken)编码。词 → token 的输入框则是按 ¾ 词规则的快速估算。