AI Token 工具

字数转 Token — 我的文本有多少 token?

在词与 token 之间互相换算。粘贴文本获取精确的 GPT token 数,或输入词数进行快速估算——并实时显示字符和词数。

1 token
≈ 4 个字符
1 token
≈ ¾ 个英文单词
1000 个词
≈ 1300 个 token
1000 个 token
≈ 750 个词

关于此工具

AI 模型以 token 而非词来计量文本。经验法则:1 token ≈ ¾ 个英文单词,或约 4 个字符——所以 1000 个词约 1300 个 token,1000 个 token 约 750 个词。确切数值取决于措辞、语言和标点。

粘贴文本获取精确的 GPT token 数(并实时显示词数和字符数),或输入词数进行快速估算。适合把文章、论文、系统提示和文档塞进模型的上下文窗口。

词、字符与 token 解释

字符是单个字母和符号;词以空格分隔;token 是模型实际读取的子词片段。分词器会保留常见词的完整形态,但拆分生僻或较长的词,因此对英文而言 token 数介于词数和字符数之间。

各语言每词的 token 数

英文平均每个 token 约 0.75 个词。其他拉丁字母语言类似,但中文、日文、韩文、泰文、阿拉伯文和源代码在相同含义下使用更多 token——有时一个字符就是一个 token。请始终核对真实文本,而非依赖单一比例。

使用方法

  1. 粘贴文本 — 查看其 token、词数和字符数实时更新。
  2. 或输入词数 — 输入一个词数以快速估算 token。
  3. 规划提示词 — 用这些数字把内容控制在模型的上下文窗口内。

常见问题

1000 个词是多少 token?

英文约 1300 个 token(1 token ≈ ¾ 个词)。确切计数取决于文本——粘贴到上方以获得精确数值。

1000 个 token 是多少词?

约 750 个英文单词。英文以外的语言和代码每词通常使用更多 token。

500 个词是多少 token?

英文约 650 个 token。请粘贴真实文本以获得精确计数,因为标点和生僻词会改变结果。

为什么词与 token 不完全对应?

分词器按子词、空格和标点切分,因此常见词常是一个 token,而生僻或较长的词则是多个。

token 计数精确吗?

从粘贴文本得出的计数使用精确的 GPT(tiktoken)编码。词 → token 的输入框则是按 ¾ 词规则的快速估算。