Token 计数器

即时统计GPT-4o、GPT-4、Claude等大语言模型的Token数量。

...
GPT-4o Tokens
GPT-4o, GPT-4o-mini
...
GPT-4 Tokens
GPT-4, GPT-4-turbo, GPT-3.5-turbo
...
Claude Tokens
Claude 4, Claude 3.5, Claude 3(近似值)
0
字符数
0
词数

功能特点

多模型支持

同时统计GPT-4o、GPT-4、GPT-3.5-turbo和Claude模型的Token数。

实时统计

输入或粘贴文本时Token数即时更新,无需等待。

精确分词

使用官方BPE分词器(tiktoken)提供精确的GPT Token计数。

隐私优先

所有处理均在浏览器中完成,文本不会发送到任何服务器。

常见问题

什么是大语言模型中的Token?

Token是语言模型处理的文本块。Token可以是单词、单词的一部分,甚至是单个字符。例如,“hamburger”可能被拆分为“ham”、“bur”、“ger”——三个Token。平均而言,英文中一个Token大约是4个字符或0.75个单词。中文中每个汉字通常为1-2个Token。

为什么不同模型的Token数不同?

不同模型使用不同的分词器(编码方案)。GPT-4o使用o200k_base,词汇表包含20万个Token;GPT-4和GPT-3.5使用cl100k_base,词汇表包含10万个Token。词汇表越大,常见单词越可能作为单个Token,从而产生更低的Token数。

Claude的Token计数准确吗?

这里显示的Claude Token数是基于cl100k_base分词器的近似估计。虽然Claude使用自己的专有分词器,但计数通常非常接近实际值,适用于成本估算和Prompt优化。

如何利用Token数优化Prompt?

了解Token数有助于控制模型上下文限制(如GPT-4o的128K、Claude 3.5的200K),估算API成本,并通过删除不必要的文本来优化Prompt。更短的Prompt不仅成本更低,往往还能产生更好的结果。

关于Token计数器

我们的免费在线Token计数器帮助开发者、Prompt工程师和AI爱好者精确统计主流语言模型的Token数量。无论您使用OpenAI API还是Anthropic的Claude API构建应用,了解Token数对管理成本和控制上下文窗口限制至关重要。

该工具使用官方BPE(字节对编码)分词算法为GPT模型提供精确计数。对于Claude模型,我们提供接近的近似值。Token数在您输入时实时计算,支持任何语言的文本,包括英语、中文、日语、韩语等。

所有分词处理完全在浏览器中使用JavaScript完成——您的文本不会发送到任何服务器。这使得它可以安全地用于统计机密Prompt、API密钥或敏感内容的Token数。无需注册。