即时统计GPT-4o、GPT-4、Claude等大语言模型的Token数量。
同时统计GPT-4o、GPT-4、GPT-3.5-turbo和Claude模型的Token数。
输入或粘贴文本时Token数即时更新,无需等待。
使用官方BPE分词器(tiktoken)提供精确的GPT Token计数。
所有处理均在浏览器中完成,文本不会发送到任何服务器。
Token是语言模型处理的文本块。Token可以是单词、单词的一部分,甚至是单个字符。例如,“hamburger”可能被拆分为“ham”、“bur”、“ger”——三个Token。平均而言,英文中一个Token大约是4个字符或0.75个单词。中文中每个汉字通常为1-2个Token。
不同模型使用不同的分词器(编码方案)。GPT-4o使用o200k_base,词汇表包含20万个Token;GPT-4和GPT-3.5使用cl100k_base,词汇表包含10万个Token。词汇表越大,常见单词越可能作为单个Token,从而产生更低的Token数。
这里显示的Claude Token数是基于cl100k_base分词器的近似估计。虽然Claude使用自己的专有分词器,但计数通常非常接近实际值,适用于成本估算和Prompt优化。
了解Token数有助于控制模型上下文限制(如GPT-4o的128K、Claude 3.5的200K),估算API成本,并通过删除不必要的文本来优化Prompt。更短的Prompt不仅成本更低,往往还能产生更好的结果。
我们的免费在线Token计数器帮助开发者、Prompt工程师和AI爱好者精确统计主流语言模型的Token数量。无论您使用OpenAI API还是Anthropic的Claude API构建应用,了解Token数对管理成本和控制上下文窗口限制至关重要。
该工具使用官方BPE(字节对编码)分词算法为GPT模型提供精确计数。对于Claude模型,我们提供接近的近似值。Token数在您输入时实时计算,支持任何语言的文本,包括英语、中文、日语、韩语等。
所有分词处理完全在浏览器中使用JavaScript完成——您的文本不会发送到任何服务器。这使得它可以安全地用于统计机密Prompt、API密钥或敏感内容的Token数。无需注册。