Мгновенно считайте токены для GPT-4o, GPT-4, Claude и других моделей LLM.
Одновременный подсчёт токенов для GPT-4o, GPT-4, GPT-3.5-turbo и моделей Claude.
Количество токенов обновляется мгновенно при вводе или вставке текста.
Используется официальный BPE-токенизатор (tiktoken) для точного подсчёта токенов GPT.
Вся обработка происходит в вашем браузере. Ваш текст никогда не отправляется на сервер.
Токен — это фрагмент текста, который обрабатывают языковые модели. Токены могут быть словами, частями слов или отдельными символами. Например, слово 'hamburger' может быть разделено на 'ham', 'bur', 'ger' — три токена. В среднем один токен — это примерно 4 символа или 0,75 слова на английском языке.
Разные модели используют разные токенизаторы (схемы кодирования). GPT-4o использует o200k_base со словарём в 200 000 токенов, а GPT-4 и GPT-3.5 используют cl100k_base со словарём в 100 000 токенов. Больший словарь означает, что частые слова чаще являются отдельными токенами.
Подсчёты токенов для Claude являются приблизительными оценками на основе токенизатора cl100k_base. Хотя Claude использует собственный токенизатор, значения обычно очень близки к реальным.
Знание количества токенов помогает оставаться в пределах контекстного окна модели (128K для GPT-4o, 200K для Claude 3.5), оценивать расходы на API и оптимизировать промпты, удаляя лишний текст.
Наш бесплатный онлайн-счётчик токенов помогает разработчикам, инженерам промптов и энтузиастам ИИ точно подсчитывать токены для популярных языковых моделей. Будь то приложения с OpenAI API или Claude API — знание количества токенов необходимо для управления расходами.
Инструмент использует официальные алгоритмы BPE-токенизатора для точного подсчёта для моделей GPT. Для моделей Claude мы предоставляем близкие приближения. Подсчёт выполняется в реальном времени и поддерживает текст на любом языке.
Вся токенизация выполняется в вашем браузере на JavaScript — ваш текст никогда не отправляется на сервер. Это безопасно для конфиденциальных промптов и чувствительного контента. Регистрация не требуется.