GPT-4o, GPT-4, Claude 등 LLM 모델의 토큰 수를 즉시 계산합니다.
GPT-4o, GPT-4, GPT-3.5-turbo 및 Claude 모델의 토큰 수를 동시에 계산합니다.
입력하거나 텍스트를 붙여넣으면 토큰 수가 즉시 업데이트됩니다.
공식 BPE 토크나이저(tiktoken)를 사용하여 정확한 GPT 토큰 수를 제공합니다.
모든 처리는 브라우저에서 이루어집니다. 텍스트가 서버로 전송되지 않습니다.
토큰은 언어 모델이 처리하는 텍스트 단위입니다. 토큰은 단어, 단어의 일부 또는 개별 문자가 될 수 있습니다. 예를 들어 'hamburger'는 'ham', 'bur', 'ger'의 세 토큰으로 분할될 수 있습니다. 평균적으로 영어에서 한 토큰은 약 4자 또는 0.75단어입니다.
다른 모델은 다른 토크나이저(인코딩 체계)를 사용합니다. GPT-4o는 200,000개 토큰 어휘의 o200k_base를, GPT-4와 GPT-3.5는 100,000개 토큰의 cl100k_base를 사용합니다. 어휘가 클수록 일반적인 단어가 단일 토큰이 될 가능성이 높습니다.
여기 표시된 Claude 토큰 수는 cl100k_base 토크나이저 기반의 대략적인 추정값입니다. Claude는 자체 토크나이저를 사용하지만, 수치는 일반적으로 실제 값에 매우 가깝습니다.
토큰 수를 알면 모델 컨텍스트 제한(GPT-4o 128K, Claude 3.5 200K 등) 내에 유지하고, API 비용을 추정하고, 불필요한 텍스트를 제거하여 프롬프트를 최적화하는 데 도움이 됩니다.
무료 온라인 토큰 카운터는 개발자, 프롬프트 엔지니어, AI 애호가가 인기 있는 언어 모델의 토큰 수를 정확하게 계산할 수 있도록 도와줍니다. OpenAI API나 Anthropic의 Claude API로 애플리케이션을 구축할 때 토큰 수를 아는 것은 비용 관리에 필수적입니다.
이 도구는 공식 BPE 토크나이저 알고리즘을 사용하여 GPT 모델의 정확한 카운트를 제공합니다. Claude 모델에는 근사값을 제공합니다. 토큰 수는 실시간으로 계산되며 모든 언어의 텍스트를 지원합니다.
모든 토큰화는 JavaScript를 사용하여 브라우저에서 완전히 수행됩니다. 텍스트가 서버로 전송되지 않습니다. 기밀 프롬프트와 민감한 콘텐츠에 안전합니다. 가입 불필요.