Numără tokeni pentru GPT-4o, GPT-4, Claude și alte modele LLM instant.
Numără tokeni pentru GPT-4o, GPT-4, GPT-3.5-turbo și modele Claude simultan.
Numerele de tokeni se actualizează instant în timp ce tastați sau lipiți text.
Utilizează tokenizerul BPE oficial (tiktoken) pentru numărarea precisă a tokenilor GPT.
Toată procesarea are loc în browserul dvs. Textul dvs. nu este trimis niciodată la vreun server.
Un token este o bucată de text pe care modelele de limbaj o procesează. Tokenii pot fi cuvinte, părți de cuvinte sau chiar caractere individuale. De exemplu, cuvântul 'hamburger' ar putea fi împărțit în 'ham', 'bur', 'ger' — trei tokeni.
Modele diferite folosesc tokenizere diferite (scheme de codificare). GPT-4o folosește o200k_base cu un vocabular de 200.000 tokeni, în timp ce GPT-4 și GPT-3.5 folosesc cl100k_base cu 100.000 tokeni.
Numerele de tokeni Claude afișate aici sunt estimări aproximative bazate pe tokenizerul cl100k_base. Deși Claude folosește propriul tokenizer, numerele sunt în general foarte aproape de valorile reale.
Cunoașterea numărului de tokeni vă ajută să rămâneți în limitele de context ale modelului (ex. 128K pentru GPT-4o, 200K pentru Claude 3.5), să estimați costurile API și să optimizați prompturile eliminând textul inutil.
Contorul nostru gratuit de tokeni online ajută dezvoltatorii, inginerii de prompturi și entuziaștii AI să numere cu precizie tokenii pentru modele de limbaj populare. Fie că construiți aplicații cu API-ul OpenAI sau API-ul Claude al Anthropic, cunoașterea numărului de tokeni este esențială.
Instrumentul utilizează algoritmii oficiali ai tokenizer-ului BPE pentru numărări precise GPT. Pentru modelele Claude, oferim aproximări apropiate. Numerele de tokeni sunt calculate în timp real și suportă text în orice limbă.
Toată tokenizarea are loc în browserul dvs. folosind JavaScript — textul dvs. nu este trimis niciodată la vreun server. Aceasta îl face sigur pentru prompturi confidențiale și conținut sensibil. Nu este necesară înregistrarea.