Számolja meg a tokeneket GPT-4o, GPT-4, Claude és más LLM modellekhez azonnal.
Számolja a tokeneket GPT-4o, GPT-4, GPT-3.5-turbo és Claude modellekhez egyszerre.
A token számok azonnal frissülnek gépelés vagy szöveg beillesztés közben.
A hivatalos BPE tokenizálót (tiktoken) használja a pontos GPT token számokhoz.
Minden feldolgozás a böngészőjében történik. A szövege soha nem kerül semmilyen szerverre.
A token egy szövegrészlet, amelyet a nyelvi modellek feldolgoznak. A tokenek lehetnek szavak, szórészek vagy akár egyedi karakterek. Például a 'hamburger' szó felosztható 'ham', 'bur', 'ger' részekre — három token.
A különböző modellek különböző tokenizálókat (kódolási sémákat) használnak. A GPT-4o az o200k_base-t használja 200 000 tokenes szókinccsel, míg a GPT-4 és GPT-3.5 a cl100k_base-t 100 000 tokennel.
Az itt megjelenített Claude token számok hozzávetőleges becslések a cl100k_base tokenizáló alapján. Bár a Claude saját tokenizálót használ, a számok általában nagyon közel vannak a tényleges értékekhez.
A token szám ismerete segít a modell kontextus korlátain belül maradni (pl. 128K GPT-4o-hoz, 200K Claude 3.5-höz), API költségeket becsülni és promptokat optimalizálni a felesleges szöveg eltávolításával.
Ingyenes online token számlálónk segíti a fejlesztőket, prompt mérnököket és AI rajongókat a tokenek pontos számlálásában a népszerű nyelvi modellekhez. Akár OpenAI API-val, akár Anthropic Claude API-val épít alkalmazásokat, a token szám ismerete elengedhetetlen.
Az eszköz a hivatalos BPE tokenizáló algoritmusokat használja a pontos GPT számláláshoz. Claude modellekhez közeli becsléseket adunk. A token számok valós időben számítódnak és bármely nyelvű szöveget támogatnak.
Minden tokenizálás a böngészőjében történik JavaScript segítségével — szövege soha nem kerül szerverre. Ez biztonságossá teszi bizalmas promptok és érzékeny tartalmak számára. Regisztráció nem szükséges.