Laske tokenit GPT-4o:lle, GPT-4:lle, Claudelle ja muille LLM-malleille välittömästi.
Laske tokenit GPT-4o:lle, GPT-4:lle, GPT-3.5-turbolle ja Claude-malleille samanaikaisesti.
Token-määrät päivittyvät välittömästi kirjoittaessasi tai liittäessäsi tekstiä.
Käyttää virallista BPE-tokenizeria (tiktoken) tarkkojen GPT-token-määrien laskemiseen.
Kaikki käsittely tapahtuu selaimessasi. Tekstiäsi ei koskaan lähetetä millekään palvelimelle.
Token on tekstinpätkä, jonka kielimallit käsittelevät. Tokenit voivat olla sanoja, sanojen osia tai yksittäisiä merkkejä. Esimerkiksi sana 'hamburger' voidaan jakaa osiin 'ham', 'bur', 'ger' — kolme tokenia.
Eri mallit käyttävät erilaisia tokenizereita (koodausjärjestelmiä). GPT-4o käyttää o200k_base-järjestelmää 200 000 tokenin sanastolla, kun taas GPT-4 ja GPT-3.5 käyttävät cl100k_base-järjestelmää 100 000 tokenilla.
Tässä näytetyt Clauden token-määrät ovat arvioita cl100k_base-tokenizerin perusteella. Vaikka Claude käyttää omaa tokenizeriaan, luvut ovat yleensä hyvin lähellä todellisia arvoja.
Token-määrän tunteminen auttaa pysymään mallin kontekstirajoissa (esim. 128K GPT-4o:lle, 200K Claude 3.5:lle), arvioimaan API-kustannuksia ja optimoimaan kehotteita poistamalla tarpeetonta tekstiä.
Ilmainen online token-laskurimme auttaa kehittäjiä, kehote-insinöörejä ja tekoälyharrastajia laskemaan tokeneita tarkasti suosituille kielimalleille. Rakensitpa sovelluksia OpenAI API:lla tai Anthropicin Claude API:lla, token-määrän tunteminen on välttämätöntä.
Työkalu käyttää virallisia BPE-tokenizer-algoritmeja tarkkoja GPT-laskelmia varten. Claude-malleille tarjoamme läheisiä arvioita. Token-määrät lasketaan reaaliajassa ja tukevat tekstiä millä tahansa kielellä.
Kaikki tokenisointi tapahtuu selaimessasi JavaScriptillä — tekstiäsi ei koskaan lähetetä palvelimelle. Tämä tekee siitä turvallisen luottamuksellisille kehotteille ja arkaluonteiselle sisällölle. Rekisteröitymistä ei tarvita.