Penghitung Token

Hitung token untuk GPT-4o, GPT-4, Claude, dan model LLM lainnya secara instan.

...
GPT-4o Token
GPT-4o, GPT-4o-mini
...
GPT-4 Token
GPT-4, GPT-4-turbo, GPT-3.5-turbo
...
Claude Token
Claude 4, Claude 3.5, Claude 3(kira-kira)
0
Karakter
0
Kata

Fitur

Dukungan Multi-Model

Hitung token untuk GPT-4o, GPT-4, GPT-3.5-turbo, dan model Claude secara bersamaan.

Penghitungan Real-time

Jumlah token diperbarui secara instan saat Anda mengetik atau menempel teks.

Tokenisasi Akurat

Menggunakan tokenizer BPE resmi (tiktoken) untuk penghitungan token GPT yang tepat.

Privasi Utama

Semua pemrosesan terjadi di browser Anda. Teks Anda tidak pernah dikirim ke server mana pun.

Pertanyaan yang Sering Diajukan

Apa itu token dalam konteks LLM?

Token adalah potongan teks yang diproses oleh model bahasa. Token bisa berupa kata, bagian kata, atau bahkan karakter tunggal. Misalnya, kata 'hamburger' bisa dipecah menjadi 'ham', 'bur', 'ger' — tiga token. Rata-rata, satu token sekitar 4 karakter atau 0,75 kata dalam bahasa Inggris.

Mengapa model yang berbeda memiliki jumlah token yang berbeda?

Model yang berbeda menggunakan tokenizer (skema encoding) yang berbeda. GPT-4o menggunakan o200k_base dengan kosakata 200.000 token, sementara GPT-4 dan GPT-3.5 menggunakan cl100k_base dengan 100.000 token.

Seberapa akurat jumlah token Claude?

Jumlah token Claude yang ditampilkan di sini adalah perkiraan berdasarkan tokenizer cl100k_base. Meskipun Claude menggunakan tokenizer miliknya sendiri, jumlahnya umumnya sangat mendekati nilai sebenarnya.

Bagaimana cara menggunakan jumlah token untuk mengoptimalkan prompt saya?

Mengetahui jumlah token membantu Anda tetap dalam batas konteks model (misalnya 128K untuk GPT-4o, 200K untuk Claude 3.5), memperkirakan biaya API, dan mengoptimalkan prompt dengan menghapus teks yang tidak perlu.

Tentang Penghitung Token

Penghitung token gratis online kami membantu pengembang, insinyur prompt, dan penggemar AI menghitung token secara akurat untuk model bahasa populer. Baik Anda membangun aplikasi dengan API OpenAI atau API Claude Anthropic, mengetahui jumlah token sangat penting.

Alat ini menggunakan algoritma tokenizer BPE resmi untuk memberikan penghitungan yang akurat untuk model GPT. Untuk model Claude, kami memberikan perkiraan yang mendekati. Penghitungan dilakukan secara real-time dan mendukung teks dalam bahasa apa pun.

Semua tokenisasi terjadi di browser Anda menggunakan JavaScript — teks Anda tidak pernah dikirim ke server mana pun. Ini aman untuk prompt rahasia dan konten sensitif. Tidak perlu mendaftar.