Alat Token AI
Tukar Perkataan ke Token — Berapa Token Teks Saya?
Tukar perkataan kepada token dan sebaliknya. Tampal teks untuk kiraan token GPT tepat, atau masukkan bilangan perkataan untuk anggaran pantas — dengan aksara dan perkataan secara langsung.
- 1 token
- ≈ 4 aksara
- 1 token
- ≈ ¾ perkataan Inggeris
- 1,000 perkataan
- ≈ 1,300 token
- 1,000 token
- ≈ 750 perkataan
Tentang alat ini
Model AI mengukur teks dalam token, bukan perkataan. Sebagai petua: 1 token ≈ ¾ perkataan Inggeris, atau kira-kira 4 aksara — jadi 1,000 perkataan kira-kira 1,300 token, dan 1,000 token kira-kira 750 perkataan. Angka tepat bergantung pada perkataan, bahasa dan tanda baca.
Tampal teks untuk kiraan token GPT tepat (dengan perkataan dan aksara secara langsung), atau taip bilangan perkataan untuk anggaran pantas. Berguna untuk memuatkan esei, artikel, mesej sistem dan dokumen dalam tetingkap konteks model.
Perkataan, aksara dan token dijelaskan
Aksara ialah huruf dan simbol tunggal; perkataan dipisah ruang; token ialah cebisan subperkataan yang model benar-benar baca. Tokenizer mengekalkan perkataan biasa secara utuh tetapi memecah yang jarang atau panjang, jadi kiraan token berada antara perkataan dan aksara untuk bahasa Inggeris.
Berapa token setiap perkataan mengikut bahasa
Bahasa Inggeris purata sekitar 0.75 perkataan setiap token. Bahasa beraksara Latin lain serupa, tetapi bahasa Cina, Jepun, Korea, Thai, Arab dan kod sumber guna lebih banyak token untuk makna sama — kadang satu token setiap aksara. Sentiasa semak teks sebenar dan bukan bergantung pada satu nisbah.
Cara guna
- Tampal teks — Lihat token, perkataan dan aksaranya dikemas kini secara langsung.
- Atau masukkan perkataan — Taip bilangan perkataan untuk anggaran token pantas.
- Rancang prompt anda — Guna angka untuk kekal dalam tetingkap konteks model.
Soalan lazim
Berapa token untuk 1,000 perkataan?
Kira-kira 1,300 token dalam bahasa Inggeris (1 token ≈ ¾ perkataan). Kiraan tepat bergantung pada teks — tampal di atas untuk nilai tepat.
Berapa perkataan untuk 1,000 token?
Kira-kira 750 perkataan Inggeris. Bahasa selain Inggeris dan kod sering guna lebih banyak token setiap perkataan.
Berapa token untuk 500 perkataan?
Kira-kira 650 token dalam bahasa Inggeris. Tampal teks sebenar untuk kiraan tepat, kerana tanda baca dan perkataan jarang mengubah hasil.
Mengapa perkataan dan token tidak sepadan tepat?
Tokenizer memecah ikut subperkataan, ruang dan tanda baca, jadi perkataan biasa selalunya satu token manakala yang jarang atau panjang beberapa.
Adakah kiraan token tepat?
Kiraan daripada teks tampalan guna pengekodan GPT (tiktoken) tepat. Kotak perkataan → token ialah anggaran pantas dengan petua ¾ perkataan.