เครื่องมือโทเค็น AI
แปลงคำเป็นโทเค็น — ข้อความของฉันกี่โทเค็น?
แปลงคำเป็นโทเค็นและกลับกัน วางข้อความเพื่อรับจำนวนโทเค็น GPT ที่แม่นยำ หรือใส่จำนวนคำเพื่อประมาณอย่างรวดเร็ว — พร้อมอักขระและคำแบบเรียลไทม์
- 1 โทเค็น
- ≈ 4 อักขระ
- 1 โทเค็น
- ≈ ¾ ของคำภาษาอังกฤษ
- 1,000 คำ
- ≈ 1,300 โทเค็น
- 1,000 โทเค็น
- ≈ 750 คำ
เกี่ยวกับเครื่องมือนี้
โมเดล AI วัดข้อความเป็นโทเค็น ไม่ใช่คำ หลักทั่วไป: 1 โทเค็น ≈ ¾ ของคำภาษาอังกฤษ หรือราว 4 อักขระ — ดังนั้น 1,000 คำราว 1,300 โทเค็น และ 1,000 โทเค็นราว 750 คำ ตัวเลขที่แน่นอนขึ้นกับถ้อยคำ ภาษา และเครื่องหมายวรรคตอน
วางข้อความเพื่อรับจำนวนโทเค็น GPT ที่แม่นยำ (พร้อมคำและอักขระแบบเรียลไทม์) หรือพิมพ์จำนวนคำเพื่อประมาณอย่างรวดเร็ว มีประโยชน์ในการจัดเรียงความ บทความ ข้อความระบบ และเอกสารให้พอดีกรอบบริบทของโมเดล
คำ อักขระ และโทเค็น อธิบาย
อักขระคือตัวอักษรและสัญลักษณ์เดี่ยว ๆ คำคั่นด้วยช่องว่าง ส่วนโทเค็นคือชิ้นส่วนคำย่อยที่โมเดลอ่านจริง ตัวแยกโทเค็นจะคงคำที่พบบ่อยไว้ทั้งคำ แต่แบ่งคำที่หายากหรือยาว จำนวนโทเค็นสำหรับภาษาอังกฤษจึงอยู่ระหว่างจำนวนคำกับอักขระ
จำนวนโทเค็นต่อคำตามภาษา
ภาษาอังกฤษเฉลี่ยราว 0.75 คำต่อโทเค็น ภาษาอักษรละตินอื่นใกล้เคียงกัน แต่จีน ญี่ปุ่น เกาหลี ไทย อาหรับ และซอร์สโค้ดใช้โทเค็นมากกว่าสำหรับความหมายเดียวกัน — บางครั้งหนึ่งโทเค็นต่ออักขระ ควรตรวจข้อความจริงเสมอ แทนการพึ่งอัตราส่วนเดียว
วิธีใช้
- วางข้อความ — ดูโทเค็น คำ และอักขระอัปเดตแบบเรียลไทม์
- หรือใส่จำนวนคำ — พิมพ์จำนวนคำเพื่อประมาณโทเค็นอย่างรวดเร็ว
- วางแผนพรอมป์ต์ — ใช้ตัวเลขเพื่ออยู่ในกรอบบริบทของโมเดล
คำถามที่พบบ่อย
1,000 คำกี่โทเค็น?
ภาษาอังกฤษราว 1,300 โทเค็น (1 โทเค็น ≈ ¾ คำ) จำนวนแม่นยำขึ้นกับข้อความ — วางด้านบนเพื่อค่าที่แม่นยำ
1,000 โทเค็นกี่คำ?
ราว 750 คำภาษาอังกฤษ ภาษาอื่นนอกจากอังกฤษและโค้ดมักใช้โทเค็นต่อคำมากกว่า
500 คำกี่โทเค็น?
ภาษาอังกฤษราว 650 โทเค็น วางข้อความจริงเพื่อนับแม่นยำ เพราะเครื่องหมายวรรคตอนและคำหายากเปลี่ยนผลลัพธ์
ทำไมคำกับโทเค็นไม่ตรงกันพอดี?
ตัวแยกโทเค็นแบ่งตามคำย่อย ช่องว่าง และเครื่องหมายวรรคตอน คำที่พบบ่อยจึงมักเป็นหนึ่งโทเค็น ส่วนคำหายากหรือยาวเป็นหลายโทเค็น
จำนวนโทเค็นแม่นยำไหม?
จำนวนจากข้อความที่วางใช้การเข้ารหัส GPT (tiktoken) ที่แม่นยำ ส่วนช่องคำ → โทเค็นเป็นการประมาณอย่างรวดเร็วด้วยหลัก ¾ คำ