ตัวนับโทเค็น Llama — นับโทเค็นออนไลน์ (ฟรี)

Llama แปลงข้อความเป็นโทเค็นอย่างไร

Llama ไม่ได้อ่านคำหรือตัวอักษรโดยตรง แต่แบ่งข้อความเป็นโทเค็นด้วยตัวแยกระดับคำย่อย (Llama BPE (estimated here)) คำที่พบบ่อยมักเป็นหนึ่งโทเค็น ส่วนคำที่หายากหรือยาว อิโมจิ และโค้ดจะถูกแบ่งเป็นหลายโทเค็น ช่องว่างและเครื่องหมายวรรคตอนก็นับด้วย จึงทำให้ "hello world" กับ "helloworld" อาจให้จำนวนต่างกัน

ข้อความที่ไม่ใช่ภาษาอังกฤษมักใช้โทเค็นต่ออักขระมากกว่า ภาษาจีน ญี่ปุ่น เกาหลี และไทยมีความหนาแน่นเป็นพิเศษ — อักขระเดียวอาจเป็นหนึ่งหรือหลายโทเค็น — ความหมายเดียวกันจึงอาจกินโทเค็นมากกว่าภาษาอังกฤษอย่างชัดเจน

กรอบบริบทและขีดจำกัดโทเค็นของ Llama

Llama มีกรอบบริบทราว 128K โทเค็น แบ่งกันระหว่างอินพุต (พรอมป์ต์ ข้อความระบบ ประวัติ ไฟล์แนบ) และเอาต์พุต หากรวมเกินกรอบ เนื้อหาเก่าสุดจะถูกตัดทิ้งหรือคำขอถูกปฏิเสธ — การนับก่อนช่วยป้องกัน

เคล็ดลับ: เผื่อพื้นที่ให้คำตอบ ถ้าต้องการคำตอบยาว ให้คุมพรอมป์ต์ต่ำกว่าขีดจำกัดมาก ๆ เพื่อให้โมเดลเหลือโทเค็นไว้ตอบ

เคล็ดลับใช้โทเค็นน้อยลงกับ Llama

ลบคำสั่งและข้อความสำเร็จรูปที่ซ้ำซ้อน สรุปบริบทยาวแทนการวางทั้งหมด ตัดตัวอย่างที่ไม่จำเป็น และอย่าทวนข้อความระบบเดิมทุกครั้ง การลดโทเค็นช่วยให้ตอบเร็วขึ้นและลดค่าใช้จ่าย