شمارندهٔ توکن Llama — شمارش توکن آنلاین (رایگان)

Llama چگونه متن را به توکن تبدیل می‌کند

Llama واژه‌ها یا حروف را مستقیم نمی‌خواند، بلکه متن را با توکن‌ساز زیرواژه‌ای (Llama BPE (estimated here)) به توکن می‌شکند. واژه‌های پرکاربرد اغلب یک توکن می‌شوند، در حالی که واژه‌های کمیاب یا بلند، ایموجی‌ها و کد به چند توکن تقسیم می‌شوند. فاصله‌ها و نشانه‌گذاری هم شمرده می‌شوند — به همین دلیل «hello world» و «helloworld» می‌توانند نتیجهٔ متفاوت بدهند.

متن غیرانگلیسی معمولاً به‌ازای هر نویسه توکن بیشتری مصرف می‌کند. چینی، ژاپنی، کره‌ای و تایلندی به‌ویژه فشرده‌اند — یک نویسه می‌تواند یک یا چند توکن باشد — پس همان معنا ممکن است به‌مراتب بیشتر از انگلیسی توکن بگیرد.

پنجرهٔ زمینه و حد توکن Llama

Llama پنجرهٔ زمینه‌ای حدود 128K توکن دارد که میان ورودی (پرامپت، پیام سیستمی، تاریخچه، پیوست‌ها) و خروجی مشترک است. اگر مجموع از پنجره بگذرد، قدیمی‌ترین محتوا حذف یا درخواست رد می‌شود — شمارش پیشاپیش از این جلوگیری می‌کند.

نکتهٔ کاربردی: برای پاسخ جا بگذارید. اگر پاسخ بلند می‌خواهید، پرامپت را به‌اندازهٔ کافی پایین‌تر از حد نگه دارید تا برای مدل توکنِ پاسخ بماند.

نکته‌هایی برای مصرف کمتر توکن با Llama

دستورها و قالب‌های تکراری را حذف کنید، زمینهٔ بلند را به‌جای چسباندن کامل خلاصه کنید، نمونه‌های غیرضروری را بردارید و پیام سیستمی یکسان را در هر نوبت تکرار نکنید. کاهش توکن هم پاسخ را سریع‌تر می‌کند و هم هزینه را پایین می‌آورد.