شمارندهٔ توکن Gemini — شمارش توکن آنلاین (رایگان)

Gemini چگونه متن را به توکن تبدیل می‌کند

Gemini واژه‌ها یا حروف را مستقیم نمی‌خواند، بلکه متن را با توکن‌ساز زیرواژه‌ای (SentencePiece (estimated here)) به توکن می‌شکند. واژه‌های پرکاربرد اغلب یک توکن می‌شوند، در حالی که واژه‌های کمیاب یا بلند، ایموجی‌ها و کد به چند توکن تقسیم می‌شوند. فاصله‌ها و نشانه‌گذاری هم شمرده می‌شوند — به همین دلیل «hello world» و «helloworld» می‌توانند نتیجهٔ متفاوت بدهند.

متن غیرانگلیسی معمولاً به‌ازای هر نویسه توکن بیشتری مصرف می‌کند. چینی، ژاپنی، کره‌ای و تایلندی به‌ویژه فشرده‌اند — یک نویسه می‌تواند یک یا چند توکن باشد — پس همان معنا ممکن است به‌مراتب بیشتر از انگلیسی توکن بگیرد.

پنجرهٔ زمینه و حد توکن Gemini

Gemini پنجرهٔ زمینه‌ای حدود 1M توکن دارد که میان ورودی (پرامپت، پیام سیستمی، تاریخچه، پیوست‌ها) و خروجی مشترک است. اگر مجموع از پنجره بگذرد، قدیمی‌ترین محتوا حذف یا درخواست رد می‌شود — شمارش پیشاپیش از این جلوگیری می‌کند.

نکتهٔ کاربردی: برای پاسخ جا بگذارید. اگر پاسخ بلند می‌خواهید، پرامپت را به‌اندازهٔ کافی پایین‌تر از حد نگه دارید تا برای مدل توکنِ پاسخ بماند.

نکته‌هایی برای مصرف کمتر توکن با Gemini

دستورها و قالب‌های تکراری را حذف کنید، زمینهٔ بلند را به‌جای چسباندن کامل خلاصه کنید، نمونه‌های غیرضروری را بردارید و پیام سیستمی یکسان را در هر نوبت تکرار نکنید. کاهش توکن هم پاسخ را سریع‌تر می‌کند و هم هزینه را پایین می‌آورد.