شمارندهٔ توکن ChatGPT — شمارش توکن آنلاین (رایگان)

ChatGPT چگونه متن را به توکن تبدیل می‌کند

ChatGPT واژه‌ها یا حروف را مستقیم نمی‌خواند، بلکه متن را با توکن‌ساز زیرواژه‌ای (o200k_base / cl100k_base (tiktoken)) به توکن می‌شکند. واژه‌های پرکاربرد اغلب یک توکن می‌شوند، در حالی که واژه‌های کمیاب یا بلند، ایموجی‌ها و کد به چند توکن تقسیم می‌شوند. فاصله‌ها و نشانه‌گذاری هم شمرده می‌شوند — به همین دلیل «hello world» و «helloworld» می‌توانند نتیجهٔ متفاوت بدهند.

متن غیرانگلیسی معمولاً به‌ازای هر نویسه توکن بیشتری مصرف می‌کند. چینی، ژاپنی، کره‌ای و تایلندی به‌ویژه فشرده‌اند — یک نویسه می‌تواند یک یا چند توکن باشد — پس همان معنا ممکن است به‌مراتب بیشتر از انگلیسی توکن بگیرد.

پنجرهٔ زمینه و حد توکن ChatGPT

ChatGPT پنجرهٔ زمینه‌ای حدود 128K توکن دارد که میان ورودی (پرامپت، پیام سیستمی، تاریخچه، پیوست‌ها) و خروجی مشترک است. اگر مجموع از پنجره بگذرد، قدیمی‌ترین محتوا حذف یا درخواست رد می‌شود — شمارش پیشاپیش از این جلوگیری می‌کند.

نکتهٔ کاربردی: برای پاسخ جا بگذارید. اگر پاسخ بلند می‌خواهید، پرامپت را به‌اندازهٔ کافی پایین‌تر از حد نگه دارید تا برای مدل توکنِ پاسخ بماند.

نکته‌هایی برای مصرف کمتر توکن با ChatGPT

دستورها و قالب‌های تکراری را حذف کنید، زمینهٔ بلند را به‌جای چسباندن کامل خلاصه کنید، نمونه‌های غیرضروری را بردارید و پیام سیستمی یکسان را در هر نوبت تکرار نکنید. کاهش توکن هم پاسخ را سریع‌تر می‌کند و هم هزینه را پایین می‌آورد.