ابزارهای توکن هوش مصنوعی
شمارندهٔ توکن هوش مصنوعی — ChatGPT، Claude، Gemini و بیشتر (رایگان)
توکن همهٔ مدلهای بزرگ هوش مصنوعی را یکجا بشمارید. متن را بچسبانید و ChatGPT/GPT-4o، Claude، Gemini، DeepSeek و Llama را کنار هم با نویسه و واژهٔ زنده مقایسه کنید.
- مدلهای مقایسهشده
- GPT · Claude · Gemini · DeepSeek · Llama
- دقت GPT
- دقیق (tiktoken)
- حریم خصوصی
- در مرورگر اجرا میشود
- قاعدهٔ سرانگشتی
- ۱ توکن ≈ ۴ نویسه ≈ ¾ واژه
دربارهٔ این ابزار
مدلهای زبانی بزرگ متن را بهصورت توکن میخوانند — هر توکن حدود ¾ یک واژهٔ انگلیسی یا تقریباً ۴ نویسه است. مدلها بهازای هر توکن صورتحساب میگیرند و حد پنجرهٔ زمینه را با توکن میگذارند، پس تعداد توکن میگوید پرامپت جا میشود یا نه و چقدر هزینه دارد.
این شمارنده چند مدل را در یک نما مقایسه میکند. اعداد OpenAI (GPT) دقیقاند (کدگذاری BPE از tiktoken)؛ و Claude، Gemini، DeepSeek و Llama تخمین نزدیکاند چون توکنسازشان برای مرورگر منتشر نشده است. همهچیز محلی اجرا میشود — متن شما از دستگاه خارج نمیشود.
مدلهای گوناگون متن یکسان را کمی متفاوت توکن میکنند، برای همین اعداد جدول فرق دارند. برای بودجه و پنجرهٔ زمینه، مدلی را مقایسه کنید که واقعاً استفاده میکنید.
توکن چیست؟
توکن تکهای از متن است که مدل بهعنوان یک واحد پردازش میکند — اغلب یک واژهٔ پرکاربرد کامل، گاهی بخشی از واژهای بلندتر یا کمیابتر، و فاصله و نشانهگذاری جداگانه شمرده میشوند. بهعنوان راهنما: انگلیسی حدود ۴ نویسه بهازای هر توکن؛ زبانهای CJK و کد منبع فشردهتر و پرتوکنترند.
توکن در برابر واژه و نویسه
واژه و نویسه را انسان آسان میشمارد، اما مدلها با توکن صورتحساب و محدودیت میگذارند. ۱۰۰۰ واژهٔ انگلیسی حدود ۱۳۰۰ توکن و ۱۰۰۰ توکن حدود ۷۵۰ واژه است. عدد دقیق به واژگان، زبان و قالببندی بستگی دارد — متن واقعی را بچسبانید.
چرا پیش از فراخوان API توکن بشماریم
شمارش پیشاپیش شما را در پنجرهٔ زمینه نگه میدارد (بدون پاسخ بریده)، هزینه را دقیق پیشبینی میکند و پرامپتهای بیشازحد بلند را کوتاه میکند. سریعترین راه برای کنترل همزمان کیفیت و هزینه هنگام ساخت با LLM است.
نحوهٔ استفاده
- متن را بچسبانید — هر پرامپت، مقاله یا کدی را در کادر بگذارید.
- مدل را برگزینید — مدل عدد اصلی را انتخاب کنید یا جدول را برای مقایسهٔ همه بخوانید.
- از اعداد استفاده کنید — در پنجرهٔ زمینه بمانید و پیش از فراخوان API هزینه را برآورد کنید.
- کپی یا پاک کنید — متن را جای دیگر کپی کنید یا پاک کرده و پرامپت تازهای بیازمایید.
پرسشهای متداول
توکن در هوش مصنوعی چیست؟
توکن تکهای از متن است که اغلب بخشی از یک واژه است. در انگلیسی: ۱ توکن ≈ ۴ نویسه ≈ ¾ واژه؛ CJK و کد فشردهترند.
کدام مدلها شمارش دقیق میدهند؟
مدلهای OpenAI/GPT از کدگذاری دقیق tiktoken استفاده میکنند. Claude، Gemini، DeepSeek و Llama تخمین نزدیکاند چون توکنسازشان برای مرورگر در دسترس نیست.
۱۰۰۰ واژه چند توکن است؟
حدود ۱۳۰۰ توکن در انگلیسی. متن خود را در بالا بچسبانید تا عدد دقیق هر مدل را ببینید.
آیا این شمارندهٔ توکن رایگان است؟
بله — کاملاً رایگان، بدون ثبتنام یا نصب. در مرورگر اجرا میشود.
آیا آفلاین و خصوصی کار میکند؟
شمارش محلی است و متن شما هرگز بارگذاری نمیشود. کدگذار دقیق GPT یکبار از CDN بارگذاری میشود؛ اگر نشد، از تخمین استفاده میشود.
چرا مدلهای مختلف اعداد متفاوت نشان میدهند؟
هر مدل توکنساز خودش را دارد، پس متن یکسان به تعداد توکن متفاوت میشکند. مدلی را که واقعاً بهکار میبرید مقایسه کنید.