أدوات توكنات الذكاء الاصطناعي
عدّاد توكنات الذكاء الاصطناعي — ChatGPT وClaude وGemini وغيرها (مجانًا)
احسب التوكنات لكل النماذج الكبيرة دفعةً واحدة. الصق نصك وقارن ChatGPT/GPT-4o وClaude وGemini وDeepSeek وLlama جنبًا إلى جنب، مع الأحرف والكلمات مباشرةً.
- النماذج المقارنة
- GPT · Claude · Gemini · DeepSeek · Llama
- دقة GPT
- دقيق (tiktoken)
- الخصوصية
- يعمل في المتصفح
- قاعدة عامة
- 1 توكن ≈ 4 أحرف ≈ ¾ كلمة
حول هذه الأداة
تقرأ نماذج اللغة الكبيرة النص كتوكنات — التوكن يساوي نحو ¾ كلمة إنجليزية أو حوالي 4 أحرف. تفوتر النماذج لكل توكن وتفرض حدود نافذة السياق بالتوكنات، فعدد التوكنات يخبرك إن كان الموجِّه يتّسع وكم قد يكلّف.
يقارن هذا العدّاد عدة نماذج في عرض واحد. أرقام OpenAI (GPT) دقيقة (ترميز BPE من tiktoken)؛ أما Claude وGemini وDeepSeek وLlama فتقديرات قريبة لأن مُجزِّئاتها غير منشورة للمتصفح. كل شيء يعمل محليًّا — لا يغادر نصك جهازك.
تُجزِّئ النماذج المختلفة النص نفسه بصورة مختلفة قليلًا، لذا تتباين الأرقام في الجدول. للميزانية ونافذة السياق، قارن النموذج الذي تستخدمه فعلًا.
ما التوكن؟
التوكن قطعة نص يعالجها النموذج كوحدة — غالبًا كلمة شائعة كاملة، وأحيانًا جزء من كلمة أطول أو أندر، وتُحتسب المسافات والترقيم على حدة. كدليل: الإنجليزية نحو 4 أحرف لكل توكن؛ ولغات CJK والشيفرة المصدرية أكثف وتستخدم توكنات أكثر.
التوكنات مقابل الكلمات والأحرف
يسهُل على البشر عدّ الكلمات والأحرف، لكن النماذج تفوتر وتحدّ بالتوكنات. 1000 كلمة إنجليزية نحو 1300 توكن، و1000 توكن نحو 750 كلمة. يعتمد الرقم الدقيق على المفردات واللغة والتنسيق — الصق النص الحقيقي.
لماذا تعدّ التوكنات قبل استدعاء الـ API
العدّ المسبق يبقيك ضمن نافذة السياق (بلا ردود مقتطعة)، ويتيح توقّع التكلفة بدقة وتقليم الموجِّهات المفرطة الطول. إنه أسرع طريقة للتحكّم في الجودة والإنفاق معًا عند البناء بنماذج LLM.
طريقة الاستخدام
- الصق نصك — ضع أي موجِّه أو مقال أو شيفرة في الصندوق.
- اختر نموذجًا — اختر نموذج العدّ الرئيسي، أو اقرأ الجدول لمقارنة الجميع.
- استخدم الأرقام — ابقَ ضمن نافذة السياق وقدّر التكلفة قبل استدعاء الـ API.
- انسخ أو امسح — انسخ النص إلى مكان آخر، أو امسحه وجرّب موجِّهًا جديدًا.
الأسئلة الشائعة
ما التوكن في الذكاء الاصطناعي؟
التوكن قطعة نص، غالبًا جزء من كلمة. في الإنجليزية: 1 توكن ≈ 4 أحرف ≈ ¾ كلمة؛ وCJK والشيفرة أكثف.
أي النماذج تعطي عددًا دقيقًا؟
نماذج OpenAI/GPT تستخدم ترميز tiktoken الدقيق. أما Claude وGemini وDeepSeek وLlama فتقديرات قريبة لأن مُجزِّئاتها غير متاحة للمتصفح.
كم توكنًا تساوي 1000 كلمة؟
نحو 1300 توكن في الإنجليزية. الصق نصك في الأعلى للحصول على الرقم الدقيق لكل نموذج.
هل عدّاد التوكنات هذا مجاني؟
نعم — مجاني تمامًا، بلا تسجيل أو تثبيت. يعمل في المتصفح.
هل يعمل دون اتصال وبخصوصية؟
الحساب محلي ولا يُرفع نصك أبدًا. يُحمَّل مُرمِّز GPT الدقيق مرة من شبكة CDN؛ وإن تعذّر، يُستخدم تقدير.
لماذا تُظهر النماذج المختلفة أعدادًا مختلفة؟
يستخدم كل نموذج مُجزِّئه الخاص، فينقسم النص نفسه إلى عدد مختلف من التوكنات. قارن النموذج الذي تستخدمه فعلًا.