عدّاد توكنات ChatGPT — احسب التوكنات أونلاين (مجانًا)

كيف يحوّل ChatGPT النص إلى توكنات

لا يقرأ ChatGPT الكلمات أو الحروف مباشرةً، بل يقسّم النص إلى توكنات بمُجزِّئ على مستوى الكلمات الفرعية (o200k_base / cl100k_base (tiktoken)). الكلمات الشائعة تصبح غالبًا توكنًا واحدًا، بينما تُقسَّم الكلمات النادرة أو الطويلة والرموز التعبيرية والشيفرة إلى عدة توكنات. كما تُحتسب المسافات وعلامات الترقيم — لذلك قد يعطي "hello world" و"helloworld" أعدادًا مختلفة.

النص غير الإنجليزي يستخدم عادةً توكنات أكثر لكل حرف. الصينية واليابانية والكورية والتايلندية كثيفة بوجه خاص — قد يكون الحرف الواحد توكنًا أو أكثر — فالمعنى نفسه قد يكلّف توكنات أكثر بوضوح من الإنجليزية.

نافذة سياق ChatGPT وحدّ التوكنات

لـ ChatGPT نافذة سياق تبلغ نحو 128K توكن، مشتركة بين المُدخَل (الموجِّه ورسالة النظام والسجل والمرفقات) والمُخرَج. إذا تجاوز المجموع النافذة، يُحذف أقدم محتوى أو يُرفض الطلب — والعدّ المسبق يمنع ذلك.

نصيحة عملية: اترك هامشًا للإجابة. إذا أردت ردًّا طويلًا، أبقِ الموجِّه أقل بكثير من الحد لتبقى للنموذج توكنات للرد.

نصائح لاستخدام توكنات أقل مع ChatGPT

احذف التعليمات والقوالب المكررة، ولخّص السياق الطويل بدل لصقه كاملًا، واحذف الأمثلة غير الضرورية، ولا تكرّر رسالة النظام نفسها في كل دور. تقليل التوكنات يسرّع الردود ويخفّض الفاتورة.