عدّاد توكنات Gemini — احسب التوكنات أونلاين (مجانًا)

كيف يحوّل Gemini النص إلى توكنات

لا يقرأ Gemini الكلمات أو الحروف مباشرةً، بل يقسّم النص إلى توكنات بمُجزِّئ على مستوى الكلمات الفرعية (SentencePiece (estimated here)). الكلمات الشائعة تصبح غالبًا توكنًا واحدًا، بينما تُقسَّم الكلمات النادرة أو الطويلة والرموز التعبيرية والشيفرة إلى عدة توكنات. كما تُحتسب المسافات وعلامات الترقيم — لذلك قد يعطي "hello world" و"helloworld" أعدادًا مختلفة.

النص غير الإنجليزي يستخدم عادةً توكنات أكثر لكل حرف. الصينية واليابانية والكورية والتايلندية كثيفة بوجه خاص — قد يكون الحرف الواحد توكنًا أو أكثر — فالمعنى نفسه قد يكلّف توكنات أكثر بوضوح من الإنجليزية.

نافذة سياق Gemini وحدّ التوكنات

لـ Gemini نافذة سياق تبلغ نحو 1M توكن، مشتركة بين المُدخَل (الموجِّه ورسالة النظام والسجل والمرفقات) والمُخرَج. إذا تجاوز المجموع النافذة، يُحذف أقدم محتوى أو يُرفض الطلب — والعدّ المسبق يمنع ذلك.

نصيحة عملية: اترك هامشًا للإجابة. إذا أردت ردًّا طويلًا، أبقِ الموجِّه أقل بكثير من الحد لتبقى للنموذج توكنات للرد.

نصائح لاستخدام توكنات أقل مع Gemini

احذف التعليمات والقوالب المكررة، ولخّص السياق الطويل بدل لصقه كاملًا، واحذف الأمثلة غير الضرورية، ولا تكرّر رسالة النظام نفسها في كل دور. تقليل التوكنات يسرّع الردود ويخفّض الفاتورة.