عدّاد توكنات Llama — احسب التوكنات أونلاين (مجانًا)

كيف يحوّل Llama النص إلى توكنات

لا يقرأ Llama الكلمات أو الحروف مباشرةً، بل يقسّم النص إلى توكنات بمُجزِّئ على مستوى الكلمات الفرعية (Llama BPE (estimated here)). الكلمات الشائعة تصبح غالبًا توكنًا واحدًا، بينما تُقسَّم الكلمات النادرة أو الطويلة والرموز التعبيرية والشيفرة إلى عدة توكنات. كما تُحتسب المسافات وعلامات الترقيم — لذلك قد يعطي "hello world" و"helloworld" أعدادًا مختلفة.

النص غير الإنجليزي يستخدم عادةً توكنات أكثر لكل حرف. الصينية واليابانية والكورية والتايلندية كثيفة بوجه خاص — قد يكون الحرف الواحد توكنًا أو أكثر — فالمعنى نفسه قد يكلّف توكنات أكثر بوضوح من الإنجليزية.

نافذة سياق Llama وحدّ التوكنات

لـ Llama نافذة سياق تبلغ نحو 128K توكن، مشتركة بين المُدخَل (الموجِّه ورسالة النظام والسجل والمرفقات) والمُخرَج. إذا تجاوز المجموع النافذة، يُحذف أقدم محتوى أو يُرفض الطلب — والعدّ المسبق يمنع ذلك.

نصيحة عملية: اترك هامشًا للإجابة. إذا أردت ردًّا طويلًا، أبقِ الموجِّه أقل بكثير من الحد لتبقى للنموذج توكنات للرد.

نصائح لاستخدام توكنات أقل مع Llama

احذف التعليمات والقوالب المكررة، ولخّص السياق الطويل بدل لصقه كاملًا، واحذف الأمثلة غير الضرورية، ولا تكرّر رسالة النظام نفسها في كل دور. تقليل التوكنات يسرّع الردود ويخفّض الفاتورة.