Llama टोकन काउंटर — टोकन ऑनलाइन गिनें (मुफ़्त)

Llama टेक्स्ट को टोकन में कैसे बदलता है

Llama शब्दों या अक्षरों को सीधे नहीं पढ़ता, बल्कि उप-शब्द टोकनाइज़र (Llama BPE (estimated here)) से टेक्स्ट को टोकन में बाँटता है। सामान्य शब्द अक्सर एक टोकन बन जाते हैं, जबकि दुर्लभ या लंबे शब्द, इमोजी और कोड कई टोकन में बँट जाते हैं। स्पेस और विराम चिह्न भी गिने जाते हैं — इसलिए "hello world" और "helloworld" अलग संख्या दे सकते हैं।

गैर-अंग्रेज़ी टेक्स्ट आमतौर पर प्रति अक्षर अधिक टोकन उपयोग करता है। चीनी, जापानी, कोरियाई और थाई विशेष रूप से सघन हैं — एक अक्षर एक या अधिक टोकन हो सकता है — इसलिए वही अर्थ अंग्रेज़ी की तुलना में काफ़ी अधिक टोकन ले सकता है।

Llama कॉन्टेक्स्ट विंडो और टोकन सीमा

Llama की कॉन्टेक्स्ट विंडो लगभग 128K टोकन है, जो इनपुट (प्रॉम्प्ट, सिस्टम संदेश, इतिहास, अटैचमेंट) और आउटपुट के बीच साझा होती है। यदि कुल विंडो से अधिक हो जाए, तो सबसे पुराना सामग्री हटा दी जाती है या अनुरोध अस्वीकृत हो जाता है — पहले गिनना इसे रोकता है।

व्यावहारिक सुझाव: जवाब के लिए जगह छोड़ें। यदि लंबा जवाब चाहिए, तो प्रॉम्प्ट को सीमा से काफ़ी नीचे रखें ताकि मॉडल के पास जवाब के लिए टोकन बचे रहें।

Llama के साथ कम टोकन उपयोग करने के सुझाव

दोहराव वाले निर्देश और बॉयलरप्लेट हटाएँ, लंबे संदर्भ को पूरा पेस्ट करने के बजाय सारांश दें, ग़ैर-ज़रूरी उदाहरण हटाएँ और हर बार वही सिस्टम संदेश न दोहराएँ। टोकन घटाने से जवाब तेज़ होते हैं और बिल कम होता है।