Narzędzia tokenów AI
Zamień słowa na tokeny — Ile tokenów ma mój tekst?
Zamieniaj słowa na tokeny i odwrotnie. Wklej tekst, aby uzyskać dokładną liczbę tokenów GPT, lub wpisz liczbę słów dla szybkiego oszacowania — ze znakami i słowami na żywo.
- 1 token
- ≈ 4 znaki
- 1 token
- ≈ ¾ angielskiego słowa
- 1000 słów
- ≈ 1300 tokenów
- 1000 tokenów
- ≈ 750 słów
O tym narzędziu
Modele AI mierzą tekst w tokenach, nie w słowach. Z zasady: 1 token ≈ ¾ angielskiego słowa lub około 4 znaki — więc 1000 słów to mniej więcej 1300 tokenów, a 1000 tokenów około 750 słów. Dokładna liczba zależy od sformułowań, języka i interpunkcji.
Wklej tekst, aby uzyskać dokładną liczbę tokenów GPT (ze słowami i znakami na żywo), lub wpisz liczbę słów dla szybkiego oszacowania. Przydatne, by zmieścić eseje, artykuły, wiadomości systemowe i dokumenty w oknie kontekstu modelu.
Słowa, znaki i tokeny — wyjaśnienie
Znaki to pojedyncze litery i symbole; słowa są oddzielone spacjami; tokeny to fragmenty podsłowne, które model faktycznie czyta. Tokenizator zostawia częste słowa w całości, ale dzieli rzadkie lub długie, więc liczby tokenów leżą między słowami a znakami dla angielskiego.
Ile tokenów na słowo w zależności od języka
Angielski to średnio około 0,75 słowa na token. Inne języki alfabetu łacińskiego są podobne, ale chiński, japoński, koreański, tajski, arabski i kod źródłowy zużywają więcej tokenów na to samo znaczenie — czasem jeden token na znak. Zawsze sprawdzaj prawdziwy tekst zamiast polegać na jednym współczynniku.
Jak używać
- Wklej tekst — Zobacz, jak tokeny, słowa i znaki aktualizują się na żywo.
- Albo wpisz słowa — Wpisz liczbę słów dla szybkiego oszacowania tokenów.
- Zaplanuj prompt — Użyj liczb, by mieścić się w oknie kontekstu modelu.
Najczęstsze pytania
Ile tokenów to 1000 słów?
Około 1300 tokenów po angielsku (1 token ≈ ¾ słowa). Dokładna liczba zależy od tekstu — wklej go powyżej, by uzyskać precyzyjną wartość.
Ile słów to 1000 tokenów?
Około 750 angielskich słów. Języki inne niż angielski i kod często zużywają więcej tokenów na słowo.
Ile tokenów to 500 słów?
Około 650 tokenów po angielsku. Wklej prawdziwy tekst, bo interpunkcja i rzadkie słowa zmieniają wynik.
Dlaczego słowa i tokeny nie zgadzają się dokładnie?
Tokenizatory dzielą na podsłowa, spacje i interpunkcję, więc częste słowa to często jeden token, a rzadkie lub długie — kilka.
Czy liczba tokenów jest dokładna?
Liczba z wklejonego tekstu używa dokładnego kodowania GPT (tiktoken). Pole słowa → tokeny to szybkie oszacowanie według zasady ¾ słowa.