Лічильник токенів LLM
Вставте текст або введіть URL сторінки. Ми рахуємо токени токенізатором GPT-4o прямо у вашому браузері й показуємо, скільки контекстного вікна це займає.
Як користуватися
- 1
Вставте текст або URL
Для URL рахуємо основний вміст у Markdown, як його читає AI-краулер.
- 2
Подивіться на цифри
Точні GPT-токени, орієнтовний діапазон для інших моделей, слова й символи.
- 3
Подивіться на токени
Увімкніть перегляд токенів, щоб побачити, як ріжеться текст. Корисно для промптів і llms.txt.
o200k_baseЩо таке токен
Мовні моделі читають не літери й не слова, а токени: шматки тексту, які створює BPE-токенізатор. Часті слова — один токен, рідкісні розбиваються на кілька, а пробіл зазвичай прилипає до наступного слова.
Цей лічильник токенів LLM використовує o200k_base, токенізатор GPT-4o і новіших моделей OpenAI, тож для GPT підрахунок точний. Claude, Gemini і Llama мають власні токенізатори, тому для них показуємо діапазон.
Кожен колір у режимі перегляду — один токен.
Token|ization| is| not| magic|.Українська, арабська чи гінді часто потребують більше токенів на слово, ніж англійська, тож та сама стаття коштує дорожче.
Чому токени важливі для AI SEO
AI-пошук ріже сторінки на шматки по кількасот токенів. Розділ, що влазить в один шматок, цитують цілим.
Файл документації, більший за контекстне вікно моделі, обріжуть. Порахуйте перед публікацією.
Системний промпт, RAG-контекст і відповідь ділять одне вікно. Кожен зайвий токен витісняє вміст.
API моделей рахують токени на вхід і вихід. Підрахунок наперед дає ціну до запуску.
Орієнтовні розміри
| Вміст | Типово токенів |
|---|---|
| Твіт | 30–70 |
| Опис товару | 100–300 |
| Стаття на 1 500 слів | ≈2 000 |
| Великий гайд (5 000 слів) | ≈6 500–7 000 |
| Книга на 300 сторінок | ≈120 000 |
Для англійського тексту з o200k_base. Код, таблиці й нелатинські мови займають більше.
Часті питання
Що таке токен?
Мовні моделі читають текст шматками — токенами. В англійській один токен — це приблизно 4 символи або ¾ слова. Українська, код і числа зазвичай потребують більше токенів на слово.
Який токенізатор ви використовуєте?
o200k_base — токенізатор GPT-4o та новіших моделей OpenAI. Claude, Gemini і Llama мають власні токенізатори, тому для них ми показуємо орієнтовний діапазон.
Мій текст кудись надсилається?
Ні. Текст токенізується у вашому браузері. Через наш сервер завантажуються лише URL, щоб прочитати сторінку.