Compteur de tokens LLM
Collez du texte ou saisissez une URL. Nous comptons les tokens avec le tokenizer de GPT-4o directement dans votre navigateur et indiquons la part de chaque fenêtre de contexte utilisée.
Comment l’utiliser
- 1
Collez du texte ou saisissez une URL
Pour une URL, nous comptons le contenu principal en Markdown, tel qu’un crawler IA le lit.
- 2
Lisez les résultats
Tokens GPT exacts, plus une fourchette estimée pour les autres modèles, les mots et les caractères.
- 3
Affichez les tokens
Activez l’affichage des tokens pour voir comment le texte est découpé. Utile pour les prompts et les fichiers llms.txt.
o200k_baseQu’est-ce qu’un token ?
Les modèles de langage ne lisent ni des lettres ni des mots. Ils lisent des tokens : des morceaux produits par un tokenizer à l’aide de l’encodage par paires d’octets (BPE). Les mots courants forment un seul token, les mots rares sont découpés en plusieurs, et l’espace est généralement rattaché au mot qui suit.
Ce compteur de tokens LLM utilise o200k_base, le tokenizer de GPT-4o et des modèles OpenAI plus récents : les résultats pour GPT sont donc exacts. Claude, Gemini et Llama ont leurs propres tokenizers : nous affichons donc une fourchette pour eux.
Chaque couleur de la vue des tokens correspond à un token.
Token|ization| is| not| magic|.L’ukrainien, l’arabe ou l’hindi demandent souvent plus de tokens par mot que l’anglais : le même article coûte donc plus cher.
Pourquoi le nombre de tokens compte pour le SEO IA
La recherche IA découpe les pages en morceaux de quelques centaines de tokens. Une section qui tient dans un seul morceau est citée en entier.
Un fichier de documentation complet qui dépasse la fenêtre de contexte d’un modèle est tronqué. Comptez avant de publier.
Les prompts système, le contexte RAG et les réponses partagent une même fenêtre. Chaque token de texte superflu prend la place du contenu.
Les API de modèles facturent chaque token en entrée et en sortie. Compter d’abord vous donne le prix avant de lancer.
Ordres de grandeur à retenir
| Contenu | Tokens typiques |
|---|---|
| Un tweet | 30–70 |
| Une description de produit | 100–300 |
| Un article de blog de 1 500 mots | ≈2,000 |
| Un guide long (5 000 mots) | ≈6,500–7,000 |
| Un livre de 300 pages | ≈120,000 |
Texte anglais avec o200k_base. Le code, les tableaux et les écritures non latines consomment davantage.
FAQ
Qu’est-ce qu’un token ?
Les modèles de langage lisent le texte par morceaux appelés tokens. En anglais, un token correspond à environ 4 caractères, soit les trois quarts d’un mot. Les autres langues, le code et les nombres consomment souvent plus de tokens par mot.
Quel tokenizer utilisez-vous ?
o200k_base, le tokenizer de GPT-4o et des modèles OpenAI plus récents. Claude, Gemini et Llama ont leurs propres tokenizers : nous affichons donc pour eux une fourchette estimée.
Mon texte est-il envoyé quelque part ?
Non. Le texte est tokenisé dans votre navigateur. Seules les URL passent par notre serveur afin que nous puissions lire la page.