LLM Token-Zähler
Fügen Sie Text ein oder geben Sie eine Seiten-URL ein. Wir zählen Tokens mit dem GPT-4o-Tokenizer direkt in Ihrem Browser und zeigen an, wie viel Kontextfenster er verwendet.
Wie man es benutzt
- 1
Fügen Sie Text ein oder geben Sie eine URL ein.
Bei URLs zählen wir den Hauptinhalt als Markdown, so wie ihn ein KI-Crawler liest.
- 2
Lesen Sie die Zählungen.
Exakte GPT-Tokens sowie eine geschätzte Spanne für andere Modelle, Wörter und Zeichen.
- 3
Siehe die Token.
Aktivieren Sie die Token-Ansicht, um zu sehen, wie der Text aufgeteilt ist. Nützlich für Eingabeaufforderungen und llms.txt Dateien.
o200k_base TokenizersWas ein Token ist
Sprachmodelle lesen keine Buchstaben oder Wörter. Sie lesen Tokens: Datenblöcke, die von einem Byte-Paar-kodierenden Tokenizer erzeugt werden. Häufige Wörter bestehen aus einem Token, seltene Wörter werden in mehrere Tokens aufgeteilt, und Leerzeichen stehen in der Regel direkt hinter dem folgenden Wort.
Dieser Token-Zähler von LLM verwendet o200k_base, den Tokenizer von GPT-4o und neueren OpenAI-Modellen, daher sind die GPT-Zählungen exakt. Claude, Gemini und Llama verwenden ihre eigenen Tokenizer, daher zeigen wir für sie einen Bereich an.
Jede Farbe in der Token-Ansicht entspricht einem Token.
Token|ization| is| not| magic|.Ukrainisch, Arabisch oder Hindi benötigen oft mehr Tokens pro Wort als Englisch, sodass derselbe Artikel mehr kostet.
Warum Token-Zählungen für KI-SEO wichtig sind
Die KI-Suche zerlegt Seiten in Abschnitte von einigen hundert Tokens. Ein Abschnitt, der in einen solchen Abschnitt passt, wird als Ganzes zitiert.
Eine vollständige Dokumentationsdatei, die den Kontextbereich eines Modells überschreitet, wird abgeschnitten. Zählen Sie die Dateien, bevor Sie veröffentlichen.
Systemeingabeaufforderungen, Kontextinformationen (nach dem RAG-Modell) und Antworten werden in einem Fenster angezeigt. Jedes Code-Element verdrängt Inhalte.
Die Modell-APIs berechnen die Kosten pro ein- und ausgehendem Token. Durch die vorherige Berechnung erhalten Sie den Preis vor der Ausführung.
Ungefähre Größenangaben, die Sie im Auge behalten sollten
| Inhalt | Typische Token |
|---|---|
| Ein Tweet | 30–70 |
| Eine Produktbeschreibung | 100–300 |
| Ein Blogbeitrag mit 1.500 Wörtern | ≈2,000 |
| Eine ausführliche Anleitung (5.000 Wörter) | ≈6,500–7,000 |
| Ein 300-seitiges Buch | ≈120,000 |
Englischer Text mit o200k_base. Code, Tabellen und nicht-lateinische Schriftsysteme verwenden mehr.
Häufig gestellte Fragen
Was ist ein Token?
Sprachmodelle lesen Texte in Einheiten, sogenannten Tokens. Im Englischen entspricht ein Token etwa vier Zeichen oder drei Vierteln eines Wortes. Andere Sprachen, Codes und Zahlen verwenden oft mehr Tokens pro Wort.
Welchen Tokenizer verwenden Sie?
o200k_base ist der Tokenizer, der von GPT-4o und neueren OpenAI-Modellen verwendet wird. Claude, Gemini und Llama verwenden ihre eigenen Tokenizer; daher zeigen wir für diese einen Schätzbereich an.
Wird meine Nachricht irgendwohin gesendet?
Nein. Der Text wird in Ihrem Browser tokenisiert. Nur URLs werden über unseren Server abgerufen, damit wir die Seite lesen können.