Was ist llms.txt und benötigen Sie eine solche Datei?

llms.txt ist eine Markdown-Datei, die im Stammverzeichnis einer Website unter /llms.txt abgelegt wird. Sie beschreibt Sprachmodellen den Inhalt der Website und verlinkt zu den wichtigsten Seiten, jeweils mit einer einzeiligen Beschreibung. Das Format wurde im September 2024 von Jeremy Howard von Answer.AI vorgeschlagen und ist unter <a href=“https://llmstxt.org/ dokumentiert.

Warum es existiert

Webseiten sind für Browser optimiert: Menüs, Skripte, Cookie-Banner, Fußzeilen. Ein Modell mit begrenztem Kontextfenster verschwendet viel Zeit mit diesem unnötigen Ballast. Eine kurze Markdown-Zusammenfassung vom Website-Betreiber ist übersichtlicher und präziser als alles, was ein Modell aus reinem HTML-Code ableiten könnte.

Das Format

Eine gültige Datei hat eine feste Reihenfolge:

1. Eine H1-Überschrift mit dem Namen der Website oder des Projekts. Dies ist der einzige erforderliche Teil.
2. Ein Blockzitat mit einer kurzen Zusammenfassung.
3. Optionaler Freitext mit Details, ohne Überschriften.
4. H2-Abschnitte, die Links gruppieren.
5. Links als Markdown-Listenelemente, optional gefolgt von einem Doppelpunkt und einer Anmerkung.

Ein Abschnitt mit der Bezeichnung „Optional“ kennzeichnet Links, die ein Modell überspringen kann, wenn der Kontext unzureichend ist.

# Acme Analytics

> Privacy-friendly web analytics for small teams. No cookies, GDPR-ready.

## Docs
- [Quick start](https://acme.com/docs/start): Add the script in 2 minutes
- [API](https://acme.com/docs/api): REST endpoints for stats and exports

## Optional
- [Changelog](https://acme.com/changelog): Release notes

Manche Websites veröffentlichen auch /llms-full.txt, die den vollständigen Text ihrer Dokumentation in einer einzigen Datei enthält. Diese Datei ist nützlich für Codierungswerkzeuge, aber überprüfen Sie ihre Größe mit einem Token-Zähler: Eine Datei, die größer als das Kontextfenster eines Modells ist, wird abgeschnitten.

llms.txt vs robots.txt vs sitemap.xml

Datei	Geschrieben für	Sagt
robots.txt	Crawler	Was kann gecrawlt werden?
sitemap.xml	Suchmaschinen	Jede URL und wann sie sich geändert hat
llms.txt	Sprachmodelle und Agenten	Welche Seiten sind wichtig und was enthalten sie?

llms.txt gewährt oder verweigert keinen Zugriff. Ein in robots.txt blockierter Bot sollte auch llms.txt nicht lesen können.

Wer liest das eigentlich?

Hier übertreiben die meisten Artikel:

• KI-Suchmaschinen. Keine der großen Suchmaschinen hat bisher bestätigt, dass sie die llms.txt zur Bewertung oder zum Zitieren von Seiten verwendet. Google hat erklärt, sie nicht zu nutzen. Serverprotokolle zeigen in der Regel nur geringen Zugriff auf die Datei.
• Entwicklertools und -agenten. Hier kommt es zum Einsatz. Codierungsassistenten, Dokumentationsplattformen und MCP-basierte Tools rufen die llms.txt ab, um ein Produkt oder eine API schnell zu verstehen, und viele Dokumentationsplattformen generieren sie automatisch.

Sollten Sie einen hinzufügen?

Ja, wenn Sie Dokumentationen, ein SaaS-Produkt, eine API oder ein Entwicklertool betreiben. Nutzer fragen Programmierassistenten nach Ihrem Produkt, und llms.txt bietet diesen Assistenten eine übersichtliche Übersicht.

Die Teilnahme ist für Blogs, Shops und lokale Unternehmen optional. Sie kostet zehn Minuten und schadet nicht, aber erwarten Sie keine Verbesserung Ihrer Sichtbarkeit in ChatGPT-Antworten. Konzentrieren Sie sich zunächst auf zitierfähige Inhalte.

Erstellen und überprüfen

1. Erstellen Sie mit dem llms.txt-Generator einen Entwurf aus Ihrer Sitemap.
2. Bearbeiten Sie die Beschreibungen. Sie sollten den Inhalt der Seite erläutern und nicht den Titel wiederholen.
3. Laden Sie die Datei als llms.txt in das Stammverzeichnis Ihrer Domain hoch; sie wird als Klartext bereitgestellt.
4. Führen Sie den llms.txt Validator aus, um die Struktur und die Links zu überprüfen.