llms.txt : format, exemples et utilité

llms.txt est un fichier Markdown placé à la racine d’un site web, à l’adresse /llms.txt. Il indique aux modèles de langage le sujet du site et fournit des liens vers les pages les plus importantes, chacune accompagnée d’une brève description. Proposé par Jeremy Howard d’Answer.AI en septembre 2024, son format est documenté sur llmstxt.org.

Pourquoi il existe

Les pages web sont conçues pour les navigateurs : menus, scripts, bannières de cookies, pieds de page. Un modèle avec une fenêtre de contexte limitée en gaspille une grande partie sur ces éléments superflus. Un court résumé Markdown rédigé par le propriétaire du site est plus rapide à lire et plus précis que n’importe quelle information qu’un modèle pourrait déduire du code HTML brut.

Le format

Un fichier valide possède un ordre fixe :

1. Un seul H1 avec le nom du site ou du projet. C’est la seule partie obligatoire.
2. Un bloc de citation avec un court résumé.
3. Texte libre facultatif avec des détails, sans titres.
4. Sections H2 qui regroupent les liens.
5. Liens sous forme d’éléments de liste Markdown, éventuellement suivis de deux-points et d’une note.

Une section nommée Optional signale les liens qu’un modèle peut ignorer quand le contexte est limité.

# Acme Analytics

> Privacy-friendly web analytics for small teams. No cookies, GDPR-ready.

## Docs
- [Quick start](https://acme.com/docs/start): Add the script in 2 minutes
- [API](https://acme.com/docs/api): REST endpoints for stats and exports

## Optional
- [Changelog](https://acme.com/changelog): Release notes

Certains sites publient également /llms-full.txt, le texte intégral de leur documentation dans un seul fichier. Ce fichier est utile pour les outils de développement, mais vérifiez sa taille à l’aide d’un Compteur de tokens LLM : un fichier plus volumineux que la fenêtre de contexte d’un modèle sera tronqué.

llms.txt, robots.txt et sitemap.xml

Fichier	Écrit pour	Ce qu’il dit
robots.txt	Crawlers	Ce qui peut être exploré
sitemap.xml	Moteurs de recherche	Chaque URL et sa date de modification
llms.txt	Modèles de langage et agents	Quelles pages comptent et ce qu’elles contiennent

llms.txt n’autorise ni ne refuse l’accès. Un bot bloqué dans robots.txt ne devrait pas non plus lire llms.txt.

Qui le lit réellement ?

C’est là que la plupart des articles exagèrent :

• Moteurs de recherche IA. Aucun grand moteur n’a confirmé utiliser llms.txt pour le classement ou la citation des pages. Google a déclaré ne pas l’utiliser. Les logs serveur montrent généralement peu de trafic sur ce fichier.
• Outils de développement et agents. C’est là qu’il est utile. Les assistants de code, les plateformes de documentation et les outils basés sur MCP lisent llms.txt pour comprendre rapidement un produit ou une API, et de nombreuses plateformes de documentation le génèrent automatiquement.

Faut-il en ajouter un ?

Oui, si vous gérez de la documentation, un produit SaaS, une API ou un outil de développement. Les gens interrogent des assistants de code sur votre produit, et llms.txt donne à ces assistants une documentation propre.

Facultatif pour les blogs, les boutiques et les commerces locaux. Cela ne prend que dix minutes et ne présente aucun inconvénient, mais ne vous attendez pas à ce que cela améliore votre visibilité dans les réponses de ChatGPT. Concentrez-vous d’abord sur un contenu citable.

Créez-le et vérifiez-le

1. Générez un brouillon à partir de votre sitemap avec le Générateur de llms.txt.
2. Modifiez les descriptions. Elles doivent indiquer à quoi répond la page, et non répéter son titre.
3. Déposez-le à la racine de votre domaine sous le nom llms.txt, servi en texte brut.
4. Lancez le Validateur de llms.txt pour vérifier la structure et les liens.