Quelqu’un sur Reddit a demandé si quelqu’un parvenait à fournir des fichiers de démarque aux LLM. John Mueller de Google a partagé son expérience personnelle en testant des fichiers de démarque pour la consommation LLM.
Fichiers Markdown pour les LLM
Les fichiers Markdown sont du contenu lisible par une machine et par un humain qui contient un balisage indiquant si quelque chose est un en-tête, etc. Il s’agit essentiellement d’un contenu dont toute l’interactivité a été supprimée, donc pas de JavaScript ni de CSS.
L’idée est que la fourniture de ces fichiers aux LLM leur permettra de consommer le contenu sans avoir à gérer le HTML, le JavaScript et tout ce qui est là spécifiquement pour l’interaction humaine.
La motivation pour transmettre des fichiers de démarque à LLM est d’obtenir un avantage en matière de classement dans les surfaces de recherche d’IA.
Quelqu’un a-t-il eu du succès avec les fichiers Markdown ?
Une personne sur Reddit a lancé la discussion avec cette question :
« Je mets déjà en cache mes pages Web HTML, donc ce n’est pas une énorme quantité de travail de les convertir en démarques et de les mettre à nouveau en cache, puis de vérifier les en-têtes pour voir si un robot demande une démarque. J’ai lu tout ce que je peux trouver en ligne et le consensus semble être que cela ne va pas aider à obtenir plus de citations d’IA, mais cela ne fera pas de mal non plus.
Je me demande si cela vaut toujours la peine de le faire de toute façon, uniquement pour empêcher les robots IA de marteler mon site. J’ai dû en bloquer quelques-uns dans Cloudflare parce qu’ils devenaient fous, mais s’ils demandent des fichiers de démarque plus petits, cela vaudra peut-être la peine de les autoriser à nouveau (je peux réduire les fichiers à environ un tiers de la taille).
Je suppose que ma question est la suivante : est-ce que quelqu’un a réellement vu l’un des principaux robots IA demander une démarque ? »
John Mueller de Google a partagé son expérience selon laquelle les seuls robots qui frappent ses fichiers de démarque proviennent d’outils de référencement.
Mueller a partagé :
« Sur mes sites de test, les seuls robots qui prétendent accepter les démarques sont les outils de référencement. Ymmv.
(De plus, il est ennuyeux que les configurations de serveur que j’utilise n’enregistrent pas l’en-tête d’acceptation, vous devez donc configurer manuellement les choses pour la journalisation même si vous voulez simplement voir si quelqu’un l’accepterait. Si vous êtes curieux de connaître vos sites, je vous recommande de comprendre comment enregistrer cela et de vérifier d’abord les métriques.) »
Les fichiers Markdown sont comme des balises méta de mots clés
Le problème avec les fichiers Markdown pour les LLM est que toutes les sociétés de recherche générative et de LLM maîtrisent parfaitement l’exploration et l’indexation des fichiers HTML. De plus, il est dans leur intérêt de télécharger ce que les utilisateurs voient, et non du contenu spécial conçu uniquement pour les LLM.
La raison en est que les propriétaires de sites et les référenceurs ne peuvent pas faire confiance à du contenu réservé aux LLM. C’est la raison pour laquelle les balises méta des mots clés ont échoué. Tout le monde l’a rempli de variantes de mots clés, de fautes d’orthographe et d’expressions qui n’apparaissaient pas dans leur contenu.
Il n’y a aucun avantage pour les LLM et les agents d’IA à consommer des fichiers markdown parce qu’ils ne sont pas dignes de confiance et parce que le téléchargement et l’indexation du contenu HTML sont triviaux, c’est un problème qui a été résolu depuis plus de trente ans.
Markdown pour les agents IA
Cloudflare est convaincu que les fichiers de démarque sont très populaires auprès des LLM. Ils proposent des services qui peuvent fournir des fichiers de démarque aux agents IA qui le demandent essentiellement.
Ils ont récemment écrit :
» Markdown est rapidement devenu la lingua franca pour les agents et les systèmes d’IA dans leur ensemble. La structure explicite du format le rend idéal pour le traitement de l’IA, ce qui aboutit finalement à de meilleurs résultats tout en minimisant le gaspillage de jetons. «
Le réseau Cloudflare prend en charge la conversion de contenu en temps réel à la source, pour les zones activées à l’aide des en-têtes de négociation de contenu ↗. Lorsque les systèmes d’IA demandent des pages à n’importe quel site Web utilisant Cloudflare et sur lequel Markdown for Agents est activé, ils peuvent exprimer leur préférence pour le texte/markdown dans la demande et notre réseau convertira automatiquement et efficacement le HTML en Markdown, lorsque cela est possible, à la volée.
Honnêtement, ce n’est tout simplement pas la réalité. Si c’était le cas, la discussion sur Reddit aurait été remplie d’histoires de réussite de fichiers de démarque.
Instructions pour les agents IA
OpenAI et Anthropic sont plus réalistes en ce qui concerne les fichiers de démarque, car c’est la « lingua franca » pour les compétences, les conseils et les instructions des agents IA.
Une page de support OpenAI explique :
« Instructions personnalisées avec AGENTS.md
Donnez au Codex des instructions et un contexte supplémentaires pour votre projetLe Codex lit les fichiers AGENTS.md avant d’effectuer tout travail. En superposant des conseils globaux avec des remplacements spécifiques au projet, vous pouvez démarrer chaque tâche avec des attentes cohérentes, quel que soit le référentiel que vous ouvrez.
Points à retenir
- Il n’y a aucune preuve ici que la diffusion de versions Markdown de pages Web améliore les citations IA ou la visibilité de la recherche IA.
- John Mueller de Google affirme que les seuls robots d’exploration de ses sites de test qui fouinaient dans ses fichiers de démarques étaient des outils de référencement.
- Le conseil de Mueller est de mettre en place des moyens de déterminer si les robots IA demandent réellement du Markdown avant de les générer à fond pour les robots.
- Tous les systèmes d’IA peuvent déjà explorer et indexer le HTML. Il n’est pas nécessaire de leur part d’avoir une version Markdown distincte des pages HTML.
- Cloudflare prend en charge la conversion automatique du HTML en Markdown lorsque les systèmes d’IA le demandent. Mais leur représentation de la demande des agents d’IA est trop enthousiaste.
- Markdown est déjà utile pour les instructions et le contexte des agents IA, y compris l’utilisation d’AGENTS.md par OpenAI Codex ainsi que pour Anthropic Claude.
- L’utilité de Markdown pour les agents IA ne s’étend pas à l’offre d’avantages en matière d’exploration, d’indexation et de classement dans les moteurs de recherche IA.
