Google sur l’utilisation de Markdown pour le référencement IA

John Mueller de Google a répondu à un article sur Bluesky qui déplorait que tous les efforts soient gaspillés pour l’accessibilité des agents d’IA au lieu de se concentrer sur l’activité plus productive consistant à rendre les sites accessibles aux humains.

SEO tactique

L’un des aspects constants de l’histoire du référencement est que les praticiens ont tendance à suivre les tendances tactiques s’il est évident que tout le monde le fait. Je suppose que c’est la nature humaine.

Au début, il y avait un gars qui construisait un annuaire et achetait des liens PageRank suffisamment élevés vers la page d’accueil pour l’amener à un PageRank d’environ 7 (sur une échelle de 1 à 10). Les référenceurs se poussaient pratiquement les uns les autres pour donner leur argent à ce type. Il a vendu des milliers de liens de son annuaire, et personne n’a pensé à vérifier si l’un de ces liens faisait réellement une différence dans le classement. C’était facile à vérifier, mais personne ne l’a fait.

La dernière tactique est LLMs.txt et la création de pages de démarques pour la consommation des agents IA. Cloudflare a annoncé en février que son infrastructure pouvait créer automatiquement des fichiers de démarque, en grande partie pour permettre aux développeurs d’économiser la consommation de jetons LLM. Leur annonce indiquait qu’OAI-SearchBot, le robot de recherche d’OpenAI, consommait des pages démarques.

La documentation officielle d’OpenAI positionne explicitement son OAI-SearchBot comme des sites Web d’exploration et ne mentionne ni ne recommande les fichiers de démarque.

« OAI-SearchBot est destiné à la recherche. OAI-SearchBot est utilisé pour faire apparaître des sites Web dans les résultats de recherche dans les fonctionnalités de recherche de ChatGPT. Les sites qui sont désactivés d’OAI-SearchBot ne seront pas affichés dans les réponses de recherche de ChatGPT, mais peuvent toujours apparaître sous forme de liens de navigation. Pour garantir que votre site apparaît dans les résultats de recherche, nous vous recommandons d’autoriser OAI-SearchBot dans le fichier robots.txt de votre site et d’autoriser les demandes de nos plages IP publiées ci-dessous. « 

Oui, il peut explorer les démarques s’il y est pointé, mais ce n’est pas pour cela qu’il est disponible.

Stéphanie Walter a posté :

« Triste vérité : nous rendons le Web accessible aux IA, pas aux humains.
Certains sites proposent désormais une version texte pour les LLM, mais ignorent toujours les besoins réels en matière d’accessibilité, comme une structure de titre appropriée et les repères dont les utilisateurs de lecteurs d’écran ont besoin.

John Mueller de Google a répondu :

« Un site Web bien conçu fonctionne bien pour les agents IA… et les moteurs de recherche, et les LLM, et surtout, pour les personnes réelles.

Si vous essayez de résoudre les problèmes d’accessibilité en créant une version distincte « conviviale pour les agents », vous ne faites que créer une dette technique. Vous devrez le refaire plusieurs fois. Réparez-le simplement.

Les agents IA explorent le HTML

C’est une chose relativement triviale d’explorer du HTML. Les moteurs de recherche le font depuis plus de trente ans. Rendre les sites accessibles à tous est logique, d’autant plus que ce sont les signaux de comportement des utilisateurs qui ont toujours déterminé les classements dans les moteurs de recherche. Des liens vers les utilisateurs recherchant avec un nom de marque, Google a systématiquement utilisé les signaux des utilisateurs à des fins de classement.

Ainsi, du point de vue du référencement, il est tout à fait logique de rendre les sites Web accessibles à tous.