Un rapport publié par Vercel souligne l'impact croissant des robots IA dans l'exploration du Web.
GPTBot d'OpenAI et Claude d'Anthropic génèrent près d'un milliard de requêtes par mois sur le réseau de Vercel.
Les données indiquent que GPTBot a effectué 569 millions de requêtes au cours du mois dernier, tandis que Claude en représentait 370 millions.
De plus, PerplexityBot a contribué à 24,4 millions de requêtes et AppleBot a ajouté 314 millions de requêtes.
Ensemble, ces robots d'exploration d'IA représentent environ 28% du volume total de Googlebot, qui s'élève à 4,5 milliards de requêtes.
Voici ce que cela pourrait signifier pour le référencement.
Principales conclusions sur les robots d'exploration d'IA
L'analyse a porté sur les modèles de trafic sur le réseau de Vercel et diverses architectures Web. Il a trouvé quelques fonctionnalités clés des robots d’exploration IA :
- Les principaux robots d'exploration d'IA ne restituent pas JavaScript, bien qu'ils extraient les fichiers JavaScript.
- Les robots d'exploration IA sont souvent inefficaces, ChatGPT et Claude dépensant plus 34% de leurs demandes sur 404 pages.
- Le type de contenu sur lequel ces robots se concentrent varie. ChatGPT donne la priorité au HTML (57,7%), tandis que Claude se concentre davantage sur les images (35,17%).
Répartition géographique
Contrairement aux moteurs de recherche traditionnels qui opèrent à partir de plusieurs régions, les robots d’exploration IA maintiennent actuellement une présence concentrée aux États-Unis :
- ChatGPT opère depuis Des Moines (Iowa) et Phoenix (Arizona)
- Claude opère depuis Columbus (Ohio)
Corrélation avec l'almanach Web
Ces résultats concordent avec les données partagées dans le chapitre SEO du Web Almanac, qui note également la présence croissante des robots d'exploration IA.
Selon le rapport, les sites Web utilisent désormais des fichiers robots.txt pour définir des règles pour les robots IA, leur indiquant ce qu'ils peuvent ou ne peuvent pas explorer.
GPTBot est le bot le plus mentionné, apparaissant sur 2,7% des sites mobiles étudiés. Le robot Common Crawl, souvent utilisé pour collecter des données de formation pour les modèles de langage, est également fréquemment mentionné.
Les deux rapports soulignent que les propriétaires de sites Web doivent s’adapter au comportement des robots d’exploration IA.
3 façons d'optimiser pour les robots d'exploration IA
Sur la base des données récentes de Vercel et du Web Almanac, voici trois façons d'optimiser les robots d'exploration de l'IA.
1. Rendu côté serveur
Les robots d'exploration IA n'exécutent pas JavaScript. Cela signifie que tout contenu reposant sur le rendu côté client peut être invisible.
Actions recommandées :
- Implémenter le rendu côté serveur pour le contenu critique
- Assurez-vous que le contenu principal, les méta-informations et les structures de navigation sont présents dans le HTML initial
- Utilisez la génération de site statique ou la régénération statique incrémentielle lorsque cela est possible
2. Structure et diffusion du contenu
Les données de Vercel montrent des préférences distinctes en matière de type de contenu parmi les robots d'exploration IA :
ChatGPT :
- Donne la priorité au contenu HTML (57,70 %)
- Dépense 11,50 % des récupérations sur des fichiers JavaScript
Claude :
- Se concentre fortement sur les images (35,17 %)
- Consacre 23,84 % des récupérations aux fichiers JavaScript
Recommandations d'optimisation :
- Structurez le contenu HTML de manière claire et sémantique
- Optimiser la livraison des images et les métadonnées
- Inclure un texte alternatif descriptif pour les images
- Implémenter une hiérarchie d'en-tête appropriée
3. Considérations techniques
Les taux 404 élevés des robots d’exploration IA signifient que vous devez garder ces considérations techniques en tête :
- Maintenir les plans de site à jour
- Implémenter des chaînes de redirection appropriées
- Utilisez des modèles d'URL cohérents
- Audit régulier des erreurs 404
Regarder vers l'avenir
Pour les spécialistes du marketing de recherche, le message est clair : les chatbots IA sont une nouvelle force dans l’exploration du Web, et les sites doivent adapter leur référencement en conséquence.
Même si les robots IA peuvent désormais s’appuyer sur des informations mises en cache ou datées, leur capacité à analyser de nouveaux contenus provenant du Web va croître.
Vous pouvez contribuer à garantir que votre contenu est exploré et indexé grâce à un rendu côté serveur, des structures d'URL propres et des plans de site mis à jour.
