Gary Illyes, analyste chez Google, a souligné un problème majeur pour les robots d'exploration : les paramètres d'URL.
Lors d'un récent épisode du podcast Search Off The Record de Google, Illyes a expliqué comment les paramètres peuvent créer des URL infinies pour une seule page, entraînant des inefficacités d'exploration.
Illyes a abordé les aspects techniques, l'impact du référencement et les solutions potentielles. Il a également évoqué les approches passées de Google et a fait allusion à des solutions futures.
Ces informations sont particulièrement pertinentes pour les grands sites ou les sites de commerce électronique.
Le problème des URL infinies
Illyes a expliqué que les paramètres d’URL peuvent créer ce qui équivaut à un nombre infini d’URL pour une seule page.
Il explique :
« Techniquement, vous pouvez ajouter un nombre presque infini – enfin, de facto infini – de paramètres à n’importe quelle URL, et le serveur ignorera simplement ceux qui ne modifient pas la réponse. »
Cela crée un problème pour les robots d’exploration des moteurs de recherche.
Bien que ces variations puissent conduire au même contenu, les robots d'exploration ne peuvent pas le savoir sans visiter chaque URL. Cela peut entraîner une utilisation inefficace des ressources d'exploration et des problèmes d'indexation.
Les sites de commerce électronique les plus touchés
Le problème est répandu parmi les sites de commerce électronique, qui utilisent souvent des paramètres d’URL pour suivre, filtrer et trier les produits.
Par exemple, une seule page de produit peut avoir plusieurs variantes d'URL pour différentes options de couleur, tailles ou sources de référence.
Illyes a souligné :
« Parce que vous pouvez simplement y ajouter des paramètres d'URL… cela signifie également que lorsque vous explorez, et que vous explorez au sens propre, comme « suivre des liens », alors tout – tout devient beaucoup plus compliqué. »
Contexte historique
Google s'attaque à ce problème depuis des années. Par le passé, Google proposait un outil de paramètres d'URL dans la Search Console pour aider les webmasters à indiquer quels paramètres étaient importants et lesquels pouvaient être ignorés.
Cependant, cet outil a été abandonné en 2022, laissant certains référenceurs inquiets quant à la manière de gérer ce problème.
Solutions potentielles
Bien qu'Illyes n'ait pas proposé de solution définitive, il a fait allusion à des approches potentielles :
- Google étudie des moyens de gérer les paramètres d’URL, potentiellement en développant des algorithmes pour identifier les URL redondantes.
- Illyes a suggéré qu'une communication plus claire de la part des propriétaires de sites Web sur la structure de leur URL pourrait aider. « Nous pourrions simplement leur dire : « OK, utilisez cette méthode pour bloquer cet espace URL » », a-t-il noté.
- Illyes a mentionné que les fichiers robots.txt pourraient potentiellement être davantage utilisés pour guider les robots d'exploration. « Avec robots.txt, il est étonnamment flexible dans ce que vous pouvez en faire », a-t-il déclaré.
Conséquences pour le référencement
Cette discussion a plusieurs implications pour le référencement :
- Budget de crawl:Pour les sites volumineux, la gestion des paramètres d'URL peut aider à préserver le budget d'exploration, garantissant que les pages importantes sont explorées et indexées.
- Architecture du site:Les développeurs devront peut-être reconsidérer la manière dont ils structurent les URL, en particulier pour les grands sites de commerce électronique avec de nombreuses variantes de produits.
- Navigation à facettes:Les sites de commerce électronique utilisant la navigation à facettes doivent être conscients de l'impact que cela a sur la structure de l'URL et la capacité d'exploration.
- Balises canoniques:L'utilisation de balises canoniques peut aider Google à comprendre quelle version d'URL doit être considérée comme principale.
En résumé
La gestion des paramètres d'URL reste délicate pour les moteurs de recherche.
Google y travaille, mais vous devez toujours surveiller les structures d'URL et utiliser des outils pour guider les robots d'exploration.
Écoutez la discussion complète dans l'épisode de podcast ci-dessous :
