Google a publié un nouvel épisode de sa série de vidéos éducatives « Comment fonctionne la recherche », expliquant comment son moteur de recherche découvre et accède aux pages Web grâce à l’exploration.
Processus d’exploration des détails de l’ingénieur Google
Dans l’épisode de sept minutes animé par l’analyste de Google Gary Illyes, la société fournit un aperçu approfondi des aspects techniques du fonctionnement de Googlebot, le logiciel que Google utilise pour explorer le Web.
Illyes décrit les étapes suivies par Googlebot pour trouver du contenu nouveau et mis à jour sur les milliards de pages Web d’Internet et les rendre consultables sur Google.
Illyes explique :
« La plupart des nouvelles URL découvertes par Google proviennent d’autres pages connues que Google a précédemment explorées.
Vous pouvez penser à un site d’actualités avec différentes pages de catégories qui renvoient ensuite à des articles d’actualité individuels.
Google peut découvrir la plupart des articles publiés en revisitant de temps en temps la page Catégorie et en extrayant les URL qui mènent aux articles.
Comment Googlebot explore le Web
Googlebot commence par suivre les liens de pages Web connues pour découvrir de nouvelles URL, un processus appelé découverte d’URL.
Il évite la surcharge des sites en explorant chacun d’entre eux à une vitesse unique et personnalisée en fonction des temps de réponse du serveur et de la qualité du contenu.
Googlebot rend les pages à l’aide d’une version actuelle du navigateur Chrome pour exécuter n’importe quel JavaScript et afficher correctement le contenu dynamique chargé par les scripts. Il explore également uniquement les pages accessibles au public, pas celles situées derrière les connexions.
En rapport: Google répond à une question relative au budget d’exploration
Améliorer la découverte et l’exploration
Illyes a souligné l’utilité des plans de site (fichiers XML répertoriant les URL d’un site) pour aider Google à trouver et à explorer de nouveaux contenus.
Il a conseillé aux développeurs de faire en sorte que leurs systèmes de gestion de contenu génèrent automatiquement des plans de site.
L’optimisation des facteurs techniques de référencement tels que l’architecture du site, la vitesse et les directives d’exploration peuvent également améliorer la capacité d’exploration.
Voici quelques tactiques supplémentaires pour rendre votre site plus explorable :
- Évitez l’épuisement du budget d’exploration – Les sites Web fréquemment mis à jour peuvent dépasser le budget d’exploration de Googlebot, empêchant ainsi la découverte de nouveaux contenus. Une configuration minutieuse du CMS et les balises rel= « next » / rel= « prev » peuvent aider.
- Mettre en place un bon maillage interne – Les liens vers le nouveau contenu des pages de catégorie et du hub permettent à Googlebot de découvrir de nouvelles URL. Une structure de liens internes efficace facilite l’exploration.
- Assurez-vous que les pages se chargent rapidement – Les sites qui répondent lentement aux récupérations de Googlebot peuvent voir leur vitesse d’exploration limitée. L’optimisation des pages pour les performances peut permettre une exploration plus rapide.
- Éliminer les erreurs logicielles 404 – La correction des erreurs 404 causées par des erreurs de configuration du CMS garantit que les URL mènent à des pages valides, améliorant ainsi le succès de l’exploration.
- Envisagez les ajustements du fichier robots.txt – Un robots.txt serré peut bloquer les pages utiles. Un audit SEO peut révéler des restrictions qui peuvent être supprimées en toute sécurité.
Dernières séries de vidéos éducatives
La dernière vidéo intervient après que Google a lancé la semaine dernière la série éducative « Comment fonctionne la recherche » pour faire la lumière sur les processus de recherche et d’indexation.
L’épisode récemment publié sur l’exploration donne un aperçu de l’une des opérations les plus fondamentales du moteur de recherche.
Dans les mois à venir, Google produira des épisodes supplémentaires explorant des sujets tels que l’indexation, l’évaluation de la qualité et le raffinement de la recherche.
La série est disponible sur la chaîne YouTube Google Search Central.
FAQ
Quel est le processus d’exploration tel que décrit par Google ?
Le processus d’exploration de Google, tel que décrit dans son récent épisode de la série « Comment fonctionne la recherche », implique les étapes clés suivantes :
- Googlebot découvre de nouvelles URL en suivant les liens des pages connues qu’il a précédemment explorées.
- Il explore stratégiquement les sites à une vitesse personnalisée pour éviter de surcharger les serveurs, en tenant compte des temps de réponse et de la qualité du contenu.
- Le robot d’exploration restitue également les pages à l’aide de la dernière version de Chrome pour afficher correctement le contenu chargé par JavaScript et accéder uniquement aux pages accessibles au public.
- L’optimisation des facteurs techniques de référencement et l’utilisation de plans de site peuvent faciliter l’exploration de nouveaux contenus par Google.
Comment les spécialistes du marketing peuvent-ils garantir que leur contenu est découvert et exploré efficacement par Googlebot ?
Les spécialistes du marketing peuvent adopter les stratégies suivantes pour améliorer la visibilité et l’exploration de leur contenu pour Googlebot :
- Mettez en œuvre une génération automatisée de plan de site dans leurs systèmes de gestion de contenu.
- Concentrez-vous sur l’optimisation des éléments techniques du référencement tels que l’architecture du site et la vitesse de chargement et utilisez de manière appropriée les directives d’exploration.
- Assurez-vous que les mises à jour fréquentes du contenu n’épuisent pas le budget d’exploration en configurant le CMS efficacement et en utilisant des balises de pagination.
- Créez une structure de liens internes efficace qui permet de découvrir de nouvelles URL.
- Vérifiez et optimisez le fichier robots.txt du site Web pour vous assurer qu’il n’est pas trop restrictif pour Googlebot.