Google a mis à jour sa documentation sur le budget d’exploration avec de nouvelles informations sur la façon dont les différents robots d’exploration de Google partagent tous la capacité d’exploration d’un site Web et a ajouté une recommandation visant à utiliser une réponse de serveur 304 pour réduire la quantité de ressources du serveur utilisée par les robots d’exploration.
Ces deux ajouts concernent la documentation Optimisez votre budget d’exploration de Google, destinée aux sites Web d’entreprise comportant plus d’un million de pages et aux sites Web de taille moyenne comptant plus de 10 000 pages Web qui évoluent rapidement. Bien que la documentation ne soit pas destinée à tous les sites Web, les informations contenues dans cette page sont utiles pour comprendre le fonctionnement de l’exploration.
Les robots d’exploration de Google partagent la capacité d’exploration d’un site Web
Google a ajouté le passage suivant :
« Bien que chaque robot ait une demande d’exploration différente, la limite de capacité d’exploration est partagée entre tous les robots. Cela signifie qu’une demande élevée d’un robot peut réduire la capacité disponible pour les autres. »
Cela signifie que si un site est exploré par Googlebot-Image et Googlebot, les deux robots partagent le budget d’exploration du site Web. L’impact est qu’un taux élevé d’exploration par un robot peut réduire la capacité disponible pour les autres robots d’exploration de Google.
Google recommande la réponse du serveur 304
L’autre recommandation intéressante ajoutée par Google était la suggestion d’utiliser le code de réponse du serveur 304 Not Modified. Selon la documentation Web de Mozilla Developer Network :
« Le code d’état de la réponse de redirection HTTP 304 Not Modified indique qu’il n’est pas nécessaire de retransmettre les ressources demandées. »
Le problème avec le code de réponse 304 Not Modified est qu’il n’y a pas de redirection, même si techniquement tous les codes de réponse du serveur 3xx sont classés comme codes de redirection. Malgré ce détail technique, rien n’est redirigé.
La documentation mise à jour de Google dit :
« Utiliser la mise en cache HTTP : prend en charge les codes d’état HTTP 304 (non modifiés). Si une page n’a pas changé depuis la dernière exploration de Google, le renvoi d’un code 304 indique à Google de réutiliser la version mise en cache, économisant ainsi la bande passante et les ressources de votre serveur. «
Une réponse 304 Not Modified indique aux robots d’exploration de Google qu’une page n’a pas changé depuis la dernière fois qu’elle a été explorée. Le résultat est que le serveur ne diffuse pas la page à Googlebot et Googlebot peut se concentrer sur l’indexation d’autres pages.
Lisez la documentation mise à jour de Google ici. Les deux changements décrits ici sont les seuls nouveaux ajouts. Il y a d’autres changements ici et là qui rendent la documentation de Google plus précise, qui est documentée ici.
