Google explique comment éviter les problèmes de référencement lors de la migration CDN

Les Googleurs Gary Illyes et Cherry Prommawin expliquent comment le passage à un CDN peut augmenter de manière inattendue l’exploration et submerger le serveur d’origine, malgré l’amélioration éventuelle des performances du site Web. Ils partagent également le fait que les tentatives de contrôle du trafic des robots d’exploration peuvent parfois bloquer accidentellement Googlebot et nuire à la visibilité de la recherche.

Le passage à un CDN peut amener Googlebot à augmenter l’exploration

Illyes et Prommawin ont expliqué que le passage à un CDN peut amener Googlebot à augmenter l’exploration, car des réponses plus rapides du serveur indiquent que l’infrastructure du site peut gérer davantage de requêtes. Les systèmes d’exploration automatisés de Google interprètent l’amélioration des performances comme une indication qu’une exploration plus poussée est possible et réagissent en augmentant progressivement la vitesse d’exploration.

Les caches CDN sont initialement vides et le CDN ne démarre la mise en cache que lorsqu’un navigateur ou un robot demande une page, auquel cas la demande doit être transmise au serveur d’origine, où se trouve le site Web réel.

Lorsque Google augmente la vitesse d’exploration, l’exploration initiale est gérée par le serveur d’origine. Mais maintenant, Googlebot attaque le serveur de manière plus agressive et c’est cela qui peut, dans un premier temps, submerger le serveur d’origine.

Gary Illyes explique :

« D’une part, les mesures d’exploration suggèrent que le site peut gérer une plus grande quantité d’exploration. Et d’un autre côté, comme les caches CDN ne sont pas encore remplis, le serveur d’origine doit toujours servir les pages demandées. « 

Fondamentalement, les CDN enlèvent la valve du tuyau, alors maintenant les robots boivent dans une lance à incendie.

Cherry Prommawin a ajouté plus de détails :

« Dans des circonstances normales, nos robots fonctionnent selon une règle importante. Lorsqu’un serveur répond plus rapidement, les robots supposent que l’infrastructure est saine et accélèrent lentement la vitesse d’exploration.

… Ainsi, les robots voient à quelle vitesse le serveur répond, sont vraiment excités et commencent à explorer l’ensemble du site à une vitesse de plus en plus élevée. Mais c’est un piège.

Les gens supposent qu’un CDN peut détecter un pic d’exploration dès le premier jour, mais… Le cache doit d’abord être rempli avec les actifs hors du site.

Gary Illyes a expliqué que lors d’une première demande de page, le CDN doit d’abord récupérer la page sur le serveur d’origine pour remplir le cache avec le contenu. Ce n’est qu’à la deuxième requête de la page que le cache est rempli avec le contenu et commence à faire son travail.

Illyes poursuivit :

« … ce qui signifie que votre serveur d’origine risque de toute façon d’être touché par l’inondation. Maintenant, pour être honnête, nos robots d’exploration mettent du temps à monter en puissance. Cela n’arrivera pas en une milliseconde. « 

Un cache vide signifie que votre serveur d’origine fait toujours tout le gros du travail. Jusqu’à ce que ce cache soit rempli, votre CDN ne fait pas encore office de bouclier.

Emporter:

Un CDN ne peut pas servir une URL non mise en cache sans la récupérer d’abord auprès du serveur d’origine et cela ne se produit qu’après qu’une demande pour cette URL a été effectuée pour la première fois. Les robots visitent un grand nombre d’URL pratiquement tout le temps et peuvent générer une quantité importante de trafic d’origine avant que les caches du CDN ne soient entièrement remplis.

Protection des robots CDN et blocage accidentel de Googlebot

Ce prochain problème implique le blocage accidentel de Googlebot et le déclenchement d’une présence réduite dans les recherches, car Google ne peut plus explorer et indexer les URL d’un site Web. Illyes et Prommawin l’expliquent dans le contexte d’un administrateur de site Web actionnant un commutateur sur Cloudflare et bloquant par inadvertance Googlebot.

C’est un vrai problème, je me souviens d’un cas dans lequel le trafic massif d’un site Web populaire se tarissait chaque fois que Cloudflare était activé et revenait une fois qu’il l’éteignait. Ils ont eu beaucoup de mal à diagnostiquer pourquoi cela se produisait et les gens du service client de l’époque n’étaient pas en mesure de les aider. Il se peut, comme l’ont noté Illyes et Prommawin, que l’administrateur ait activé un filtre de robot strict qui a bloqué Googlebot par inadvertance.

Illyes a donné l’exemple d’un administrateur faisant exactement cela :

« Ils observent l’augmentation du trafic, supposent qu’ils sont agressivement attaqués par des botnets et, naturellement, ils paniquent. »

Et ce qui arrive parfois ensuite, c’est qu’un administrateur peut activer des « règles de sécurité générales » qui bloquent Googlebot.

Prommawin a offert plus de détails :

« En cas de panique, on peut se connecter à son tableau de bord CDN et activer le paramètre permettant de bloquer complètement les robots.

…Si le CDN détecte des requêtes automatisées, il les intercepte avec un défi CAPTCHA, leur demandant de cliquer sur des images de feux de circulation pour prouver qu’ils sont humains.

…Il voit les requêtes automatisées, les signale comme un robot, puis les intercepte avec un CAPTCHA. Et comme nos robots ne peuvent pas identifier un feu de circulation, ils échouent au test.

Ce qui se produit finalement en cas de blocage prolongé de Googlebot, c’est que Google commencera à supprimer les pages de l’index.

Prommawin a suggéré aux administrateurs du site de configurer leur CDN pour autoriser les robots d’exploration connus et fiables. Il s’agit d’une méthode appelée liste blanche où seuls les robots d’exploration figurant sur la liste « autorisés » peuvent l’obtenir et tous les autres robots ne le peuvent pas.

Ils recommandent également l’utilisation de la limitation de débit de Googlebot au niveau CDN si les requêtes sur le serveur d’origine entraînent des temps d’arrêt pouvant avoir un impact négatif sur le trafic humain légitime vers le site Web.

Le préchauffage du cache CDN est recommandé

Lorsqu’un site démarre initialement avec un CDN, le CDN ne dispose pas de cache du contenu d’un site Web. Le cache n’est chargé que lorsqu’il est demandé par une visite d’un navigateur ou d’un robot d’exploration.

Le préchauffage du cache est le processus de demande de contenu à un site afin que le contenu soit chargé sur le CDN. Cela garantit que le contenu est déjà chargé sur le CDN avant que les utilisateurs ne le demandent, ce qui garantit que le contenu est livré rapidement sans que le CDN ait à le récupérer au préalable depuis le serveur d’origine (le serveur sur lequel existent les fichiers de contenu réels).

Illyes recommande de « préchauffer » le cache en lui demandant des URL par programme afin que le cache soit rempli de manière contrôlée.

« Et pour survivre en augmentant votre site avec un CDN, voyez si vous pouvez préchauffer les caches en récupérant par programme vos principales URL via le CDN avant d’ouvrir les vannes des moteurs de recherche. »

Points à retenir

Le point principal de Google est que le passage à un CDN peut créer une combinaison inattendue d’exploration plus rapide et de demande accrue du serveur d’origine. Cela peut à son tour conduire à l’établissement involontaire de restrictions de sécurité agressives qui empêchent Googlebot d’accéder à un site Web.

Trois points particulièrement importants pour les référenceurs et les propriétaires de sites :

1. L’utilisation d’un CDN peut déclencher une augmentation de l’exploration de Googlebot lorsqu’il détecte des réponses plus rapides du serveur, même si les caches du CDN n’ont pas encore été remplis, ce qui signifie une augmentation des demandes d’URL provenant du serveur d’origine.

2. Une migration CDN peut entraîner par inadvertance la disparition de pages de la recherche Google en raison de paramètres de sécurité agressifs destinés à arrêter les robots malveillants qui peuvent également verrouiller les robots d’exploration de Google.

3. Google recommande de préchauffer les caches, d’autoriser les robots d’exploration de confiance et de contrôler temporairement l’exploration lorsque la demande du serveur devient excessive.

Lisez la nouvelle documentation CDN de Google ici.

Regardez le podcast Google ici :