La vérification « êtes-vous un robot » utilisée pour bloquer le mauvais trafic peut parfois entraîner la suppression de pages de Google. Dans le dernier épisode de Search Off the Record, John Mueller de Google a expliqué pourquoi cela se produit, notant que cela pourrait amener Google à considérer votre page comme un double de la page d’un autre site.
Le problème
Lorsque la sécurité d’un site signale un visiteur comme suspect, elle affiche une page « êtes-vous un robot » au lieu du contenu réel. Parfois, cette page est renvoyée à Google comme si elle était normale, ce qui amène Google à l’indexer. Cela peut entraîner la suppression du contenu réel du site de l’index ou son remplacement par cet interstitiel.
Étant donné que l’écran « êtes-vous un robot » apparaît sur d’autres sites, Google rencontre plusieurs pages similaires. Lorsqu’il détecte des pages en double, Google en sélectionne une comme version canonique et considère les autres comme des doublons.
En plus d’affecter l’indexation, ce problème pourrait également affecter la page que Google considère comme la version principale de votre contenu. Il peut sélectionner une page d’un autre site Web, ce qui entraînera le marquage de votre page comme doublon.
Mueller a expliqué qu’il est difficile à retracer car cela nécessite d’examiner la page sélectionnée par Google, puis de travailler à rebours pour en déterminer la cause. De plus, étant donné qu’un visiteur typique ne rencontrera peut-être jamais la question « êtes-vous un robot », il ne semble y avoir rien de mal lorsque vous examinez le site vous-même.
Pourquoi c’est difficile à voir
Les vérifications normales du navigateur peuvent ne pas vous permettre de voir l’écran « êtes-vous un robot », car il n’apparaît que pour les visiteurs signalés comme suspects. Pour vous, la page se charge probablement normalement.
Vous devrez accéder à la Search Console pour confirmer qu’il y a un problème. Le rapport d’indexation des pages marque les pages comme doublons ou comme canonisées ailleurs.
De plus, l’outil d’inspection d’URL de la Search Console révèle quelle adresse Google a sélectionnée comme version principale. Si cette adresse appartient à un site qui n’est pas le vôtre, c’est une bonne idée de la consulter.
Pourquoi c’est important
Parfois, des problèmes peuvent survenir sans aucun signe évident sur le site lui-même, car l’écran « êtes-vous un bot » peut être déclenché par un CDN, un hôte ou une couche de protection contre les robots, plutôt que directement par les pages. Mueller a mentionné que ce type de protection peut s’activer lorsque l’exploration reprend.
La demande est traitée avec succès, donc l’instinct commun de rechercher une page cassée n’est pas utile ici. Étant donné que Google est capable d’accéder au site et d’obtenir une réponse valide, le problème est qu’il reçoit le mauvais contenu. C’est pourquoi l’échec n’est pas détecté par des contrôles qui ne reconnaissent pas ce que Googlebot voit réellement.
J’ai abordé un problème similaire dans lequel Mueller a décrit l’erreur « Page indexée sans contenu ». Dans ce cas, les paramètres de sécurité d’un site Web bloquaient silencieusement Googlebot mais autorisaient les visiteurs réguliers, ce qui obligeait Google à charger la page sans recevoir de contenu.
Regarder vers l’avenir
Si vous rencontrez ce problème, contactez la personne qui gère votre service de sécurité, votre CDN ou votre hébergement Web pour rechercher une solution. Après l’avoir corrigé, demandez à Google de réexplorer via Search Consoles Validate Fix. Google peut également détecter la correction lors de sa prochaine exploration.
