Google explique qu’il n’a pas pu récupérer les erreurs du plan du site

Martin Splitt et John Mueller de Google ont discuté des raisons pour lesquelles la Search Console peut afficher une erreur « Impossible de récupérer » même si un site Web affiche un plan de site XML valide. Même si Mueller a reconnu qu’il peut parfois y avoir une raison technique à cela, il a également déclaré que la véritable raison était souvent un problème de qualité.

Google reconnaît le message inadéquat de la Search Console

Splitt a reconnu que de nombreuses personnes qui reçoivent l’erreur « Impossible de récupérer » disposent de plans de site XML valides qui sont correctement liés à partir de robots.txt et qu’il n’y a aucune raison technique pour laquelle Google ne serait pas en mesure de récupérer le plan du site. Ce qu’il faut retenir ici, c’est que les employés de Google sont conscients du problème et de la frustration des utilisateurs (nous en parlerons plus tard).).

Martin Splitt a observé :

« Pourquoi la Search Console affiche-t-elle parfois « Impossible de récupérer », même si le XML du plan du site est valide ?

Parce que vous pouvez le valider. C’est ce qui est bien avec un format aussi structuré. C’est donc valide, c’est accessible au public et c’est lié à partir du robots.txt. Et pourtant, la Search Console indique qu’il est parfois impossible de récupérer.

Raison 1 : problèmes de charge de l’hôte

John Mueller de Google a déclaré qu’il voyait souvent des questions sur le message d’erreur Impossible de récupérer dans les forums et qu’il y avait deux raisons à ce message d’erreur.

La première raison est que parfois Google ne peut vraiment pas accéder au plan du site en raison de problèmes de charge de l’hôte du serveur, ce qui signifie que le serveur reçoit trop de demandes de pages entrantes et est incapable de servir la ressource demandée. Mais cela peut aussi signifier que le serveur ne peut pas gérer la charge d’exploration.

Mueller explique :

« Nous en avons parlé dans le passé, comme la quantité de données que les systèmes Google sont capables d’explorer à partir d’un site Web. Et il se peut que nous n’ayons pas le temps d’explorer ce fichier de plan de site parce que nous sommes trop occupés avec d’autres choses. Cela peut arriver. Nous positionnerions également cela comme « impossible de récupérer » parce que nous n’avons pas eu le temps de le récupérer réellement. « 

Bien que Mueller ne l’ait pas mentionné, le problème de charge de l’hôte peut également survenir tard dans la nuit lorsque des robots d’exploration légitimes et non légitimes martèlent un site Web avec des milliers de requêtes en même temps, auquel cas le serveur abandonne et renvoie une réponse d’erreur de 500. La réponse d’erreur du serveur 500 peut être confirmée avec la console de recherche de Google où elle répertorie 500 réponses d’erreur ainsi que dans un fichier journal du serveur, si vous y avez accès.

Raison 2 : problèmes de qualité du site

La deuxième raison partagée par Mueller est ce qu’il a appelé la demande d’exploration, mais il s’agit en réalité du fait que Google perçoit qu’il n’a pas vraiment besoin du contenu et décide de l’ignorer. Il a expliqué qu’il s’agit d’un problème de qualité du contenu. Mueller dit de manière confuse que c’est lié à la charge de l’hôte, mais je ne suis pas sûr d’être d’accord avec lui, jugez par vous-même.

Mueller a partagé :

« L’autre, également lié à la charge de l’hôte, concerne en quelque sorte la demande d’exploration, où si nos systèmes disent que nous n’avons pas réellement besoin d’explorer beaucoup de choses à partir de ce site Web, nous allons simplement ignorer le fichier de plan du site parce que nous en avons déjà assez.

Et la demande de crawl repose très souvent sur la qualité perçue d’un site web. Et cela peut avoir un impact très important sur la quantité que nous explorons et indexons à partir d’un site Web. Ce n’est donc pas une question purement technique. Parfois, nos systèmes supposent que la qualité globale de ce site Web n’est pas fantastique. Par conséquent, nous n’allons pas passer beaucoup de temps à explorer et indexer le contenu. Par conséquent, nous n’allons pas nous soucier du fichier de plan du site pour le moment.

Raison 3 : Peut-être que le plan du site n’est pas nécessaire

La troisième raison qu’il a partagée est que parfois Google n’a pas vraiment besoin du plan du site.

Mueller a expliqué :

« Et si nous constatons au fil du temps que la qualité du site Web s’améliore considérablement, alors oui, nous utiliserons ce fichier de plan du site, mais peut-être que nous ne le voulons tout simplement pas. Ce n’est donc pas seulement une question technique de mon point de vue ou du point de vue de mon site.

C’est aussi : avons-nous réellement besoin du fichier de plan du site et voulons-nous également le fichier de plan du site ?

Points à retenir

  • L’erreur « Impossible de récupérer » le plan du site de la Search Console peut être trompeuse.
    Un plan de site peut être valide, accessible au public et correctement lié alors que la Search Console signale toujours que Google n’a pas pu le récupérer.
  • La charge du serveur peut empêcher Google de récupérer un plan du site.
    Si Googlebot ne peut pas accéder au plan du site parce que le serveur est surchargé ou que Google a épuisé la capacité d’exploration disponible du site, la Search Console peut signaler « impossible de récupérer ».
  • L’erreur peut être due à une demande d’exploration.
    Google peut délibérément ignorer un plan de site lorsque ses systèmes déterminent qu’il n’y a aucune raison d’explorer davantage le site.
  • La qualité du site peut influencer si Google se soucie du plan du site.
    Mueller a déclaré que la qualité perçue du site Web peut avoir un impact important sur la quantité d’exploration et d’indexation de Google, y compris sur la récupération ou non du plan du site.

Enfin, bien que ni Martin Splitt ni Mueller ne le mentionnent, cette discussion met en évidence un gros problème avec la Search Console dans la mesure où le message (impossible de récupérer) ne correspond pas à la raison réelle. La conséquence est que les utilisateurs de la console de recherche finissent par être confus et frustrés. Ce qui est particulièrement frustrant, c’est que Google sait évidemment que le message de la console de recherche n’est d’aucune utilité, mais ils haussent les épaules et ne font rien à ce sujet.