John Mueller de Google a répondu à une question sur le fichier robots.txt et a expliqué une erreur facile à rater qui peut avoir un impact sur vos objectifs de référencement et d’indexation de sites Web. Le problème spécifique était lié au spam du champ de recherche indexé par Google, mais cette erreur peut arriver à n’importe qui en général dans n’importe quel contexte.
Spam du champ de recherche de sites Web
La personne qui a posé la question sur Reddit souffrait d’une attaque de spam dans la barre de recherche. Ce que font les spammeurs, c’est effectuer une recherche avec une requête qui reflète leur niche de spam, et ils ajoutent un lien ou un nom de site Web. Ce qui se passe ensuite, c’est que la barre de recherche génère une URL qui peut être référencée pour générer le résultat de recherche contenant du spam.
Et c’est ce qui arrivait à la personne qui posait la question. Leur réponse a été d’ajouter une ligne dans le fichier robots.txt pour empêcher Google d’indexer le fichier. Mais Google indexait de toute façon ces URL générées par les recherches spammées.
Pages indexées Google bloquées par Robots.txt
Quelqu’un a posté sur Reddit que le champ de recherche Shopify de son client générait des pages Web contenant du spam en réponse aux requêtes des spammeurs et que Google les indexait malgré un fichier robots.txt interdisant à Google d’indexer ces pages. Le client a redirigé ces URL contenant du spam vers une autre page Web. La personne qui a posé la question n’a pas demandé comment empêcher l’indexation des pages (ce qu’elle aurait dû demander) ; ils ont demandé si ces URL redirigées devaient plutôt être marquées 404.
La personne a demandé :
« Je travaille sur la boutique Shopify d’un client où le /search est ajouté comme interdiction dans robots.txt, mais ces résultats de recherche sont toujours indexés dans Google.
Cependant, si j’essaie d’ouvrir l’une de ces pages, elles ont un jeu de redirection et elles redirigent vers une autre page de collection du magasin. Faut-il plutôt afficher une page 404 ? Quelle est la manière la plus simple de résoudre ce problème ? »
Pourquoi le fichier Robots.txt a provoqué l’indexation du spam
John Mueller de Google a pris une mesure supplémentaire pour identifier et examiner le fichier robots.txt du client et a identifié une erreur qui a amené Google à ignorer la directive interdisant à Googlebot d’indexer les pages de résultats de recherche.
Mueller a répondu :
« De plus, je ne sais pas s’il s’agit de votre site, mais celui que j’ai trouvé avec des URL indexées similaires avait des sections pour « user-agent : Googlebot » (dans le bloc « START : Règles personnalisées » dans les commentaires) ainsi que beaucoup plus dans la section « user-agent : * » plus bas. Avec robots.txt, les règles les plus spécifiques gagnent, donc si vous avez une section user-agent : Googlebot, il utilisera *uniquement* cette section. Si vous souhaitez appliquer toutes les règles du « user-agent : * », vous devez les copier. De plus, s’il s’agit de votre site, vous pouvez simplement lister tous les agents utilisateurs pour lesquels vous souhaitez partager des règles ensemble, par exemple :
agent utilisateur : googlebot
agent utilisateur : autre robot
agent utilisateur : imgsrc
agent utilisateur : quelque chose
interdire : /poissons
interdire : /orange-cats
… etc … »
Les directives spécifiques à l’agent utilisateur ont priorité
Ce qui s’est passé, c’est que le client comptait sur Google pour suivre les directives d’une ligne destinée à tous les agents utilisateurs, « user-agent : * », mais comme il existe une autre section du fichier robots.txt spécifique à Googlebot, Google a ignoré les directives « user-agent : * » et a obéi à celle qui s’adressait spécifiquement à Googlebot.
Cela peut ressembler à une bizarrerie dans le fonctionnement de robots.txt, mais cela a du sens car cela permet aux utilisateurs de cibler des robots d’exploration spécifiques avec des règles uniques et de cibler tous les autres avec un ensemble de règles différent.
Comment se protéger du spam du champ de recherche
WordPress et Shopify disposent tous deux de moyens d’atténuer le spam dans les champs de recherche.
WordPress et Shopify disposent tous deux de moyens d’atténuer le spam dans les champs de recherche.
Atténuation du spam dans le champ de recherche Shopify
Le site Web de Shopify propose un didacticiel expliquant comment ajouter automatiquement une directive noindex à tous les résultats de recherche. Cela empêchera efficacement l’indexation de toutes les pages de résultats de recherche. Cependant, il est nécessaire de ne pas bloquer les pages de recherche avec robots.txt pour que cela fonctionne.
L’utilisation d’une directive noindex est plus efficace que l’utilisation de robots.txt car robots.txt ne contrôle pas l’indexation ; il contrôle uniquement l’exploration.
Shopify indique :
« Vous pouvez masquer les pages qui ne sont pas incluses dans votre fichier robots.txt.liquid en personnalisant le
section du fichier de mise en page theme.liquid de votre boutique. Vous devez inclure du code de balise méta pour arrêter l’indexation de pages particulières.
Depuis votre interface administrateur Shopify, accédez à Boutique en ligne > Thèmes.
Recherchez le thème que vous souhaitez modifier, cliquez sur le bouton … pour ouvrir le menu d’actions, puis cliquez sur Modifier le code.
Dans le dossier de mise en page, cliquez sur le fichier theme.liquid.
Pour exclure le modèle de recherche, collez le code suivant sur une ligne vide dans le champ
section:
{% si le modèle contient ‘recherche’ %}
{% endif %} »
Atténuation du spam dans le champ de recherche WordPress
Il est assez facile d’atténuer le spam du champ de recherche avec WordPress. Les utilisateurs des plugins Yoast, Rank Math et AIOSEO SEO voient leurs pages de résultats de recherche automatiquement définies sur noindex par défaut. De plus, certains constructeurs de pages et thèmes comme Divi (et son thème Extra) ne généreront pas automatiquement de mots ni d’URL contenant du spam en réponse aux recherches et injecteront à la place quelques phrases indiquant que la recherche n’a produit aucun résultat.
Connaissance du fichier Robots.txt
Un référencement efficace nécessite un large éventail de connaissances. Robots.txt contient quelques bizarreries qui peuvent le rendre moins efficace que prévu, il est donc utile de lire les spécifications officielles afin de se tenir au courant.
