Au cours du week-end, des discussions partagées avec Claude sont apparues de manière inattendue dans les résultats de recherche Google.
Le 27 juillet, j’ai vérifié les règles d’exploration sur les pages de partage de Claude et j’ai trouvé une directive noindex cachée derrière un bloc, empêchant Google d’y accéder.
Le chemin de partage est bloqué par robots.txt sur claude.ai. Ces pages renvoient également un en-tête X-Robots-Tag défini sur none, que les directives des balises méta des robots de Google traitent de la même manière que noindex et nofollow.
Pour cette raison, les règles entrent en conflit les unes avec les autres. Selon les conseils de Google, une balise noindex ne fonctionne que si le robot d’exploration est autorisé à accéder et à lire la page. Si une page est bloquée par robots.txt, elle peut toujours être indexée si d’autres pages y renvoient, puisque Googlebot note l’URL sans réellement l’ouvrir.
Ce jumelage n’est pas propre aux entreprises d’IA. Si Google découvre une URL bloquée ailleurs, il peut répertorier l’URL sans explorer le noindex.
Ce qui s’est passé
404 Media a rapporté lundi que les pages de partage de Claude apparaissaient via le site : opérateur. TechCrunch a déclaré avoir pu trouver du matériel médical, des documents internes à l’entreprise et des fichiers portant les noms et numéros de téléphone d’enfants en âge d’aller à l’école primaire. Les artefacts, les documents et les mini-applications construits à l’intérieur de Claude, sont apparus via un deuxième chemin.
Une grande partie de la couverture médiatique, y compris The Decoder, a rapporté que les pages de partage manquaient de balise noindex. Depuis le 27 juillet, un en-tête noindex est servi et se trouve derrière un bloc robots.txt. On ne sait pas si cet en-tête était en place avant le week-end, car je n’ai pas pu le confirmer.
Ce que renvoient les règles d’exploration
Résultats de mes vérifications du 27 juillet sur claude.ai :
- Le fichier robots.txt sur claude.ai interdit /share/* sous le groupe User-agent: *, sans groupe Googlebot séparé, c’est donc le groupe utilisé par Google.
- Une URL de partage en direct répond avec l’en-tête x-robots-tag: none lors d’une requête GET.
- Le même en-tête apparaît lorsque la requête prétend être Googlebot et que la réponse inclut Vary : User-Agent.
- Le chemin /public/artifacts/ n’est pas répertorié dans robots.txt.
Je n’ai pas vérifié si les URL d’artefact renvoyaient un noindex au niveau de la page, donc ces deux chemins ne peuvent pas être comparés en fonction de leurs contrôles.
Le consultant informatique indépendant Daniel J. Glover a signalé le même conflit le 26 juillet. Mon contrôle montre que la configuration était toujours en place le 27 juillet, après qu’il a été signalé que les discussions n’étaient plus affichées dans les résultats de recherche, mais je n’ai pas pu établir ce qui a été servi à Google lorsque ces URL ont été découvertes pour la première fois.
Pourquoi bloquer une page ne la supprime pas
Robots.txt aide à guider la manière dont les moteurs de recherche explorent votre site Web, mais il ne décide pas ce qui sera indexé. Google clarifie cela depuis des années.
Par exemple, John Mueller explique que même les pages bloquées par robots.txt peuvent apparaître dans les résultats de recherche si d’autres pages renvoient vers elles. Si vous souhaitez garder une page en dehors des résultats de recherche, utiliser la balise « noindex » est le bon choix. Martin Splitt recommande également d’éviter de placer les deux règles sur la même page. Google a récemment souligné à nouveau cette distinction, comme le montre sa mise à jour de la semaine dernière.
Le blocage des URL avec robots.txt ne supprime pas les pages déjà indexées. Pour une suppression plus permanente, la recommandation de Google consiste à utiliser une balise « noindex » que son robot d’exploration peut lire.
La réponse d’Anthropic
Anthropic a déclaré à TechCrunch que les liens de partage n’apparaîtront dans les résultats de recherche que si les gens les publient dans des emplacements accessibles aux robots d’exploration, et que les liens envoyés via des messages privés ne seront pas indexés.
La porte-parole Amie Rotherham a ajouté que ces liens « ne peuvent être devinés ou découverts à moins que les gens choisissent de les partager eux-mêmes ». Cela aborde une manière de découvrir une URL de partage publique, mais cela ne résout pas les règles contradictoires que j’ai trouvées le 27 juillet.
Le porte-parole de Google, Ned Adriance, a déclaré que les moteurs de recherche ne déterminent pas quelles pages sont rendues publiques et que Google offre aux propriétaires de sites un contrôle sur l’exploration et l’indexation et suit ces contrôles.
Pourquoi c’est important
Toutes les discussions ou artefacts que vous n’avez pas partagés sont toujours accessibles à toute personne disposant du lien. Dans Claude, accédez à Paramètres > Confidentialité > Discussions partagées pour voir une liste complète.
Annuler le partage d’une discussion désactive le lien direct, mais supprimer l’URL de Google est une autre chose. En tant qu’utilisateur de Claude, vous ne pouvez pas contrôler ce qu’il sert à Googlebot ni soumettre une demande de suppression, car ceux-ci sont gérés par Anthropic.
Les artefacts sont publiés via leur propre processus, ce qui fait que l’annulation du partage d’une discussion et la dépublication d’un artefact de cette discussion sont deux actions distinctes.
Au-delà des modifications des paramètres, envisagez d’établir une règle concernant le partage des discussions et des artefacts IA. Si une discussion contient quelque chose que vous ne publieriez pas publiquement, ne le partagez pas via un lien qui pourrait être indexé ultérieurement.
Regarder vers l’avenir
Le modèle n’est pas unique à Anthropic. OpenAI a retiré les discussions ChatGPT partagées de la recherche en août 2025 et Google a bloqué l’indexation des transcriptions de Bard en 2023. Chaque cas impliquait une URL de partage publique qui voyageait plus loin que ce à quoi son propriétaire aurait pu s’attendre.
Trois entreprises ont désormais vu apparaître des discussions avec leurs clients dans les recherches. C’est une raison suffisante pour traiter un lien de partage public comme une page Web publique dès qu’il existe.
