Google teste Web Bot Auth, un protocole expérimental conçu pour aider les sites Web à vérifier que le trafic automatisé provient réellement du robot ou du service qu’il prétend représenter. Le nouveau protocole pourrait offrir aux propriétaires de sites un moyen fiable de séparer le trafic automatisé légitime des robots qui cachent ou dénaturent leur identité.
Une nouvelle page d’assistance aux développeurs a été publiée pour fournir des informations sur la façon de vérifier les demandes avec le protocole Web Bot Auth, qui est actuellement en phase expérimentale.
Sur quoi est basé l’authentification Web Bot de Google
Le nouveau protocole est techniquement appelé répertoire de signatures de messages HTTP. Il s’agit d’une norme technique proposée conçue pour automatiser la confiance entre les services Web. Il aide les sites Web à reconnaître les services automatisés vérifiés sans obliger chaque partie à échanger manuellement les clés de sécurité au préalable.
L’idée de base revient à donner aux services automatisés vérifiés une manière standardisée de présenter les informations d’identification. Au lieu de s’appuyer uniquement sur des noms, des chaînes d’agent utilisateur ou une configuration privée entre entreprises, le protocole offre aux sites Web un moyen reproductible de vérifier si une demande automatisée peut être vérifiée. C’est important, car de nombreux robots peuvent prétendre être quelque chose qu’ils ne sont pas. Web Bot Auth ne décide pas si un bot est bon ou mauvais, mais il peut donner aux propriétaires de sites un signal plus fort indiquant si le bot est réellement le service qu’il prétend être.
Un moyen fiable d’identifier les robots
La partie cryptographique est importante car elle rend l’identité plus difficile à falsifier. Aujourd’hui, un robot malveillant peut prétendre être un robot d’exploration légitime en copiant un nom ou une chaîne d’agent utilisateur. Web Bot Auth est conçu pour aller au-delà de ce type d’auto-identification en donnant aux sites Web un moyen de vérifier si une demande automatisée correspond aux informations d’identification cryptographiques du service.
Dans le cadre de ce protocole, un robot aurait besoin de plus qu’une étiquette indiquant de qui il s’agit. Il faudrait prouver cette identité d’une manière qu’un site Web puisse valider. Cela pourrait donner aux propriétaires de sites une base sécurisée pour autoriser les services automatisés vérifiés tout en bloquant les robots qui ne peuvent pas prouver qui ils sont. Le protocole ne décide pas automatiquement quels robots doivent être autorisés ou bloqués, mais il pourrait donner aux sites Web un signal plus fiable pour prendre cette décision.
La vérification cryptographique est ce qui rend Web Bot Auth meilleur que les méthodes actuelles d’identification des robots. Au lieu de s’appuyer sur des signaux qui peuvent être déformés, cela donne aux sites Web un moyen de vérifier les demandes automatisées. Cela signifie que la reconnaissance repose moins sur ce qu’un robot dit de lui-même que sur la question de savoir si son identité peut être confirmée par des informations d’identification cryptographiques.
Attention : c’est dans une phase expérimentale
Le protocole proposé permettra de distinguer les robots malveillants qui se font passer pour des robots de confiance des véritables robots issus de services de confiance. Ce protocole est comme une liste blanche de ce qui est autorisé, ce qui peut faciliter l’isolement des robots d’exploration non fiables.
Cependant, comme il s’agit d’une phase expérimentale, la « liste blanche » ne s’applique actuellement qu’à un sous-ensemble du trafic, comme le Google-Agent . Google « ne signe pas encore toutes les demandes », donc une signature manquante ne signifie pas automatiquement qu’un robot est malveillant. Il est conseillé aux propriétaires de sites de continuer à utiliser les adresses IP et d’inverser le DNS parallèlement au protocole pour éviter de bloquer accidentellement le trafic légitime qui n’a pas encore migré.
Ce qu’il fait
La nouvelle norme remplace la configuration manuelle entre les sites Web et les robots, robots d’exploration et autres services automatisés par un processus de découverte en trois étapes :
- Fichiers de clés standardisés :
Les clés sont stockées dans un format commun, JSON Web Key Set (JWKS), que tous les serveurs peuvent lire. - Adresses connues :
Il définit une « maison » spécifique sur un site Web (/.well-known/) où ces clés sont toujours conservées. - Demandes d’auto-identification :
Il ajoute un nouvel en-tête, Signature-Agent, aux requêtes HTTP qui agit comme une carte de visite numérique, pointant le destinataire directement vers le répertoire de clés de l’expéditeur.
Avantages pour les services et sites Web automatisés
Web Bot Auth pourrait faciliter la mise à l’échelle de la vérification des robots en réduisant le besoin de configuration manuelle entre chaque site Web et service automatisé. Cela donne également aux services automatisés un moyen plus cohérent de rester reconnaissables lorsque leurs informations de sécurité changent, ce qui peut aider à éviter une vérification interrompue au fil du temps.
L’authentification des robots Web est expérimentale
Google souligne que les utilisateurs devraient continuer à utiliser les normes existantes telles que la vérification des robots basée sur l’adresse IP des agents utilisateurs, soulignant que la norme elle-même est une proposition susceptible de changer.
La nouvelle documentation fournit l’avertissement suivant :
« Le statut expérimental signifie que :
Tous les agents utilisateurs de Google n’utilisent pas Web Bot Auth.
Google ne signe pas encore toutes les demandes des agents utilisant le protocole.
Nous vous recommandons, en plus de Web Bot Auth, de continuer à vous fier aux adresses IP, au DNS inversé et aux chaînes d’agent utilisateur à mesure que nous déployons progressivement le trafic signé.
Si vous êtes un développeur ou un administrateur système souhaitant autoriser nos agents IA expérimentaux, vous pouvez mettre en œuvre la vérification via le protocole Web Bot Auth :
- Utilisation d’un produit ou d’un service prenant en charge Web Bot Auth
- Vérifier vous-même les demandes”
Néanmoins, la norme vise à simplifier l’identification des robots et à contrôler leur trafic en utilisant un protocole cryptographique qu’un agent malveillant ne peut pas usurper, à fournir des informations sur la façon dont les robots interagissent avec votre trafic et à créer une meilleure façon de contrôler la situation actuellement incontrôlable avec l’exploration des robots.
Google encourage les utilisateurs intéressés par le protocole à contacter leurs fournisseurs d’hébergement Web pour voir s’ils ont l’intention de prendre en charge le protocole expérimental, à se tenir au courant des dernières modifications publiées par le groupe de travail Web Bot Auth et à envoyer leurs commentaires via le formulaire de commentaires officiel de Google sur l’authentification Web Bot.
Lisez la nouvelle documentation de Google :
Authentifier les requêtes avec Web Bot Auth (expérimental)
