Comment la croissance rapide des robots change-t-elle le Web ouvert ?
Plus de la moitié du trafic Web provient de robots :
- Le Bad Bot Report 2024 d'Imperva révèle que près de 50 % du trafic Internet total n'était pas humain en 2024. Tendance : en baisse.
- Le radar de Cloudflare affiche environ 70 % de trafic humain et 30 % provenant de robots.
- Akami rapporte que 42 % du trafic sur le Web provient de robots.
Jusqu’à présent, les robots ont collecté des informations qui améliorent les applications pour les humains. Mais une nouvelle espèce augmente en population : les robots agents.
Pendant deux décennies, nous avons optimisé les sites pour GoogleBot. Bientôt, nous pourrions nous concentrer sur les assistants IA qui agissent comme intermédiaires entre les humains et le Web ouvert.
Nous avons déjà optimisé le BotNet avec Schema et les flux de produits dans le Merchant Center de Google. Les plans de site XML sont devenus des enjeux de table il y a des décennies.
Au niveau suivant, nous pourrions avoir des sites Web ou des API distincts pour les robots agents avec un tout nouveau terrain de jeu marketing.
Web agent
Alors que nous sommes sur le point d’avoir plus de trafic de robots que d’humains sur le Web ouvert, il est essentiel de garder à l’esprit qu’environ 65 % du trafic de robots est estimé être malveillant.
Les bons robots incluent les scrapers des moteurs de recherche, les outils de référencement, les défenses de sécurité et, bien sûr, les robots d'exploration IA. La population des deux types de robots augmente, mais seuls les bons sont vraiment utiles.
En comparant le dernier mois avec les six mois précédents, les robots d'exploration de l'IA ont augmenté de 18 % tandis que les moteurs de recherche ont ralenti de 10 %. GoogleBot a spécifiquement réduit son activité de -1,6 %.
Cependant, le robot d'exploration IA de Google a compensé avec une augmentation de 1,4 %. GPT Bot était le robot d'exploration d'IA le plus actif, avec 3,8 % de toutes les requêtes – et a augmenté de 12 %.
Le robot d'exploration IA de Google a connu une croissance de 62 % et était responsable de 3,7 % de toutes les requêtes de robots. Compte tenu de son taux de croissance actuel, le robot d'IA de Google devrait bientôt être le plus actif du web.
Aujourd’hui, les robots IA ont trois objectifs :
- Collectez des données de formation.
- Créez un index de recherche pour ancrer les réponses LLM (RAG).
- Collectez des données en temps réel pour les invites qui exigent de la fraîcheur.
Mais actuellement, tous les grands développeurs d’IA travaillent sur des agents qui naviguent sur le Web et agissent pour les utilisateurs :
- Claude a été le premier avec sa fonctionnalité « Utilisation de l'ordinateur » : « Les développeurs peuvent demander à Claude d'utiliser les ordinateurs comme les gens le font : en regardant un écran, en déplaçant un curseur, en cliquant sur des boutons et en tapant du texte. »
- Jarvis de Google, « un compagnon utile qui surfe sur le Web pour vous », s'est lancé accidentellement momentanément sur la boutique Chrome.
- OpenAI fonctionne sur « Operator », également un agent qui agit à votre place.
Je vois trois résultats possibles :
- Les agents augmentent considérablement le trafic des robots sur le Web ouvert à mesure qu’ils explorent et visitent les sites Web.
- Les agents utilisent des API pour obtenir des informations.
- Les agents opèrent sur leur plateforme, ce qui signifie que l'opérateur utilise uniquement les données de ChatGPT au lieu de collecter les siennes.
Je pense qu’un mélange des trois est le plus probable, ce qui entraînerait une croissance significative du trafic de robots.
Si cela s’avère vrai, les entreprises créeront de plus en plus de versions distinctes de leur site pour les robots orientés vers la vitesse et les données structurées. « Concentrez-vous uniquement sur l'utilisateur » devient « concentrez-vous uniquement sur les agents ».
D'une certaine manière, ChatGPT Search est déjà un agent qui parcourt et organise le Web pour les humains. Mais si les agents tiennent leur promesse, vous pouvez vous attendre à bien plus.
Sam Altman, PDG d'OpenAI a déclaré dans sa récente AMA Reddit, « Je pense que ce qui semblera être la prochaine percée géante, ce seront les agents. »
Alors que les robots conquièrent le Web, que font les humains ?
Adoption d'Internet
Il est peu probable que les humains arrêtent complètement de naviguer sur le Web.
Même avec les réponses de l'IA dans la recherche et les fonctionnalités de recherche dans les chatbots IA, les humains veulent toujours vérifier les déclarations de l'IA, s'inspirer au hasard (sérendipité) ou chercher des réponses auprès d'autres humains (Reddit).
Mais le fait de naviguer pour effectuer une recherche se dissoudra probablement en invites si les robots deviennent assez bons.
Il existe une marge de croissance du trafic humain : 70 % de la population mondiale avait accès à Internet en 2023. Au rythme actuel (~7 % en glissement annuel), le monde entier aurait accès à Internet d'ici 2030.
Cependant, malgré l’adoption croissante d’Internet, le trafic humain est resté stable au cours des trois dernières années (voir les statistiques Cloudflare). Les robots d’exploration IA se développent beaucoup plus rapidement (18 %) et les agents pourraient l’accélérer encore davantage.
Les requêtes humaines sur Wikipédia, le plus grand site du Web, stagnent depuis 2019.
La raison en est que l’attention humaine se tourne vers les plateformes sociales, en particulier pour les jeunes générations. Alors que les robots envahissent le Web ouvert, les humains fuient vers des retraites d'engagement.
Commercialisation
Dans un avenir lointain, les bons robots pourraient devenir des citoyens égaux dans la nation du Web ouvert, à mesure que de plus en plus d’humains passent du temps sur des plateformes sociales fermées et que les LLM agents augmentent la croissance déjà rapide du trafic des robots. Si cette théorie se vérifie, qu’est-ce que cela signifie pour le marketing et plus particulièrement pour le référencement ?
Imaginez réserver un voyage. Au lieu de naviguer sur Google ou Booking, vous dites à votre agent où vous envisagez d'aller et quand.
En fonction de ce qu'il sait de vos préférences, votre agent sélectionne trois options de vols et d'hôtels à partir de la plateforme de votre choix.
Lorsque vous choisissez un vol, il est ajouté à votre calendrier et les billets sont dans votre boîte de réception. Vous n'avez pas besoin de passer à la caisse. L'agent fait tout pour vous. Vous pouvez appliquer le même scénario au commerce électronique ou aux logiciels.
Étant donné que des entreprises comme Google ont déjà les capacités nécessaires pour construire cela aujourd'hui, il convient de réfléchir à ce qui resterait constant, à ce qui changerait et à ce qui deviendrait de plus en moins important dans cette vision.
Constante
Les robots n'ont pas besoin d'images CSS ou de héros. Il n'y a aucun inconvénient à masquer votre site pour les robots d'exploration LLM, il est donc possible que les sites Web montrent aux robots une version simple.
Un ensemble de compétences qui reste constant dans cet avenir est le référencement technique : capacité d'exploration, vitesse (du serveur), liens internes et données structurées.
Changement
Un Web ouvert et agentique offre de bien meilleures capacités de ciblage publicitaire puisque les robots connaissent parfaitement leurs propriétaires.
Les humains prendront des décisions d’achat beaucoup plus rapidement puisque leurs agents leur fourniront toutes les informations dont ils ont besoin et connaîtront leurs préférences.
Les coûts de publicité diminuent considérablement et offrent des rendements encore plus élevés qu'aujourd'hui.
Puisque les robots peuvent tout traduire en quelques secondes, la localisation et les ventes internationales ne sont plus un problème. Les humains peuvent acheter à n’importe qui, n’importe où – uniquement sous les contraintes d’expédition et d’inventaire. L’économie mondiale s’ouvre encore plus.
Si nous jouons bien les choses, les agents pourraient être les ultimes gardiens de la vie privée : personne ne possède autant de données sur vous qu’eux, mais vous pouvez contrôler la quantité qu’ils partagent.
Les agents vous connaissent mais n'ont pas besoin de partager ces informations avec d'autres. Nous pourrions partager encore plus de données avec eux, en faisant tourner le volant de valeur données → compréhension → résultats → données → valeur → résultats → etc.
En revanche, nous devons construire des défenses contre les robots malveillants en redéfinissant ce que les robots sont autorisés à faire dans un format de type robots.txt 2.0. La cybersécurité est devenue encore plus importante, mais aussi plus complexe, car les mauvais robots peuvent bien mieux imiter les bons.
Nous devrons déterminer l’impact environnemental d’une consommation d’énergie accrue due à un trafic de robots plus élevé.
Espérons que les robots seront plus efficaces et, par conséquent, généreront moins de trafic Web total que les humains. Cela compenserait au moins quelque peu la gorge d’énergie que les LLM provoquent déjà.
Important
Le format d'information le plus convivial pour les robots est brut et structuré : flux XML, RSS et API. Nous avons déjà envoyé des flux de produits et des plans de site XML à Google, mais les agents en voudront davantage.
La conception Web sera moins importante à l’avenir, et ce n’est peut-être pas grave puisque la plupart des sites se ressemblent de toute façon.
La conception des flux devient plus importante : quelles informations inclure dans les flux, combien, à quelle fréquence les mettre à jour et quelles requêtes renvoyer aux robots.
Les spécialistes du marketing passeront beaucoup plus de temps à analyser à quoi ressemblent les conversations avec les chatbots. Les robots seront probablement une boîte noire comme l'algorithme de Google, mais la publicité pourrait mettre en lumière ce que les gens demandent le plus.
Relations
Dans le futur agent, il est difficile d’amener les clients à changer une fois qu’ils ont choisi une marque qu’ils aiment jusqu’à ce qu’ils aient une mauvaise expérience.
En conséquence, un levier marketing important consistera à inciter les clients à essayer votre marque avec des campagnes telles que des remises et des offres exclusives.
Une fois que vous êtes convaincu et signalez que votre produit est meilleur, la quête consiste à persuader les utilisateurs de l'essayer. Évidemment, cela fonctionne déjà aujourd’hui.
Avec autant d’opportunités de faire de la publicité et d’orienter les utilisateurs vers un produit spécifique de manière organique avant de l’acheter, nous avons beaucoup plus d’influence sur l’achat.
Mais à l’avenir, ce sont les agents qui pourraient faire ces choix à la place des utilisateurs. Les spécialistes du marketing consacreront plus de temps à l'établissement de relations, à la notoriété de la marque et à l'influence des facteurs marketing traditionnels tels que les prix, la distribution (expédition) et la différenciation.
Rapport 2024 sur les robots malveillants
Radar Cloudflare : tendances du trafic
Les robots représentent 42 % du trafic Web global ; Près des deux tiers sont malveillants
Radar Cloudflare : Explorateur de données
Présentation de l'utilisation de l'ordinateur, d'un nouveau Sonnet Claude 3.5 et d'un Haiku Claude 3.5
L'existence de l'extension Jarvis AI de Google a été divulguée sur le Chrome Store
OpenAI s'approche du lancement de l'outil AI Agent pour automatiser les tâches des utilisateurs
Analyse des vues du site
