Le plus grand robot d’exploration d’IA présent sur mon site Web au cours de la dernière journée n’était pas un robot d’exploration d’IA. Il est arrivé environ 1 500 fois sous le nom de Common Crawl ; il n’a rien renvoyé et ce qu’il voulait, c’était mes clés SSH.
Je suis allé chercher à cause d’un numéro.
Le directeur financier de Cloudflare a déclaré aux analystes que le trafic des machines pourrait atteindre 1 000 fois le trafic humain
Le directeur financier de Cloudflare, Thomas Seifert, a déclaré aux analystes lors de la conférence téléphonique sur les résultats du deuxième trimestre de la société que « si les tendances actuelles se poursuivent, nous pensons que dans cinq ans, le trafic non humain sera jusqu’à 1 000 fois plus important que le trafic humain ». Ensuite, la phrase qui fera la une des journaux : « les humains seront une erreur d’arrondi sur Internet, non pas parce que le trafic humain diminue, mais c’est simplement à cause de la vitesse à laquelle nous voyons le trafic non humain augmenter. »
Deux choses qui méritent d’être dites avant que quiconque ne s’attaque aux fourches. Tout d’abord, Seifert a ajouté sa propre mise en garde, sans y être invité : « avec la grande mise en garde que j’ai qualifié cela de faux à chaque étape du processus. » Cloudflare s’attendait auparavant à ce que le trafic des machines dépasse le trafic humain en 2027, et cela s’est produit en mai 2026. Ses erreurs se sont poursuivies vers sousl’estimation, ce qui est l’argument le plus fort pour prendre la projection au sérieux.
Deuxièmement, la mesure sous-jacente est réelle. Le propre article de Cloudflare publié la même semaine indique que moins de la moitié de toutes les demandes de pages HTML proviennent désormais d’un être humain. Je n’ai aucun argument avec cela. Les visiteurs de la machine sont réels et constituent tout le sujet de ce site Web.
Le débat porte sur ce que compte le nombre.
À quoi ressemble une journée de trafic sur mon propre site Web
J’ai extrait la vue du robot d’exploration IA de Cloudflare pour nohacks.co pour les 24 heures se terminant dans la soirée du 7 août. Environ 3 000 demandes, dont environ un tiers ont échoué, un chiffre en hausse de plus de 1 000 % par rapport à la période précédente.
Par robot : CCBot 1 510. ChatGPT-User 375. ClaudeBot 296. Googlebot 245. PetalBot 107. Treize autres partageant 353 entre eux.
CCBot est le robot d’exploration de Common Crawl, l’archive Web à but non lucratif de longue date dont le corpus a formé une bonne partie des modèles sur lesquels tout le monde discute désormais. Sur le papier, le fait qu’il soit mon plus grand visiteur n’a rien de remarquable.
Ensuite, j’ai exporté les chemins.
Il m’a demandé mes clés SSH, pas mes articles
Voici les chemins les plus demandés dans le trafic du robot d’exploration IA, avec le nombre de demandes, exactement comme elles sont sorties de l’exportation :
/.ssh/known_hosts(42 demandes)/phpinfo.php(31 demandes)/.boto(30 demandes)/.env.production(29 demandes)/.vscode/launch.json(28 demandes)/.env.test(27 demandes)/firebase-service-account.json(26 demandes)/.gitconfig(24 demandes)/server/.env(24 demandes)
Cela continue ainsi sur cent chemins : /id_rsa, /id_ecdsa, /private-key, /ssl/localhost.key, /key.json, /serviceAccountKey.json, /.aws/config, /actuator/configprops, /api/v1/env, /Dockerfile, /values.yamlet /@fs/proc/self/environqui est une tentative de résolution d’un bogue de cheminement connu dans un serveur de développement.
Sur ces cent chemins : 1 028 demandes, 6,7 Mo transférés et zéro référence. Le nombre de requêtes sur tout ce que j’ai écrit est nul. Le plus proche de mon contenu était /blog/wp-login.phpune enquête de connexion WordPress destinée à un site Web qui n’a jamais exécuté WordPress, et deux demandes de /blog/null.
Ce dernier détail compte plus qu’il n’y paraît. Quoi qu’il en soit, il ne lit pas mes pages avant de demander des choses. Il fonctionne à travers une liste, la même liste sur laquelle il fonctionne partout, et mon site Web est une ligne en boucle.
Il s’agit d’un scanner d’informations d’identification. Common Crawl suit les liens et récupère les pages, et il n’a aucune raison de demander à un site Web de podcast sa clé de compte de service Firebase.
Je n’ai pas pu vérifier les adresses sources pour prouver l’usurpation d’identité, car les données IP par requête ne sont pas accessibles avec mon forfait. Common Crawl publie le test : le véritable trafic CCBot provient de blocs d’adresses documentés et effectue une résolution inverse en noms d’hôtes se terminant par crawl.commoncrawl.org. Quelqu’un avec ces journaux peut régler le problème en une minute. Ce que je peux dire, c’est ce qui est arrivé, ce qui a été demandé et comment cela a été étiqueté : le tableau de bord IA de Cloudflare attribue cela à Common Crawl en tant qu’opérateur et compte chaque demande dans les totaux de mon robot d’exploration IA.
Ce qui m’amène à la partie qui me perturbe le plus. J’ai cherché ces requêtes dans mes événements de sécurité et je n’ai rien trouvé du tout, car le journal de sécurité n’enregistre que les requêtes qui déclenchent une règle. Je ne bloque pas ce trafic, donc il passe, est servi et ne laisse aucune trace. Il apparaît exactement à un seul endroit sur l’ensemble de mon tableau de bord : la vue du robot d’exploration de l’IA, située dans la liste à côté de ChatGPT-User et Googlebot, sous le nom d’une archive de recherche à but non lucratif. Un scanner d’informations d’identification est pour moi entièrement lisible en tant que trafic d’agent et complètement invisible en tant qu’événement de sécurité.
2 de ces chemins sont nouveaux et ce sont ceux auxquels je continue de penser
Enfouis dans cette liste se trouvent /.mcp.jsondemandé 30 fois, et /.continue/config.jsondemandé le 24.
Ces deux éléments constituent la configuration des outils d’agent : une définition de serveur MCP et un fichier de paramètres d’assistant de codage. Les deux détiennent régulièrement des clés API et des jetons d’accès, car c’est ce que vous y mettez pour permettre à un agent d’accéder à vos services.
Quelqu’un a ajouté les informations d’identification de l’agent à la liste de mots standard d’analyse des secrets. Le même balayage automatisé qui demande à tous les sites Web sur Internet /.env puisque à peu près pour toujours, il demande également le fichier qui répertorie les outils que vos agents peuvent appeler et avec lesquels ils s’authentifient. Personne ne l’a annoncé, et c’est arrivé très vite. Si vous exécutez quelque chose d’agent, la liste de mots arrive avant que la plupart des gens aient fini d’écrire leur premier serveur MCP.
Cloudflare a publié la correction elle-même, la même semaine
Le contrepoids le plus puissant à la définition des résultats se trouve dans les propres écrits techniques de Cloudflare de la même semaine.
Leur article sur Internet agent indique qu’une grande partie du trafic provenant de robots bien élevés récupère des pages qui n’ont pas changé, et que cela génère des milliards de requêtes. Selon eux, « une énorme quantité d’efforts machine, sans aucun résultat ».
L’effort et la demande de la machine sont des quantités différentes. Mes propres journaux sont une version plus précise du même point que ce à quoi je m’attendais : le plus grand contributeur au trafic de ma machine n’était pas seulement inutile, il était hostile, et il comptait toujours.
Méta-explorer votre site Web et ne jamais rien renvoyer est la définition d’un trafic inutile si vous êtes la personne propriétaire du site Web. J’ai écrit à propos de cette scission le 1er août. Un scanner portant le nom d’un robot de recherche alors qu’il recherche vos informations d’identification cloud est une catégorie en dessous, et les deux atterrissent dans la même barre sur le même graphique.
Ainsi, lorsque le graphique grimpe, la question pour un propriétaire de site Web est de savoir quel est réellement le trafic.
Aidez à créer le problème, à commercialiser le problème, à vendre la solution
Il est clair que Cloudflare se positionne ici, et il convient de le signaler. Aidez à créer le problème, commercialisez le problème, vendez les solutions. Rien que pour la première semaine d’août : une projection du trafic des robots lors de l’appel aux résultats, un article de blog quantifiant la part du Web qui n’est plus humaine, un scanner de préparation des agents pour vous indiquer que vous n’êtes pas prêt, un produit de visibilité IA pour vous évaluer, un pont pour exposer les outils de votre site Web aux agents et une valeur par défaut qui commence à bloquer certains de ces agents en septembre, sauf si vous en décidez autrement.
Chacun de ces produits est une réponse raisonnable à quelque chose de réel. C’est ce qui fait que cette tendance mérite d’être remarquée plutôt que d’être rejetée. L’entreprise qui mesure le problème, cerne le problème et vend le correctif est une seule entreprise, et elle possède désormais à la fois le compteur et la vanne.
Je veux être prudent ici, car j’ai soutenu une grande partie de ce que Cloudflare a fait. Le paiement par exploration était la bonne idée. Content Independence Day était la bonne idée. Donner aux propriétaires de sites Web un véritable choix quant aux machines à installer vaut mieux que le tribunal décide à leur place, et c’est ce que j’ai soutenu lorsque le neuvième circuit a abordé cette question le 4 août.
Tout cela peut être vrai à la fois. Cloudflare peut faire de bonnes choses, des choses directionnelles bonnes et des choses qui semblent sommaires, en même temps. La plupart des entreprises le peuvent. L’erreur est de décider qu’ils sont les bons ou les méchants, puis de lire tout ce qu’ils font à travers cela.
Allez consulter vos propres journaux
Prenez les chiffres du trafic au sérieux et prenez le cadrage avec le sel qu’il mérite. Les machines représentent la majorité des demandes. Cela se mesure et c’est vrai.
Ensuite, ouvrez vos propres analyses de robot et lisez les chemins, pas les totaux. Le mien m’a dit trois choses que je ne savais pas ce matin : que mon plus grand robot d’exploration d’IA était un scanner, qu’il brûlait des mégaoctets de ma bande passante pour rien et que la liste de mots à partir de laquelle il fonctionne inclut les fichiers de configuration dans lesquels il pense que mes outils d’agent résident.
Aucun de ces détails n’est prévu par quiconque. Le volume est. Quinze cents d’entre eux sont arrivés sur un petit site Web en une seule journée, chacun d’entre eux comptant parmi les mille pour un que Seifert a décrit aux analystes, et aucun d’entre eux ne voulait rien de ce que j’écrivais.
Plus de ressources :
Cet article a été initialement publié sur No Hacks.
