Bienvenue dans Pulse : cette semaine, nous examinons comment utiliser un 503 pendant une brève interruption du correctif PHP, ce que robots.txt contrôle pour les robots d’exploration et les agents IA, et comment Google gère les URL entre crochets et les images JPEG XL.
Voici ce qui compte pour vous et votre travail.
Google dit de servir un 503 lors de la suppression de sites pour les correctifs PHP
Dans une publication LinkedIn du 21 octobre, Google Search Central a rappelé à toute personne mettant les serveurs hors ligne pour les correctifs PHP de renvoyer un code d’état 503. Le message a été publié le jour où PHP a publié des correctifs d’urgence pour deux failles critiques.
Faits marquants :
Le message indiquait que le 503 « garantit que les URL déjà indexées sont préservées dans la recherche pendant que vous travaillez » et notait qu’il fallait éviter les pages d’erreur générales 404 ou 200, et John Mueller de Google a également partagé un rappel sur Bluesky disant que le 503 n’a pas besoin d’être servi via PHP. Dans sa documentation sur le taux d’exploration, Google conseille aux utilisateurs de limiter la diffusion des codes d’état 503 à 1 à 2 jours maximum, car ils peuvent supprimer une URL de leur index si elle renvoie un 503 pendant plusieurs jours.
Pourquoi c’est important
Si votre site renvoie une erreur 503 en raison d’un temps d’arrêt causé par un correctif PHP, elle devra être déclenchée via une entité qui reste disponible (c’est-à-dire pendant la durée d’indisponibilité de votre PHP), par exemple une règle de routage CDN ou un serveur temporaire vers lequel pointe votre DNS. Selon le guide de Google sur la mise en pause d’un site, si vous déclenchez un 503 en réponse aux requêtes robots.txt, toute exploration est bloquée.
Lisez notre couverture complète : Google rappelle aux sites de servir un 503 pendant le temps d’arrêt du correctif PHP
Illyes déclare que les règles standard de Robots.txt couvrent l’exploration, pas une utilisation ultérieure
Gary Illyes de Google a déclaré dans une vidéo de Search Central du 21 octobre que, selon la RFC 9309, les directives robots.txt standard (règles robots.txt) dictent uniquement ce que les robots d’exploration conformes sont autorisés à explorer. Ces directives ne contrôlent pas la manière dont les systèmes utilisent le contenu après son analyse.
Faits marquants :
Illyes a qualifié robots.txt de « protocole de préférence d’accès » et a déclaré que garder un robot d’IA à l’écart tout en autorisant les autres signifie cibler le jeton d’agent utilisateur de ce robot. La liste des robots d’exploration courants de Google documente Google-Extended comme jeton permettant de gérer si le contenu analysé par Google peut être utilisé pour former les futurs modèles Gemini et pour la mise à la terre dans les applications Gemini et sur Vertex AI, et indique que le jeton n’affecte pas l’inclusion dans la recherche Google. Google-Extended n’est pas un robot d’exploration distinct et ne possède pas sa propre chaîne d’agent utilisateur HTTP. Un projet qu’Illyes a co-écrit pour l’Internet Engineering Task Force ajouterait une règle d’utilisation du contenu au robots.txt pour indiquer les préférences d’utilisation, mais il s’agit toujours d’un document de groupe de travail et n’a pas été approuvé.
Pourquoi c’est important
Une règle d’interdiction sous le jeton d’un robot d’exploration peut aider à éloigner ce robot des chemins répertoriés. Pour limiter la façon dont Google utilise le contenu analysé pour Gemini, vous pouvez utiliser Google-Extended. Une manière standard d’exprimer une préférence d’entraînement séparément de l’accès à l’exploration est disponible uniquement sous forme de brouillon.
Lisez notre couverture complète : Illyes de Google : Robots.txt couvre l’exploration, pas la formation sur l’IA
Cloudflare et OpenAI disent qu’un pilote a trouvé de nouvelles pages pour la recherche ChatGPT
Cloudflare et OpenAI affirment qu’un projet pilote de recherche a aidé OpenAI à découvrir et à indexer des centaines de millions de nouvelles pages Web, donnant à ChatGPT encore plus d’informations sur lesquelles s’appuyer.
Faits marquants :
Le pilote a fait appel à un groupe participant représentant environ 1 % du réseau Cloudflare via des signaux qui aident le robot d’exploration OpenAI à identifier les pages ; contourner les pages inexistantes et indiquer si une page est mise à jour. Le billet de blog du 15 octobre (co-écrit par deux employés d’OpenAI) indique que la recherche de nouvelles pages « peut initialement augmenter l’exploration » et ne précise pas la fréquence à laquelle ces pages nouvellement identifiées sont citées, ni ne fournit de données sur le nombre de visites générées à partir des pages. De plus, le message indiquait : « Un signal concernant une page n’accorde pas l’autorisation d’y accéder. »
Pourquoi c’est important
La documentation du robot d’exploration d’OpenAI est divisée entre recherche et formation. Un site Web peut utiliser des entrées robots.txt telles que Allow for OAI-SearchBot et Disallow for GPTBot pour indiquer au robot d’exploration que son contenu ne doit pas être utilisé à des fins de formation. Étant donné qu’OpenAI classe les pages de manière autonome, indique l’article, ce n’est pas parce que votre site Web a été trouvé via le pilote que vous obtiendrez une citation.
Lisez notre couverture complète : La recherche ChatGPT peut s’appuyer sur plus de pages après un pilote Cloudflare
Les parenthèses brutes et codées sont des URL différentes, dit Mueller
Les crochets dans une URL et leurs formes codées en pourcentage, %5B et %5D, créent des URL différentes, a déclaré John Mueller de Google sur Bluesky le 19 octobre. Il a ajouté qu’il aurait supposé qu’ils étaient équivalents et « a probablement donné aux gens la mauvaise réponse à ce sujet dans le passé ».
Faits marquants :
Mueller a fait référence à la RFC 3986 (la norme de syntaxe URI, qui réserve les crochets et les signes plus) et a noté que si un site renvoyait le même contenu en réponse à l’une ou l’autre version du format d’URL, Mueller a déclaré que Google explorerait chacune d’entre elles et éliminerait les doublons, puis en sélectionnerait une. Mueller a proposé une solution en indiquant « choisissez-en une » et a recommandé de l’utiliser de manière cohérente sur toutes les pages, y compris les liens, les balises canoniques, les entrées du plan du site et les données structurées. Ceci est cohérent avec la documentation existante de Google sur la structure des URL, qui indique que les caractères réservés doivent être codés en pourcentage.
Pourquoi c’est important
Lorsque les liens et les balises canoniques mélangent des formes brutes et codées, Google devra peut-être décider quelle version conserver. Si votre site existant utilise des parenthèses brutes partout, Mueller a déclaré qu’il s’attendrait à ce qu’il continue à fonctionner, même s’il « ne créerait pas un nouveau site comme celui-ci ».
Lisez notre couverture complète : Google explore séparément les URL entre supports brutes et codées
JPEG XL n’est pas pris en charge dans Google Images ou Discover Previews
Les images JPEG XL ne sont actuellement pas prises en charge dans Google Images ou en tant qu’aperçus dans Discover, comme l’a partagé John Mueller de Google sur Bluesky le 15 octobre.
Faits marquants :
Son message fait suite à la prise en charge de JPEG XL dans Chrome 155, que Google a commencé à déployer largement le 6 octobre, et dans Firefox 158 le 13 octobre. La documentation de référencement des images de Google répertorie BMP, GIF, JPEG, PNG, WebP, SVG et AVIF comme formats pris en charge pour les images dans l’attribut src d’un élément img, et n’incluait pas JPEG XL à partir du 22 octobre. élément, « donc cela fonctionnerait pour n’importe quel moteur de recherche. »
Pourquoi c’est important
Servir JPEG XL comme source d’image, avec un fichier JPEG, WebP ou AVIF dans l’élément img, conserve un format pris en charge dans l’attribut src, où la documentation de Google indique que la recherche lit les images. Le guide Discover de Google pointe vers les balises og:image et schema.org pour les images d’aperçu, celles-ci doivent donc également pointer vers l’un des formats répertoriés.
Lisez notre couverture complète : Google Images et Discover Previews ne prennent pas en charge JPEG XL
Pichai s’attend à ce que les agents d’IA atteignent les sites en naviguant et via des protocoles
Dans une interview avec Alex Heath sur le podcast Sources, le PDG de Google, Sundar Pichai, a déclaré qu’il s’attend à ce que les agents d’IA accèdent aux sites Web à la fois en parcourant les pages comme le font les gens et via des protocoles conçus spécifiquement pour les agents.
Faits marquants :
« Je pense qu’il y a deux possibilités et elles vont se développer », a déclaré Pichai. Il a souligné l’élan derrière les protocoles d’agent et de paiement, y compris le protocole de commerce universel soutenu par Google. Il a qualifié les protocoles de « approche beaucoup plus évolutive », mais a déclaré qu’il s’attend à ce qu’ils prennent plus de temps à se développer. Plus tard dans l’interview, il a déclaré qu’il s’attendait à ce que les agents offrent une expérience unificatrice dans Search et Gemini.
Pourquoi c’est important
Selon Pichai, les agents qui parcourent les pages de la même manière que les gens restent au courant pendant que les protocoles se développent. Les propres agents hébergés de Google naviguent en tant qu’agent Google, l’un des récupérateurs déclenchés par l’utilisateur qui, selon Google, ignore généralement les règles robots.txt.
Lisez notre couverture complète : Pichai déclare que les agents d’IA cliqueront sur les pages et utiliseront des protocoles et le PDG de Google, Sundar Pichai, estime que la recherche est absorbée dans la couche agentique.
Thème de la semaine : ce que chaque signal atteint
Chacune des histoires de cette semaine concerne un signal que les robots d’exploration et les agents reçoivent concernant un site Web et l’endroit où ils sont autorisés à y accéder. Un 503 signale à Google que la panne n’est que temporaire (dans le délai recommandé pour les pannes dans la documentation de Google). Une directive d’exploration non autorisée empêche les robots d’exploration conformes d’explorer le contenu de vos pages, mais la façon dont elle est utilisée ultérieurement dépend de contrôles tels que Google-Extended et GPTBot. Cependant, un signal de découverte Cloudflare ne donne pas à OpenAI l’autorisation d’accéder à votre page Web. Le fait que Google affiche votre page à une ou deux URL dépend du fait que vous mélangez des parenthèses brutes et codées. Actuellement, un fichier image JPEG XL contenu dans l’élément img ne peut pas être visualisé par Google Images. Les agents qui récupèrent en fonction des entrées de l’utilisateur se situent dans une zone partiellement en dehors du robots.txt tel que défini par Google concernant ses récupérateurs déclenchés par l’utilisateur. Les journaux du serveur suivent les robots qui ont adressé des requêtes à votre serveur ; cependant, les robots d’exploration spécifiques et les contrôles qui régissent l’exploration et l’utilisation ultérieure sont expliqués dans la documentation de chaque entreprise respective.
Top des histoires de la semaine :
Plus de ressources :
