Google a publié un document de recherche sur la détection du spam qui imite un examen manuel humain qui détecte le contenu qui viole « l’esprit » des violations des politiques et des directives de la plateforme. Le système s’appelle Scaled Abuse Forensics Examiner (SAFE) et il est expressément conçu pour identifier le contenu généré par l’IA.
Google se concentre sur l’IA Slop
Il s’agit du deuxième système de Google identifié en 2026 et conçu pour détecter le spam généré par l’IA. Le système précédemment identifié est appelé Scalable Cluster Termination System (S-CTS). Le fait que Google consacre des ressources à la détection des déchets de l’IA montre que Google est préoccupé par le contenu du spam de l’IA. Ces systèmes pourraient être un composant de la mise à jour du spam de septembre.
L’IA permet aux réseaux abusifs de produire en masse du contenu synthétique tout en le peaufinant systématiquement pour échapper aux systèmes de détection traditionnels. Les humains peuvent trouver des réseaux de spam coordonnés en examinant les relations, les comportements, le contenu et même en effectuant un zoom arrière pour examiner l’infrastructure, mais les inspections manuelles ne sont pas assez rapides pour rattraper l’ampleur massive des dégâts générés par l’IA.
Ce nouveau système est conçu pour combler cet écart. Le document de recherche est intitulé, L’écart synthétique : automatisation des enquêtes médico-légales sur les « IA Slop » avec les abus à grande échelle
Examinateur médico-légal (SAFE).
Le document de recherche explique :
« Les flux de travail médico-légaux traditionnels, qui reposent fortement sur la reconnaissance manuelle des formes et l’analyse des métadonnées, sont mal équipés pour gérer ce volume. Le « fossé synthétique » – le temps entre l’émergence d’un nouveau vecteur d’attaque génératif et le déploiement d’une contre-mesure reste une vulnérabilité critique. «
Identifie l’esprit des violations des politiques
Le journal indique que SAFE identifie les violations de « l’esprit de politique » principalement avec un LLM formé à quelques tirs. L’objectif de SAFE est de détecter le contenu qui peut ne pas correspondre à une règle existante ou à un modèle de violation connu, mais qui viole néanmoins l’intention de la politique ou des directives de la plateforme et peut passer inaperçu par les classificateurs traditionnels et les modèles de détection de violation affinés.
Le système SAFE a été déployé
Le document de recherche est très secret, ne fait que trois pages et mentionne avoir testé le système mais ne partage pas les résultats des tests. C’est très inhabituel et cela montre à quel point Google maintient le public dans l’ignorance de SAFE. Mais il indique que le système a été déployé.
Le document explique :
« Les premiers résultats de déploiement indiquent que SAFE accélère considérablement l’identification de nouvelles menaces synthétiques, réduisant ainsi le temps d’investigation médico-légale par rapport aux flux de travail impliquant un humain. »
Trois fondements techniques de SAFE
La section « contexte » du document de recherche SAFE décrit trois piliers du système, montrant pourquoi leur combinaison est utile pour une détection évolutive des abus synthétiques.
1. Détection du comportement inorganique
SAFE recherche un comportement coordonné différent de l’activité humaine normale. Il analyse les modèles, notamment le timing (rafales d’activité), l’infrastructure, le comportement de publication et d’autres signaux partagés, y compris les faux signaux de comportement des utilisateurs.
Cette partie du document explique :
« La prolifération des réseaux de robots et des campagnes contradictoires coordonnées nécessite des méthodes robustes pour identifier les modèles d’engagement non humains. »
2. Automatisation de la criminalistique avec des systèmes multi-agents
SAFE utilise des agents d’IA spécialisés pour diviser le travail médico-légal en tâches distinctes, avec un agent orchestrateur (agent racine) qui gère les autres agents et effectue l’appel final.
3. Compréhension du contenu basée sur le transformateur pour l’application des politiques
SAFE utilise des modèles basés sur des transformateurs pour analyser la signification et le contexte du contenu, y compris une analyse multimodale, et pour identifier l’esprit des violations des politiques.
SAFE utilise des agents d’IA spécialisés
Le document identifie quatre agents d’IA :
- Agent racine (l’orchestrateur)
- Agent de compréhension de contenu (détection d’artefacts synthétiques)
- Agent de compréhension du comportement (reconnaissance de formes inorganiques)
- Agent de compréhension du cluster de canaux
Agent racine (l’orchestrateur)
L’agent racine coordonne l’enquête. Il attribue des tâches aux agents spécialisés, examine leurs conclusions, puis utilise les preuves combinées de tous les agents pour parvenir à une conclusion finale.
Agent de compréhension de contenu (détection d’artefacts synthétiques)
Cet agent analyse le contenu à la recherche de signes d’abus générés par l’IA et de violations des règles. Il utilise des méthodes basées sur LLM pour détecter les violations connues, les formes d’abus émergentes, les modèles et les contenus susceptibles d’échapper aux classificateurs existants tout en violant l’esprit des politiques de la plateforme.
Agent de compréhension du comportement (reconnaissance de formes inorganiques)
Cet agent recherche un comportement qui ressemble à une coordination plutôt qu’à une activité humaine normale. Il examine les modèles d’infrastructure et de synchronisation sur tous les canaux, tels que les téléchargements synchronisés et la publication en rafale.
Agent de compréhension du cluster de canaux
L’agent Channel Cluster Understanding utilise un système de relations basé sur des graphiques pour identifier les connexions au sein des réseaux producteurs de spam. Il analyse la manière dont les producteurs de contenu peuvent faire partie d’un réseau en examinant l’infrastructure partagée pour cartographier le cluster plus large, aidant ainsi SAFE à identifier l’ensemble des opérations coordonnées plutôt que de traiter chaque nœud comme un cas isolé.
Emporter
Certains membres de la communauté SEO pensent que Google utilise la détection de contenu par l’IA pour identifier le spam. Ce document de recherche montre que ce que fait Google va bien au-delà. Google utilise des systèmes qui vont au-delà de la simple détection de contenu par l’IA et dispose désormais d’un système qui va au-delà des classificateurs traditionnels. SAFE se comporte comme une équipe d’enquête médico-légale humaine, utilisant des agents d’IA spécialisés pour analyser le contenu, le comportement, l’infrastructure et les relations entre les producteurs de contenu afin d’identifier les réseaux d’abus synthétiques.
