Des chercheurs de Google ont publié un nouvel article détaillant une nouvelle façon d’attraper les spammeurs qui utilisent l’IA générative pour inonder la plate-forme de Google de spam et submerger ses filtres de qualité. Bien que la recherche se concentre sur l’identification du spam lié au contenu vidéo, les techniques décrites pourraient donner une idée des méthodes que Google pourrait utiliser pour lutter contre le spam lié au contenu Web. En fait, le document de recherche traite d’un système d’identification d’IA générative basé sur du texte.
Le nouveau système est considéré comme une « défense très précise » contre le spam génératif coordonné de l’IA, ce qui signifie que quelque chose comme celui-ci pourrait éventuellement être utilisé. Le nouveau système s’appelle Scalable Cluster Termination System (S-CTS) et le document de recherche, Détection évolutive des dérives synthétiques contradictoires et des abus médiatiques coordonnés : un système de défense multimodal compatible LoRA.
Ce système peut-il être utilisé pour le spam textuel généré par l’IA ?
Le système réussit car il recherche la structure organisationnelle d’une attaque, qui consiste en la réutilisation massive d’un modèle narratif sémantique spécifique au lieu d’évaluer des vidéos isolées une par une.
Le document de recherche décrit également l’utilisation d’intégrations de texte, de termes saillants et de modèles de récits dans le cadre de leur classificateur de contenu. Si un pourcentage élevé de comptes dans un cluster d’infrastructure sont identifiés comme utilisant les mêmes modèles de texte/média générés par l’IA, l’ensemble du cluster est terminé.
S’adapter rapidement aux nouveaux types de spam IA
Le document indique que lorsque les attaquants adoptent de nouveaux modèles génératifs, Google peut adapter son système de détection de spam synthétique plus rapidement en utilisant l’adaptation de bas rang (LoRA) et l’optimisation automatique des invites (APO) au lieu de recycler un modèle d’IA massif.
Ils écrivent :
« Le classificateur Stage 2 est spécialisé dans la détection de tendances synthétiques à l’aide de techniques de réglage fin efficace des paramètres (PEFT), en particulier l’adaptation de bas rang (LoRA) et l’optimisation automatique des invites (APO).
…Cette approche permet l’adaptation efficace du grand LLM propriétaire (par exemple, Gemini 2.0 Flash) sans le coût de calcul prohibitif d’un réglage fin complet. Plus précisément, LoRA réduit considérablement le nombre de paramètres pouvant être entraînés et diminue considérablement l’empreinte mémoire, permettant une exécution rapide et rentable et une inférence parallélisée sur une infrastructure TPU évolutive.
…APO nous permet de concevoir des invites qui s’adaptent aux nouvelles tendances « Slop » plus rapidement que le recyclage d’un modèle dense. Nous pouvons recycler rapidement un adaptateur LoRA lorsqu’un nouveau modèle GenAI (comme Sora ou Kling) est publié par des attaquants.
Phrase-BERT (S-BERT) pour identifier le texte généré par l’IA
Ce qui sera probablement le plus intéressant est que les chercheurs reconnaissent l’utilisation de Sentence-BERT (SBERT) comme moyen d’identifier des phrases sémantiquement similaires.
Ils citent Sentence-BERT pour valider une hypothèse fondamentale de leur article : ce texte automatisé généré par l’IA laisse une empreinte mathématique distincte (« incorporations de texte ») qui peut être détectée.
Ils s’écartent ensuite de S-BERT pour souligner pourquoi leur système (S-CTS) constitue une avancée : parce qu’il ne s’arrête pas à la correspondance d’intégration de texte. Il évolue vers une architecture LLM multimodale en deux étapes qui évalue ces modèles de texte ainsi que les données du réseau de robots au niveau de l’infrastructure.
Les chercheurs écrivent :
« Pour le contenu textuel, des méthodes telles que l’intégration de texte générées par des modèles tels que Sentence-BERT sont utilisées pour détecter les récits scriptés de l’IA. Pour le multimédia, les techniques traditionnelles incluent le hachage perceptuel. Cependant, l’IA générative présente des défis uniques ; notre système utilise des algorithmes propriétaires qui analysent à la fois le contenu textuel et multimédia pour identifier les « artefacts génératifs » – des marqueurs subtils de la production synthétique partagée entre les canaux. «
Il y a un autre document de recherche sur Sentence-BERT (PDF) et voici comment ils en expliquent les avantages :
« Dans cette publication, nous présentons Sentence-BERT (SBERT), une modification du réseau BERT pré-entraîné qui utilise des structures de réseau siamois et triplet pour dériver des intégrations de phrases sémantiquement significatives qui peuvent être comparées en utilisant la similarité cosinus. Cela réduit l’effort pour trouver la paire la plus similaire de 65 heures avec BERT / RoBERTa à environ 5 secondes avec SBERT, tout en conservant la précision de BERT.
Nous évaluons SBERT et SRoBERTa sur des tâches STS courantes et des tâches d’apprentissage par transfert, où ils surpassent les autres méthodes d’intégration de phrases de pointe.
Pour le référencement, la mention de S-BERT pour identifier le spam textuel génératif de l’IA est très intéressante car ce n’est pas quelque chose que l’industrie du référencement connaît vraiment. Cela élargit nos connaissances sur les types d’algorithmes utilisés pour identifier le spam génératif basé sur du texte.
Voici maintenant la partie intéressante : S-BERT existe depuis sept ans, et l’industrie du référencement ne le savait pas vraiment comme quelque chose qui pouvait être utilisé pour identifier le spam textuel. Cela ne veut pas dire que Google l’utilise depuis sept ans. Étant donné que l’IA générative n’est largement disponible que depuis quelques années, il se pourrait que Sentence-BERT n’ait été utilisé que récemment par des moteurs de recherche comme Google pour détecter le spam textuel généré par l’IA.
Problème en cours de résolution
Les chercheurs identifient trois raisons pour lesquelles le spam génératif de l’IA est hors de contrôle et écrasant les méthodes actuelles de détection des contenus de mauvaise qualité.
- Le problème du contenu généré par l’IA de mauvaise qualité est devenu un « défi exponentiel » pour la détection et la capture.
- Le document admet les limites des stratégies d’atténuation actuelles.
- Se concentrer sur la détection du spam généré par l’IA au niveau du contenu échoue de plus en plus en raison de l’échelle conçue pour « submerger les filtres de qualité ».
Les chercheurs expliquent :
« Les plateformes de vidéo en ligne sont confrontées à un défi exponentiel pour détecter et atténuer le flot de « slops » générés par l’IA et de spams synthétiques perpétués par des acteurs malveillants coordonnés.
Ce contenu est de plus en plus conçu pour exploiter les limites de l’analyse médico-légale traditionnelle, en utilisant souvent l’IA générative pour produire à grande échelle des variations uniques et localisées de contenus nuisibles ou de mauvaise qualité.
La modération traditionnelle centrée sur le contenu échoue face à cette stratégie de génération coordonnée et contradictoire.
Cette expression « variations localisées » est intéressante car elle fait référence à la création « d’empreintes digitales uniques pour un contenu fonctionnellement identique ».
Le document de recherche utilise des expressions telles que :
- « variations uniques et localisées »
- « contenu fonctionnellement identique »
- « variations infinies et uniques de spam fonctionnellement identiques »
Il ne s’agit pas simplement d’apporter de petites modifications au contenu ici et là. Ils parlent de spammeurs déployant un contenu infiniment unique et « fonctionnellement identique » comme moyen de contourner les stratégies traditionnelles d’analyse et d’atténuation du contenu. C’est précisément pourquoi ils effectuent un zoom arrière pour examiner des groupes de comptes afin d’identifier les empreintes digitales réelles des spammeurs ou leur automatisation.
Le document de recherche se concentre sur l’identification du spam vidéo généré par l’IA, mais il soulève la question suivante : peut-on utiliser quelque chose comme celui-ci pour identifier le spam textuel généré par l’IA ? C’est certainement quelque chose à considérer.
Comment AI-Slop peut battre les filtres de qualité
Un fait intéressant partagé par les chercheurs est que les résidus d’IA générés à grande échelle peuvent submerger les filtres de qualité. Les chercheurs soulignent également que les spammeurs utilisent « l’adaptation contradictoire » pour contourner les filtres de qualité. L’adaptation contradictoire signifie mettre continuellement à jour leur spam pour identifier les modèles qui lui permettent de se glisser sous le « seuil de violation » d’une plateforme.
La solution
Les chercheurs proposent un système qui effectue un zoom arrière sur l’identification des incidents individuels de spam afin de se concentrer sur la détection de groupes de spam signalant une origine commune.
Les chercheurs écrivent :
« Cet article présente un nouveau système de défense évolutif conçu pour les plateformes vidéo en ligne (OVP) afin d’identifier et de mettre fin aux groupes de comptes coordonnés présentant une prédominance de contenu synthétique contradictoire. »
Et pour ce faire, ils examinent les choses sous deux points de vue :
- Le composant de modèle de contenu
Il s’agit d’un composant d’apprentissage automatique qui recherche « les récits répétitifs et basés sur des modèles courants dans les « slops » générés par l’IA et les « scripts générés par l’IA » (c’est-à-dire texte/dialogue). Ils examinent spécifiquement l’échelle en identifiant « les comportements de publication non humains et à haute fréquence caractéristiques des scripts automatisés ». - La composante infrastructure
Celui-ci utilise les algorithmes de Google pour analyser les « signaux d’infrastructure propriétaires » afin d’identifier des groupes de comptes statistiquement susceptibles de provenir de la même organisation ou du même script de logiciel d’automatisation.
Détails du système de terminaison de cluster évolutif (S-CTS)
Au lieu d’examiner une seule vidéo suspecte de manière isolée, le système utilise une approche d’apprentissage automatique à deux volets pour repérer des réseaux entiers de comptes automatisés (« bot-nets ») qui inondent la plateforme de spam de mauvaise qualité généré par l’IA. Ainsi, l’objectif passe de l’identification de cas individuels de spam à l’identification de plusieurs comptes distincts appartenant aux mêmes spammeurs ou scripts logiciels automatisés.
Le système examine les « signaux au niveau de l’infrastructure et les modèles de comportement inorganiques » pour regrouper les comptes associés en « clusters de génération ». Les clusters de génération sont des groupes de comptes susceptibles d’utiliser la même API ou le même script.
Le document explique :
« L’approche s’appuie sur une architecture à multiples facettes intégrant deux composants centraux d’apprentissage automatique :
un détecteur de bot-net coordonné robuste (via la relation avec le compte)
et un classificateur de modèles synthétiques.
Surtout, nous introduisons une couche d’amélioration avancée de l’IA utilisant des modèles de langage étendus (LLM), spécialisés via l’adaptation de bas rang (LoRA) et l’optimisation automatique des invites (APO), pour obtenir une compréhension sémantique rapide et de haute précision des tendances émergentes en matière de spam synthétique.
Le S-CTS fonctionne-t-il ?
Oui, leurs données de test montrent que le système a un « impact significatif » en interceptant des « clusters » de spam avec un haut niveau d’exactitude (précision).
Ils écrivent :
« Les données de test démontrent l’impact significatif du système, aboutissant à la terminaison réussie de clusters avec une haute précision comprenant des canaux de générateurs de spam synthétiques.
De plus, l’automatisation basée sur LLM améliore considérablement l’efficacité opérationnelle, ce qui se traduit par des gains significatifs en matière d’efficacité des examens humains. Ce travail détaille une conception de système critique qui offre une évolutivité essentielle et une résilience adverse contre les attaques génératives sophistiquées.
Points à retenir
Certains des faits intéressants de ce document de recherche sont :
- Les filtres de qualité peuvent être submergés par un flot de spam.
- Sentence-BERT est cité comme étant utilisé pour détecter le spam généré par l’IA.
- Le système de terminaison de cluster évolutif est une approche unique pour identifier le spam au niveau du cluster.
- Google peut s’adapter rapidement au spam généré par l’IA grâce à l’adaptation de bas rang (LoRA) et à l’optimisation automatique des invites (APO).
Cette recherche, Scalable Detection of Adversarial Synthetic Slop and Cooperative Media Abuse: A LoRA-Enabled Multimodal Defense System, (PDF) montre la variété de techniques décrites par Google pour identifier le spam généré par l’IA, y compris le spam texte et vidéo.
