Pendant trois semaines en juillet, j’ai mené une enquête demandant aux personnes qui travaillent sur la visibilité des recherches d’IA ce qu’elles pensent des plates-formes conçues pour la mesurer. 163 réponses. Il s’agit d’un échantillon auto-sélectionné, recruté via mon propre réseau et ses repartages (ainsi que des publicités payantes sur LinkedIn et X), il décrit donc des praticiens engagés dans et autour d’un coin de l’industrie, et non de l’ensemble de l’industrie. Les pourcentages ici comportent une marge d’environ sept points, et je reviendrai sur la taille de l’échantillon à la fin, car il s’est avéré qu’elle faisait partie de l’histoire.
Voici ce qui en est ressorti.
L’écart
J’ai demandé aux gens d’évaluer la valeur de différents types de données de visibilité de l’IA : alignement des requêtes au-delà des simples mots-clés. Comparaison avec les concurrents. Qu’une mention provienne d’un entraînement ou d’une récupération. Attribution au niveau des fragments. Statut de citation.
Parmi ces cinq, la moyenne était 4,20 sur 5.
Ensuite, j’ai demandé si investir un budget dans une plate-forme dédiée à cela en valait la peine dès maintenant.
3.19.
C’est l’enquête en deux chiffres. Un tiers des personnes interrogées ont jugé les données très précieuses et l’investissement dans la plateforme tiède, voire pire, au cours de la même séance, à quelques minutes d’intervalle. Seuls 44 % pensent que l’achat d’un outil de cette catégorie en vaut la peine. Près d’un tiers lui attribuent une note de 1 ou 2 (5 étant la note la plus élevée).
J’ai collecté les données en quatre instantanés au fur et à mesure que les réponses arrivaient : 36, puis 75, puis 100, puis 163. Aucun des deux nombres n’a bougé de plus d’un dixième de point sur l’ensemble de l’analyse. Quoi qu’il en soit, ce n’est pas un artefact d’échantillonnage. Il s’est installé tôt et est resté sur place tandis que l’échantillon a quadruplé.
Ce qu’ils ont dit
123 personnes (75 %) ont écrit quelque chose dans la zone de texte ouverte. J’ai demandé quelle était leur plus grande question sans réponse, ou leur plus gros problème avec les plateformes qu’ils avaient essayées. Je m’attendais à une liste de demandes de fonctionnalités. Ce n’est pas ce que j’ai eu.
- Thèmes évoqués et pourcentage de réponses :
- Confiance, précision, méthodologie opaque – 24%
- ROI et attribution à la valeur commerciale – 20%
- Non-déterminisme, variance, personnalisation – 15%
- Invites synthétiques vs demande réelle des utilisateurs – 11%
- Non exploitable : « que dois-je faire maintenant » – 9%
- Prix ou coût – 7%
- Citation vs mention vs recommandation – 4%
- Attribution à un passage spécifique – 4%
- Limites de comptage rapide – 4%
- Pas d’équivalent GSC pour les LLM – 3%
(De nombreuses personnes ont soulevé plus d’un problème, et chacun a été compté sous chaque thème touché, ce qui représente donc plus de 100 %.)
La texture des réponses compte plus que le nombre, je pense.
Plusieurs personnes ont décrit le même problème structurel avec le suivi des listes d’invites : vous choisissez les invites, ce qui signifie que vous décidez à l’avance pour quoi vous devez être visible, puis vous vous mesurez par rapport à votre propre liste. L’un d’eux a parlé de prophétie auto-réalisatrice.
Connexes et plus pointus : ces outils n’ont pas de dénominateur. Les scores proviennent de listes d’invites inventées plutôt que du volume de requêtes observé, de sorte que la variance ordinaire du modèle est signalée au client comme une victoire ou une perte, sans rien en dessous pour indiquer laquelle.
Un répondant a fait valoir que les outils de citation sont un animal fondamentalement différent des outils de suivi des classements : vous ne pouvez pas procéder à une ingénierie inverse de ce qui fonctionne lorsque la réponse change à chaque fois que vous posez la question, de sorte que ce qui vous reste est plus proche d’un signal de notoriété de marque que d’un diagnostic.
Un abonné payant d’une agence a déclaré que lorsqu’ils pressaient les plateformes pour montrer leurs calculs, exactement l’une d’elles tirait le rideau.
Une agence qui compte plus de 50 clients a clairement expliqué la situation : elle ne peut pas vendre la visibilité de l’IA en tant que service sans outils de mesure, et ne peut pas justifier les outils tant qu’elle n’a pas vendu le service.
Une personne avec deux décennies dans l’industrie l’a décrit plus uniformément que quiconque : les données de référencement tiers ont toujours été directionnelles plutôt que évangéliques, et c’est bien, tant que personne ne prétend le contraire.
Et le plus pointu, destiné directement aux fournisseurs : vous ne pouvez pas faire ce que ces outils prétendent faire, car chaque utilisateur de chaque modèle bénéficie d’une expérience différente. Huile de serpent. Haricots magiques.
Je ne vais pas contester tout cela ici. C’est ce que les pratiquants ont dit lorsqu’on leur a posé la question, et la valeur de la question est diminuée si je passe l’espace à expliquer pourquoi ils ont tort.
Le prix n’est pas l’objection
Coût augmenté de 7%. 57 % ont répondu soit « Je ne crois pas ce chiffre » ou « Je ne peux pas relier cela à l’argent ».
Ce ratio est l’élément le plus utile de l’enquête. Quel que soit le frein à cette catégorie, la réponse n’est pas que les outils sont trop chers.
Ce que montrent les réponses les unes des autres
La lecture de réponses individuelles vous donne lieu à des plaintes. Les croiser vous donne autre chose, et trois modèles ont retenu l’attention lorsque je les ai testés.
Les personnes qui ont soulevé des problèmes de confiance accordent autant d’importance aux données que tout le monde et dépenseraient exactement autant. Leur note sur la valeur des données sous-jacentes : 4,20, contre 4,19 pour tous les autres (soit une différence d’un centième de point). Leur budget : statistiquement indiscernable. Mais leur volonté d’investir dans une plateforme tombe à 2,76 contre 3,36 pour tous les autres, et ils sont nettement moins susceptibles de payer pour quoi que ce soit.
Même valorisation. Même argent disponible. Conclusion différente. Ce qui bloque ce segment, ce n’est pas la valeur des données pour eux, ni ce qu’ils peuvent se permettre. Il s’agit de savoir s’ils y croient.
Presque personne ne construit une alternative. 8 % des personnes interrogées ont construit leur propre outillage. Parmi les personnes qui ont évoqué la confiance ou le non-déterminisme, 9%. Parmi les 78 % qui considèrent la précision comme essentielle chez un fournisseur, 6 %.
Je ne considère pas cela comme de l’hypocrisie. Construire cela est vraiment difficile (je sais !), et la plupart des praticiens ont un travail qui n’est pas de l’ingénierie, mais cela reformule l’objection. « On ne peut pas se fier aux chiffres » ne constitue pas un diagnostic sur lequel quiconque agit. C’est une demande pour que quelqu’un d’autre le résolve correctement.
L’écart entre la valorisation des données et le financement d’une plateforme est identique pour tous les rôles. Agences, équipes internes, consultants indépendants sont tous à une erreur d’arrondi les uns des autres. Ce ne sont pas les agences qui sont bon marché ou les équipes internes qui sont gâtées. C’est tout le marché.
Ce qui bouge, c’est si vous avez acheté. Parmi les abonnés actuels, l’écart disparaît presque. Parmi tous les autres, c’est trois fois plus grand.
Je ne peux pas vous dire dans quelle direction cela va. L’achat peut résoudre le doute, ou ce sont peut-être des personnes sans doute qui achètent. L’enquête ne permet pas de les distinguer, et je ne vais pas prétendre le contraire. Mais il s’agit de la plus grande division de l’ensemble de données, et cela suggère que l’objection semble différente à l’intérieur d’un abonnement qu’à l’extérieur.
Il y a aussi une allusion à cela dans les thèmes, même si les chiffres sont suffisamment petits pour que je les qualifie de suggestifs plutôt que d’établis : les abonnés étaient plus susceptibles de dire que les données ne leur disent pas quoi faire, et moins susceptibles de dire qu’ils doutent des données. Les gens qui n’ont pas acheté doutent des chiffres. Les personnes qui ont acheté acceptent les chiffres et ne peuvent pas agir en conséquence. Que ce soit une question structurelle de leur part ou un manque d’expérience ou de connaissances, je ne peux pas le dire.
Ce qu’ils veulent réellement
Classé par note de partage sur 4 ou 5 : alignement des requêtes au-delà des mots-clés, 90 %. Comparaison des concurrents sur la même requête, 83 %. Qu’une mention provienne de l’entraînement ou de la récupération, 83 %. Attribution au niveau des fragments, 75 %. Statut de citation, 71%.
Sur quels systèmes sont importants : les aperçus IA et le mode IA de Google à 95 %, ChatGPT à 94 %, Gemini 75 %, Claude 64 %, Perplexity 34 %, Copilot 25 %. Rien d’autre n’a effacé 5%. J’ai limité cette question à cinq sélections, et 46 % des personnes interrogées ont utilisé les cinq, alors considérez-les comme des planchers.
87 % décrivent leur pratique comme travaillant activement sur ce sujet ou établie dans leur travail. Ce n’est pas un public qui a besoin d’être convaincu que le problème est réel.
La demande que personne ne peut remplir
L’objection la plus soulevée était l’opacité méthodologique : montrez-moi d’où viennent ces données et pourquoi je devrais les croire.
C’est une chose raisonnable à vouloir. Ce n’est pas non plus, comme indiqué, quelque chose qu’aucun fournisseur de cette catégorie ne peut vous offrir.
Maintenant, je dois rappeler à tout le monde que j’ai construit l’une de ces plateformes. C’est un conflit, et vous devriez lire ce qui suit en le sachant. C’est aussi la raison pour laquelle j’ai une idée de ce que les fournisseurs peuvent et ne peuvent pas divulguer, car j’ai dû prendre cette décision moi-même.
Pour une entreprise financée par du capital-risque, la méthodologie est l’actif. Le publier convertit le produit en un outil gratuit avec un taux de gravure et un tableau. Tout fournisseur qui semble avoir ouvert la boîte vous a montré un sous-ensemble organisé, ce qui signifie que la divulgation que vous avez demandée est soit commercialement fatale, soit théâtrale, et il n’y a pas de troisième option. Ce n’est pas propre aux outils GEO. C’est vrai pour toutes les entreprises de mesure qui ont jamais existé, y compris les outils de mots clés auxquels cette industrie fait confiance depuis vingt ans sans jamais y voir l’intérieur. J’ai travaillé dans l’un de ces systèmes pendant près d’une décennie, donc je ne devine pas quand je dis que je connais la différence.
Je veux aussi être clair sur le fait que c’est mon argument, pas une conclusion. L’enquête ne l’a pas mesuré. Ce que montre l’enquête, c’est que les personnes qui soulèvent cette objection ont le même budget que tout le monde, ce qui signifie qu’elles ne cherchent pas de raison pour ne pas acheter. C’est une véritable objection. Il n’a tout simplement pas de réponse disponible sous la forme qui lui est demandée.
Ce qui laisse une question plus difficile en dessous : si vous ne pouvez pas avoir la méthodologie, qu’est-ce qui vous ferait réellement croire un chiffre ? Reproductibilité ? Variation publiée ? Audit tiers ? Personne dans les réponses n’en a proposé. Cet écart semble mériter plus d’attention qu’il n’en reçoit.
La partie à laquelle je continue de penser
Plusieurs personnes interrogées ont fait valoir un argument que je ne peux pas rejeter : cela n’est peut-être pas mesurable en principe. Les systèmes sont non déterministes. L’expérience de chaque utilisateur est personnalisée. Un instantané de ce qu’un modèle a dit mardi à une invite synthétique ne mesure peut-être rien qui se généralise à quoi que ce soit.
Je ne pense pas que ce soit vrai. Mais je ne peux pas prouver le contraire, et personne ne peut vous vendre un tableau de bord non plus.
Ce qui m’amène au numéro que j’ai évité. IBISWorld compte environ 715 000 personnes employées dans le conseil en référencement et en marketing Internet rien qu’aux États-Unis. 163 d’entre eux ont répondu à cette enquête. Un sur 4 400 environ.
Je l’ai partagé sept fois. Il a été publié deux fois dans ma newsletter, est apparu dans deux newsletters respectées de l’industrie, a été amplifié par une vingtaine de personnes dans cet espace, et j’ai payé une semaine de promotion sur deux plateformes. Chacune de ces demandes était polie. La réponse a coulé.
La chose la plus efficace que j’ai faite a été d’arrêter de demander poliment et de souligner à quel point peu de personnes s’en étaient souciées, ce qui a produit plus de réponses en deux jours que la semaine précédente au total.
Je n’ai pas une lecture claire de ce que cela signifie. Il se peut que le volume de nourriture dépasse la capacité de quiconque à le suivre. Il se peut que les demandes de participation soient filtrées et filtrées avant leur enregistrement. Il se pourrait que le discours autour de la recherche par l’IA soit plus bruyant que sa pratique. Cela pourrait simplement être plus personnel, que ma propre portée diminue. Honnêtement, cela pourrait être tout ou rien de tout cela.
Mais il est difficile de comparer une industrie qui décrit cela comme une menace existentielle avec un échantillon aussi difficile à rassembler. Cet écart, entre la quantité dont on parle et la quantité réellement mise en œuvre, est peut-être la conclusion la plus honnête ici.
La donnée vaut 4,20/5. Les plateformes valent 3,19/5. Et 163 personnes sur 715 000 ont donné trois minutes pour le dire.
Plus de ressources :
Cet article a été initialement publié sur Duane Forrester Decodes.
