Pour mesurer la visibilité IA, vous posez aux assistants d'IA un ensemble fixe et représentatif de vraies questions, vous les répétez suffisamment pour absorber l'aléa, puis vous comptez combien de réponses valides mentionnent ou citent votre marque. L'indicateur central est une proportion au dénominateur honnête, publiée avec son incertitude et comparée aux concurrents uniquement sur exactement le même échantillon.
À retenir
- L'unité de mesure est la réponse individuelle, pas un « classement » : les assistants d'IA ne tiennent pas de liste stable de positions.
- Taux de présence = réponses mentionnant la marque ÷ réponses valides. Les réponses en erreur, vides ou refusées sont exclues du dénominateur, et non comptées comme des zéros.
- Les sorties varient d'une exécution à l'autre : une capture d'écran ne prouve rien, il faut des centaines de réponses et un intervalle de confiance.
- Une comparaison concurrentielle n'a de sens que si toutes les marques sont évaluées sur les mêmes questions, modèles, marchés, langues et périodes.
- Méfiez-vous des « scores de visibilité » composites et opaques : si vous ne pouvez pas recalculer un chiffre à partir des réponses stockées, vous ne pouvez pas l'auditer.
Que mesurez-vous exactement ?
La visibilité IA désigne la fréquence et la manière dont une marque apparaît dans les réponses générées par des assistants comme ChatGPT, Gemini, Claude ou Perplexity. Une réponse générée n'a pas d'emplacements fixes : la même question peut donner cinq prestataires, puis une seule recommandation. L'unité d'observation la plus robuste est la réponse individuelle, conservée intégralement avec les sources citées, le modèle utilisé, la langue, le marché et l'horodatage.
On en tire plusieurs signaux distincts, à ne pas fusionner trop tôt :
- Mention : le nom de la marque apparaît-il dans le texte de la réponse ?
- Citation : la réponse renvoie-t-elle à une page de votre domaine comme source ?
- Mise en avant : où la marque apparaît-elle — dans la première phrase, en tête de liste, dans une note de bas de page ?
- Cadrage : la marque est-elle recommandée, simplement énumérée, comparée défavorablement ou décrite de façon inexacte ?
Aggarwal et al. (KDD 2024) mesurent d'ailleurs la visibilité dans les moteurs génératifs avec un nombre de mots pondéré par la position et un score d'impression subjective. La visibilité est multidimensionnelle : décidez à l'avance quelle dimension compte pour vous. Pour le contexte, lisez qu'est-ce que le GEO ?.
Les indicateurs clés et leur calcul
| Indicateur | Formule | Ce qu'il vous apprend |
|---|---|---|
| Taux de présence | réponses mentionnant la marque ÷ réponses valides | À quelle fréquence vous apparaissez |
| Taux de citation | réponses citant votre domaine ÷ réponses valides | Si l'IA traite votre contenu comme une preuve |
| Part de voix | vos mentions ÷ toutes les mentions des marques suivies dans le même échantillon | Votre part de la conversation face aux concurrents |
| Taux de première mention | réponses où vous êtes cité en premier ÷ réponses vous mentionnant | Votre mise en avant lorsque vous êtes présent |
| Taux d'exactitude | réponses aux faits corrects sur vous ÷ réponses vous mentionnant | Si la visibilité vous sert ou vous dessert |
Le taux de présence est généralement l'indicateur phare, car il est simple et facile à vérifier. La part de voix apporte un contexte concurrentiel, mais elle dépend des concurrents suivis : ajoutez un nouveau rival à la liste et votre part baisse, même si rien n'a changé dans les réponses.
Pourquoi le dénominateur compte autant
Imaginons que vous envoyiez 100 questions. Huit renvoient une erreur, expirent ou reviennent vides. Sur les 92 réponses valides, 23 mentionnent votre marque. Le taux de présence honnête est de 23 ÷ 92 = 25,0 %. En divisant par 100, vous annonceriez 23 % et compteriez silencieusement des pannes techniques comme « l'IA vous a ignoré ». Or les taux d'échec varient selon le modèle et le jour. Conservez les échecs, indiquez leur nombre et excluez-les du ratio.
Échantillonnage : combien de questions, à quelle fréquence ?
En pratique, les modèles de langage ne sont pas déterministes. Des études empiriques montrent que même avec une température fixée à zéro, des requêtes identiques peuvent produire des sorties différentes (Atil et al., 2024 ; Ouyang et al., 2023). Recherche web et mises à jour ajoutent de la variabilité : chaque mesure est un échantillon, à traiter statistiquement.
Concevoir le jeu de questions
- Partez des intentions réelles. Rassemblez les questions que vos clients posent vraiment : catégorie (« meilleur logiciel de comptabilité pour TPE »), comparaison (« X ou Y ? »), problème (« comment automatiser mes factures ? ») et variantes locales.
- Évitez les questions de marque dans l'indicateur principal. « MarqueX est-elle fiable ? » mentionnera presque toujours MarqueX ; cela mesure la réputation, pas la découvrabilité. Suivez-les à part.
- Fixez le marché et la langue. Une réponse en français pour des utilisateurs en France peut différer nettement d'une réponse en anglais pour les États-Unis.
- Couvrez chaque modèle qui compte pour vous. ChatGPT, Gemini, Claude et Perplexity reposent sur des données de recherche et d'entraînement différentes ; présentez-les séparément avant toute agrégation.
- Répétez. Posez chaque question plusieurs fois par période.
- Figez le jeu. Gardez les questions principales identiques dans le temps. Ajoutez les nouvelles dans un segment distinct.
- Conservez tout. Gardez le texte intégral des réponses et les URL citées, pour pouvoir tout recalculer.
Taille d'échantillon et intervalles de confiance
Une proportion fondée sur peu de réponses est très bruitée. Avec l'approximation normale usuelle et un niveau de confiance de 95 %, la marge d'erreur dans le pire des cas est d'environ ±13,9 points avec 50 réponses valides, ±9,8 avec 100, ±6,9 avec 200 et ±4,9 avec 400. Pour les petits échantillons, préférez l'intervalle de score de Wilson. Dans l'exemple ci-dessus, 23 sur 92 donnent un intervalle de Wilson à 95 % d'environ 17 % à 35 %. Avec seulement 4 sur 20, l'intervalle va d'environ 8 % à 42 %, bien trop large pour fonder une décision.
La règle pratique : avant d'annoncer que la visibilité « est passée de 25 % à 30 % », vérifiez si les deux intervalles se chevauchent largement. Si c'est le cas, la conclusion honnête est : « pas encore de changement net ».
Se comparer aux concurrents
Une comparaison équitable exige que toutes les marques soient évaluées sur les mêmes réponses : mêmes questions, mêmes modèles, même marché et même langue, mêmes dates. Les taux de présence de chaque marque partagent alors un dénominateur commun, et les écarts sont réels. C'est toute la logique d'une comparaison des concurrents sur échantillon identique.
Regardez aussi les sources derrière les mentions : si vos concurrents sont cités depuis des sites d'avis ou des médias spécialisés où vous êtes absent, c'est une piste concrète. Notre guide quelles sources l'IA cite-t-elle ? aide à lire ces schémas, et comment ChatGPT recommande les marques détaille les signaux qui sous-tendent les recommandations.
Les erreurs de mesure les plus fréquentes
- Prendre une réponse pour la vérité. Une capture d'écran est une anecdote, pas une mesure.
- Compter les échecs comme des zéros. Les erreurs et refus ne prouvent pas l'invisibilité ; excluez-les et publiez leur nombre.
- Inventer un score composite. Mélanger présence, tonalité et position dans un « score IA » aux pondérations non publiées rend le chiffre impossible à auditer ou à reproduire.
- Comparer des échantillons différents. Votre chiffre de mars face à celui d'un concurrent issu d'un autre outil, d'autres questions ou d'une autre langue ne dit presque rien.
- Laisser dériver le jeu de questions. Changer les questions chaque mois fausse la tendance.
- Ignorer les différences d'interface. Les résultats de l'API et ceux de l'interface grand public peuvent différer ; précisez ce que vous avez mesuré.
- Confondre visibilité et résultats. Être mentionné ne garantit ni clics ni ventes. Reliez-la au trafic référent et aux conversions.
Une méthodologie transparente, qui explique comment les réponses sont collectées, lesquelles sont jugées valides et comment chaque ratio est calculé, est la meilleure protection. GeoDog, par exemple, conserve chaque réponse avec ses sources afin que chaque chiffre puisse être vérifié.
FAQ
Combien de questions faut-il pour commencer ?
Pour une première lecture, 20 à 50 questions d'intention bien choisies par marché et par langue, posées plusieurs fois sur les modèles qui vous intéressent, donnent généralement de 100 à 200 réponses valides.
À quelle fréquence mesurer la visibilité IA ?
Une mesure mensuelle convient à la plupart des marques, car les modèles et les index de recherche évoluent progressivement et le bruit domine les écarts quotidiens. Mesurez plus souvent autour d'un lancement, d'une refonte de contenu ou d'une mise à jour de modèle connue.
Un taux de présence élevé garantit-il du trafic ?
Non. Un assistant peut citer une marque sans lien, et l'utilisateur peut ne pas cliquer. Le taux de présence mesure l'exposition dans les réponses ; combinez-le avec le taux de citation et vos données analytiques pour comprendre l'impact business. Lancez une première analyse pour voir où vous en êtes aujourd'hui.
Sources
- Aggarwal et al., « GEO: Generative Engine Optimization », arXiv:2311.09735 (KDD 2024)
- Atil et al., « Non-Determinism of "Deterministic" LLM Settings », arXiv:2408.04667
- Ouyang et al., « An Empirical Study of the Non-determinism of ChatGPT in Code Generation », arXiv:2308.02828
- Binomial proportion confidence interval (intervalle de Wilson), Wikipédia en anglais