KI-Sichtbarkeit messen: Kennzahlen, Stichproben, Fehler

Um KI-Sichtbarkeit zu messen, stellen Sie KI-Assistenten einen festen, repräsentativen Satz echter Fragen, wiederholen diese oft genug, um den Zufall auszugleichen, und zählen, in wie vielen gültigen Antworten Ihre Marke erwähnt oder als Quelle zitiert wird. Die zentrale Kennzahl ist ein Anteil mit ehrlichem Nenner, der mit seiner Unsicherheit berichtet und mit Wettbewerbern nur auf exakt derselben Stichprobe verglichen wird. Alles andere, vom Share of Voice bis zur Position, ist eine Verfeinerung dieses Grunddesigns.

Das Wichtigste in Kürze

Die Messeinheit ist die einzelne Antwort, nicht ein „Ranking“: KI-Assistenten führen keine stabile Liste von Positionen.
Erwähnungsrate = Antworten mit Nennung der Marke ÷ gültige Antworten. Fehlgeschlagene, leere oder verweigerte Antworten gehören nicht als Nullen in den Nenner, sondern werden ausgeschlossen.
Weil sich die Ausgaben von Lauf zu Lauf unterscheiden, beweist ein einzelner Screenshot fast nichts; Sie brauchen Dutzende bis Hunderte Antworten und ein Konfidenzintervall.
Wettbewerbsvergleiche sind nur aussagekräftig, wenn alle Marken auf denselben Fragen, Modellen, Märkten, Sprachen und Zeiträumen bewertet werden.
Seien Sie vorsichtig bei undurchsichtigen „Sichtbarkeits-Scores“: Wenn Sie eine Zahl nicht aus den gespeicherten Antworten nachrechnen können, können Sie sie auch nicht prüfen.

Was genau messen Sie eigentlich?

KI-Sichtbarkeit beschreibt, wie oft und auf welche Weise eine Marke in Antworten von Assistenten wie ChatGPT, Gemini, Claude oder Perplexity vorkommt. Eine generierte Antwort hat keine festen Plätze: Dieselbe Frage kann einmal fünf Anbieter liefern und beim nächsten Mal eine einzige Empfehlung. Deshalb ist die robusteste Beobachtungseinheit die einzelne Antwort, vollständig gespeichert zusammen mit den zitierten Quellen, dem verwendeten Modell, der Sprache, dem Markt und dem Zeitstempel.

Aus diesem Rohmaterial lassen sich mehrere unterschiedliche Signale ableiten. Sie beantworten verschiedene Fragen und sollten nicht zu früh vermischt werden:

Erwähnung: Kommt der Markenname im Antworttext überhaupt vor?
Zitat: Verweist die Antwort auf eine Seite Ihrer Domain als Quelle?
Prominenz: Wo erscheint die Marke – im ersten Satz, als erster Listenpunkt oder in einer Fußnote?
Rahmung: Wird die Marke empfohlen, nur aufgezählt, ungünstig verglichen oder sachlich falsch beschrieben?

Die Forschung arbeitet mit ähnlichen Ideen. In „GEO: Generative Engine Optimization“ (Aggarwal et al., KDD 2024) messen die Autoren Sichtbarkeit in generativen Suchmaschinen unter anderem mit einer positionsgewichteten Wortzahl und einem Wert für den subjektiven Eindruck. Für die Praxis heißt das: Sichtbarkeit ist mehrdimensional, und Sie sollten vorab festlegen, von welcher Dimension Ihre Entscheidung abhängt. Hintergrund zur Disziplin selbst finden Sie in unserem Beitrag Was ist GEO?.

Die zentralen Kennzahlen und ihre Berechnung

Kennzahl	Formel	Was sie Ihnen sagt
Erwähnungsrate	Antworten mit Markennennung ÷ gültige Antworten	Wie oft Sie überhaupt auftauchen
Zitationsrate	Antworten, die Ihre Domain zitieren ÷ gültige Antworten	Ob die KI Ihre Inhalte als Beleg nutzt
Share of Voice	Ihre Nennungen ÷ alle Nennungen der beobachteten Marken in derselben Stichprobe	Ihr Anteil am Gespräch im Vergleich zum Wettbewerb
Erstnennungsrate	Antworten, in denen Sie zuerst genannt werden ÷ Antworten mit Ihrer Nennung	Ihre Prominenz, sobald Sie vorkommen
Korrektheitsrate	Antworten mit korrekten Fakten über Sie ÷ Antworten mit Ihrer Nennung	Ob Sichtbarkeit Ihnen nützt oder schadet

Die Erwähnungsrate ist meist die Leitkennzahl, weil sie einfach und leicht nachprüfbar ist. Der Share of Voice liefert Wettbewerbskontext, hängt aber davon ab, welche Wettbewerber Sie beobachten: Nehmen Sie einen neuen Konkurrenten in die Liste auf, sinkt Ihr Anteil, obwohl sich an den Antworten nichts geändert hat.

Warum der Nenner so wichtig ist

Angenommen, Sie senden 100 Fragen. Acht davon liefern Fehler, laufen in ein Timeout oder kommen leer zurück. Von den 92 gültigen Antworten nennen 23 Ihre Marke. Die ehrliche Erwähnungsrate beträgt 23 ÷ 92 = 25,0 %. Würden Sie durch 100 teilen, kämen Sie auf 23 % und würden technische Fehler stillschweigend als „Die KI hat Sie ignoriert“ werten. Da Fehlerquoten je nach Modell und Tag schwanken, erzeugt ein unsauberer Nenner Trends, die es gar nicht gibt. Speichern Sie Fehler, nennen Sie ihre Anzahl, aber rechnen Sie sie nicht ein.

Stichprobe: Wie viele Fragen und wie oft?

Sprachmodelle verhalten sich in der Praxis nicht deterministisch. Empirische Studien zeigen, dass selbst bei einer Temperatur von null identische Anfragen unterschiedliche Ausgaben erzeugen können (Atil et al., 2024; Ouyang et al., 2023). Websuche, Personalisierung und Modellaktualisierungen bringen weitere Schwankungen. Jede Messung ist daher eine Stichprobe aus einer Verteilung und sollte statistisch behandelt werden.

Den Fragensatz gestalten

Gehen Sie von echten Suchabsichten aus. Sammeln Sie Fragen, die Kundinnen und Kunden tatsächlich stellen: Kategorie („beste Buchhaltungssoftware für kleine Unternehmen“), Vergleich („X oder Y?“), Problem („Wie automatisiere ich Rechnungen?“) sowie lokale Varianten.
Vermeiden Sie Markenfragen in der Hauptkennzahl. „Ist MarkeX gut?“ nennt fast immer MarkeX; das misst Reputation, nicht Auffindbarkeit. Erfassen Sie solche Fragen getrennt.
Legen Sie Markt und Sprache fest. Eine deutsche Antwort für Nutzer in Deutschland kann sich stark von einer englischen Antwort für die USA unterscheiden. Wer beides mischt, verwischt beides.
Decken Sie jedes relevante Modell ab. ChatGPT, Gemini, Claude und Perplexity nutzen unterschiedliche Abruf- und Trainingsdaten; berichten Sie sie getrennt, bevor Sie aggregieren.
Wiederholen Sie. Stellen Sie jede Frage pro Zeitraum mehrmals, damit kein einzelner Glücks- oder Pechlauf das Ergebnis dominiert.
Frieren Sie den Satz ein. Halten Sie die Kernfragen über die Zeit konstant. Neue Fragen kommen in ein separates Segment, damit die Trendlinie vergleichbar bleibt.
Speichern Sie alles. Bewahren Sie den vollständigen Antworttext und die zitierten URLs auf, damit jede Zahl später nachgerechnet und geprüft werden kann.

Stichprobengröße und Konfidenzintervalle

Ein Anteil, der auf wenigen Antworten beruht, ist sehr verrauscht. Mit der üblichen Normalapproximation beträgt die Fehlermarge im ungünstigsten Fall bei 95 % Konfidenz etwa ±13,9 Prozentpunkte bei 50 gültigen Antworten, ±9,8 bei 100, ±6,9 bei 200 und ±4,9 bei 400. Bei kleinen Stichproben oder Anteilen nahe 0 % bzw. 100 % ist das Wilson-Score-Intervall der einfachen Formel überlegen. Im obigen Beispiel ergeben 23 von 92 ein Wilson-Intervall (95 %) von etwa 17 % bis 35 %. Bei nur 4 von 20 reicht das Intervall von rund 8 % bis 42 % – viel zu breit für irgendeine Entscheidung.

Die Faustregel lautet: Bevor Sie berichten, die Sichtbarkeit sei „von 25 % auf 30 % gestiegen“, prüfen Sie, ob sich die beiden Intervalle deutlich überlappen. Wenn ja, lautet das ehrliche Fazit: „noch keine klare Veränderung“.

Der Vergleich mit Wettbewerbern

Beim Benchmarking gegen Wettbewerber werden Messfehler am teuersten. Ein fairer Vergleich setzt voraus, dass alle Marken auf denselben Antworten bewertet werden: dieselben Fragen, dieselben Modelle, derselbe Markt und dieselbe Sprache, dieselben Daten. Dann teilen sich die Erwähnungsraten aller Marken einen Nenner, und Unterschiede sind echte Unterschiede in den Antworten statt Artefakte getrennter Läufe. Genau diese Logik steckt hinter einem Wettbewerbsvergleich auf gleicher Stichprobe.

Schauen Sie auch auf die Quellen hinter den Nennungen: Werden Wettbewerber aus Bewertungsportalen oder Fachmedien zitiert, in denen Sie fehlen, ist das ein konkreter Ansatzpunkt. Unser Leitfaden Welche Quellen zitiert KI? hilft beim Lesen dieser Muster, und Wie ChatGPT Marken empfiehlt erläutert die Signale hinter Empfehlungen.

Häufige Messfehler

Eine einzelne Antwort für die Wahrheit halten. Ein Screenshot ist eine Anekdote, keine Messung.
Fehler als Nullen zählen. Fehler und Verweigerungen belegen keine Unsichtbarkeit; schließen Sie sie aus und legen Sie ihre Zahl offen.
Einen Gesamtscore erfinden. Wer Erwähnung, Tonalität und Position mit nicht offengelegten Gewichten zu einem „KI-Score“ verrührt, macht die Zahl weder prüfbar noch reproduzierbar.
Unterschiedliche Stichproben vergleichen. Ihr Wert aus dem März gegen den Wert eines Wettbewerbers aus einem anderen Tool, mit anderen Fragen oder in einer anderen Sprache sagt kaum etwas aus.
Den Fragensatz wandern lassen. Wer jeden Monat die Fragen ändert, macht aus der Trendkurve eine Kurve der eigenen Änderungen.
Schnittstellenunterschiede ignorieren. API-Ergebnisse und die Chat-Oberfläche für Endnutzer können abweichen; nennen Sie, was Sie gemessen haben.
Sichtbarkeit mit Geschäftserfolg verwechseln. Erwähnt zu werden garantiert weder Klicks noch Umsatz. Behandeln Sie KI-Sichtbarkeit als Frühindikator und verknüpfen Sie sie, wo möglich, mit Referral-Traffic und Conversions.

Eine transparente Methodik, die offenlegt, wie Antworten gesammelt werden, welche als gültig gelten und wie jede Quote berechnet wird, ist der beste Schutz vor all diesen Fehlern. GeoDog etwa speichert jede Antwort mit ihren Quellen, sodass sich jede Zahl überprüfen lässt.

Häufige Fragen

Wie viele Fragen brauche ich für den Anfang?

Für eine erste Einschätzung liefern 20 bis 50 gut gewählte Fragen pro Markt und Sprache, jeweils mehrfach in den relevanten Modellen gestellt, typischerweise 100 bis 200 gültige Antworten. Das reicht, um große Abstände zu erkennen; kleine Veränderungen erfordern mehr.

Wie oft sollte man KI-Sichtbarkeit messen?

Für die meisten Marken genügt eine monatliche Messung, weil sich Modelle und Abrufindizes schrittweise ändern und tägliche Unterschiede vom Rauschen dominiert werden. Messen Sie häufiger rund um Produktstarts, große Inhaltsänderungen oder bekannte Modellupdates.

Garantiert eine hohe Erwähnungsrate Traffic?

Nein. Ein Assistent kann eine Marke nennen, ohne sie zu verlinken, und Nutzer klicken nicht unbedingt. Die Erwähnungsrate misst die Präsenz in Antworten; kombinieren Sie sie mit der Zitationsrate und Analysedaten, um die geschäftliche Wirkung zu verstehen. Mit einer ersten Analyse sehen Sie, wo Sie heute stehen.