Yapay Zeka Görünürlüğü Nasıl Ölçülür? Metrikler ve Hatalar

Yapay zeka görünürlüğünü ölçmek için yapay zeka asistanlarına sabit ve temsil gücü yüksek bir gerçek soru seti sorarsınız, rastlantısallığı dengelemek için bu soruları yeterince tekrarlarsınız ve geçerli cevapların kaçında markanızın anıldığını ya da kaynak gösterildiğini sayarsınız. Temel metrik, dürüst bir paydaya sahip bir orandır; belirsizlik payıyla birlikte raporlanır ve rakiplerle yalnızca birebir aynı örneklem üzerinde karşılaştırılır. Share of voice'tan sıralamaya kadar diğer her şey bu temel tasarımın inceltilmiş halidir.

Kısaca

Ölçümün birimi tek tek cevaplardır, bir "sıralama" değil: yapay zeka asistanları sabit bir pozisyon listesi tutmaz.
Gözlenme oranı = markayı anan cevaplar ÷ geçerli cevaplar. Hatalı, boş ya da reddedilen cevaplar paydaya sıfır olarak eklenmez, dışarıda bırakılır.
Çıktılar her çalıştırmada değişebildiği için tek bir ekran görüntüsü neredeyse hiçbir şey kanıtlamaz; onlarca, hatta yüzlerce cevaba ve bir güven aralığına ihtiyacınız vardır.
Rakip karşılaştırması ancak tüm markalar aynı sorular, modeller, pazar, dil ve zaman aralığı üzerinde puanlandığında anlamlıdır.
Formülü açıklanmayan bileşik "görünürlük skorlarına" temkinli yaklaşın: Bir sayıyı saklanan cevaplardan yeniden hesaplayamıyorsanız onu denetleyemezsiniz.

Tam olarak neyi ölçüyorsunuz?

Yapay zeka görünürlüğü, bir markanın ChatGPT, Gemini, Claude veya Perplexity gibi asistanların ürettiği cevaplarda ne sıklıkla ve hangi biçimde yer aldığını anlatır. Klasik bir arama sonuç sayfasının aksine, üretilmiş bir cevabın sabit "slotları" yoktur. Aynı soru bir dakika önce beş firmalık bir liste, bir dakika sonra tek bir öneri üretebilir. Bu nedenle en sağlam gözlem birimi, tek tek cevaplardır: Cevabın tam metni, gösterdiği kaynaklar, kullanılan model, dil, pazar ve zaman damgasıyla birlikte saklanmalıdır.

Bu ham veriden birbirinden farklı birkaç sinyal türetilebilir. Her biri ayrı bir soruya cevap verir ve erken birleştirilmemelidir:

Anılma (mention): Marka adı cevap metninde hiç geçiyor mu?
Atıf (citation): Cevap, alan adınızdaki bir sayfayı kaynak olarak gösteriyor mu?
Öne çıkma: Marka nerede geçiyor; ilk cümlede mi, listenin ilk maddesinde mi, yoksa bir dipnotta mı?
Çerçeve: Marka öneriliyor mu, yalnızca listeleniyor mu, olumsuz karşılaştırılıyor mu, yoksa hatalı mı anlatılıyor?

Bu ayrım yalnızca pratik bir tercih değildir; akademik literatür de benzer fikirler kullanır. Aggarwal ve arkadaşlarının "GEO: Generative Engine Optimization" çalışması (KDD 2024), üretken arama motorlarındaki görünürlüğü konuma göre ağırlıklandırılmış kelime sayısı ve öznel izlenim puanı gibi metriklerle ölçer. Uygulayıcı için çıkarılacak ders şudur: Görünürlük çok boyutludur; kararınızın hangi boyuta dayandığını önceden belirlemelisiniz. Disiplinin kendisine dair arka plan için GEO nedir? yazımıza göz atabilirsiniz.

Temel metrikler ve nasıl hesaplanırlar?

Metrik	Formül	Size ne söyler?
Gözlenme oranı	markayı anan cevaplar ÷ geçerli cevaplar	Cevaplarda ne sıklıkla yer aldığınız
Atıf oranı	alan adınıza atıf yapan cevaplar ÷ geçerli cevaplar	Yapay zekanın içeriğinizi kanıt olarak kullanıp kullanmadığı
Share of voice	sizin anılmalarınız ÷ aynı örneklemdeki tüm takip edilen marka anılmaları	Rakiplere karşı konuşmadan aldığınız pay
İlk anılma oranı	ilk sırada anıldığınız cevaplar ÷ sizi anan cevaplar	Var olduğunuzda ne kadar öne çıktığınız
Doğruluk oranı	sizinle ilgili bilgileri doğru veren cevaplar ÷ sizi anan cevaplar	Görünürlüğün size yarar mı zarar mı getirdiği

Gözlenme oranı genellikle manşet metriktir, çünkü basittir ve denetlenmesi kolaydır. Share of voice rekabet bağlamı için kullanışlıdır, ancak hangi rakipleri takip ettiğinize bağlıdır: Listeye yeni bir rakip eklediğinizde, cevaplarda hiçbir şey değişmese bile payınız düşer.

Payda neden bu kadar önemli?

100 soru gönderdiğinizi düşünün. Sekizi hata veriyor, zaman aşımına uğruyor ya da boş dönüyor. Kalan 92 geçerli cevabın 23'ünde markanız anılıyor. Dürüst gözlenme oranı 23 ÷ 92 = %25,0'tır. 100'e bölerseniz %23 raporlarsınız ve teknik hataları sessizce "yapay zeka sizi görmezden geldi" diye saymış olursunuz. Hata oranları modele ve güne göre değiştiği için özensiz bir payda, aslında olmayan trendler yaratabilir. Hataları saklayın, kaç tane olduklarını raporlayın ve orandan çıkarın.

Örnekleme: Kaç soru, ne sıklıkla?

Dil modelleri pratikte deterministik değildir. Ampirik çalışmalar, sıcaklık (temperature) sıfıra ayarlansa bile aynı isteklerin farklı çıktılar verebildiğini göstermektedir (Atil ve ark., 2024; Ouyang ve ark., 2023). Web taraması, kişiselleştirme ve model güncellemeleri ek değişkenlik getirir. Dolayısıyla her ölçüm bir dağılımdan alınmış bir örneklemdir ve istatistiksel olarak ele alınmalıdır.

Soru setini tasarlamak

Gerçek niyetlerden başlayın. Müşterilerin gerçekten sorduğu soruları toplayın: kategori ("küçük işletmeler için en iyi ön muhasebe programı"), karşılaştırma ("X mi Y mi?"), problem ("faturaları nasıl otomatikleştiririm?") ve yerel varyantlar.
Ana metrikte markalı sorulardan kaçının. "MarkaX iyi mi?" sorusu neredeyse her zaman MarkaX'i anar; bu keşfedilebilirliği değil itibarı ölçer. Ayrı takip edin.
Pazar ve dili sabitleyin. Türkiye'deki kullanıcılar için Türkçe bir cevap, ABD için İngilizce bir cevaptan çok farklı olabilir. İkisini karıştırmak her ikisini de bulanıklaştırır.
Önemsediğiniz her modeli kapsayın. ChatGPT, Gemini, Claude ve Perplexity farklı tarama ve eğitim verileri kullanır; birleştirmeden önce ayrı ayrı raporlayın.
Tekrarlayın. Her soruyu her dönemde birkaç kez sorun ki tek bir şanslı ya da şanssız çalıştırma sonucu belirlemesin.
Seti dondurun. Çekirdek soruları zaman içinde sabit tutun. Yeni soruları ayrı bir segmentte ekleyin ki trend çizgisi karşılaştırılabilir kalsın.
Her şeyi saklayın. Tam cevap metnini ve atıf yapılan URL'leri tutun; böylece her sayı daha sonra yeniden hesaplanabilir ve incelenebilir.

Örneklem büyüklüğü ve güven aralıkları

Az sayıda cevaba dayanan bir oran çok gürültülüdür. Yaygın normal yaklaşımla ve %95 güven düzeyinde en kötü durumdaki hata payı kabaca 50 geçerli cevapta ±13,9 puan, 100'de ±9,8, 200'de ±6,9 ve 400'de ±4,9 puandır. Küçük örneklemlerde ya da %0'a veya %100'e yakın oranlarda Wilson skor aralığı basit formülden daha iyi sonuç verir. Yukarıdaki örnekte 92'de 23, yaklaşık %17 ile %35 arasında bir Wilson %95 aralığı verir. Yalnızca 20'de 4 olsaydı aralık kabaca %8 ile %42 arasında olurdu; bu, herhangi bir kararı desteklemek için fazla geniştir.

Pratik kural: Görünürlüğün "%25'ten %30'a çıktığını" raporlamadan önce iki aralığın ciddi biçimde örtüşüp örtüşmediğine bakın. Örtüşüyorsa dürüst sonuç "henüz net bir değişim yok" olur.

Rakiplerle kendinizi karşılaştırmak

Ölçüm hatalarının en pahalıya mal olduğu yer rekabet kıyaslamasıdır. Adil bir karşılaştırma, tüm markaların aynı cevaplar üzerinde puanlanmasını gerektirir: aynı sorular, aynı modeller, aynı pazar ve dil, aynı tarihler. Böylece her markanın gözlenme oranı aynı paydayı paylaşır ve farklar ayrı çalıştırmaların yan etkisi değil, cevaplardaki gerçek farklardır. Aynı örneklem üzerinde yapılan rakip karşılaştırmasının mantığı budur.

Anılmaların arkasındaki kaynaklara da bakın: Rakipleriniz sizin bulunmadığınız inceleme sitelerinden veya sektör medyasından atıf alıyorsa bu somut bir ipucudur. Yapay zeka hangi kaynaklara atıf yapar? rehberimiz bu örüntüleri okumayı, ChatGPT markaları nasıl önerir? yazımız ise önerilerin arkasındaki sinyalleri anlatıyor.

Sık yapılan ölçüm hataları

Tek bir cevabı gerçek sanmak. Bir ekran görüntüsü ölçüm değil, anekdottur.
Hataları sıfır olarak saymak. Hatalar ve reddedilen cevaplar görünmezliğin kanıtı değildir; dışarıda bırakın ve sayısını açıklayın.
Bileşik skor uydurmak. Gözlenme, duygu ve konumu ağırlıkları açıklanmayan tek bir "AI skoru"nda harmanlamak, sayıyı denetlenemez ve tekrarlanamaz hale getirir.
Farklı örneklemleri karşılaştırmak. Mart ayındaki kendi rakamınızı, farklı bir araçla, farklı sorularla veya farklı dilde ölçülmüş bir rakip rakamıyla kıyaslamak neredeyse hiçbir şey söylemez.
Soru setini kaydırmak. Soruları her ay değiştirmek, trend grafiğini kendi düzenlemelerinizin grafiğine dönüştürür.
Arayüz farklarını yok saymak. API sonuçları ile tüketici sohbet arayüzü farklı olabilir; hangisini ölçtüğünüzü belirtin.
Görünürlüğü sonuçla karıştırmak. Anılmak tıklama veya satış garantisi vermez. Yapay zeka görünürlüğünü öncü bir gösterge olarak ele alın ve mümkünse yönlendirme trafiği ile dönüşümlere bağlayın.

Cevapların nasıl toplandığını, hangilerinin geçerli sayıldığını ve her oranın nasıl hesaplandığını açıkça yazan şeffaf bir metodoloji, bu hataların hepsine karşı en iyi korumadır. Örneğin GeoDog her cevabı kaynaklarıyla birlikte sakladığı için her rakam doğrulanabilir.

Sıkça sorulan sorular

Başlamak için kaç soruya ihtiyacım var?

İlk okuma için pazar ve dil başına 20 ila 50 iyi seçilmiş niyet sorusu, önemsediğiniz modellerde birkaçar kez tekrarlandığında genellikle 100 ila 200 geçerli cevap üretir. Bu, büyük farkları görmeye yeter; küçük değişimleri yakalamak için daha fazlası gerekir.

Yapay zeka görünürlüğü ne sıklıkla ölçülmeli?

Çoğu marka için aylık ölçüm uygundur; modeller ve tarama dizinleri kademeli olarak değişir ve günlük farklarda gürültü baskındır. Lansmanlar, büyük içerik değişiklikleri veya bilinen model güncellemeleri civarında daha sık ölçün.

Yüksek gözlenme oranı trafik garantisi verir mi?

Hayır. Bir asistan markayı bağlantı vermeden anabilir ve kullanıcı tıklamayabilir. Gözlenme oranı cevaplardaki görünürlüğü ölçer; iş etkisini anlamak için atıf oranı ve analitik verilerle birlikte değerlendirin. Bugün nerede durduğunuzu görmek için ilk sorgunuzu başlatabilirsiniz.

Yapay Zeka Görünürlüğü Nasıl Ölçülür? Metrikler, Örnekleme ve Sık Yapılan Hatalar