Sayı Doğru, Karar Yanlış: Verinin Bize Söylemediği Gerçekler

Veriye hiç olmadığı kadar güveniyoruz.

Satışları ölçüyoruz. Müşteri davranışlarını takip ediyoruz. Çalışan performansını puanlıyoruz. Sosyal medya tepkilerini analiz ediyor, sistemlerimizin sağlığını binlerce metrik üzerinden izliyoruz.

Bir de bütün bu verileri yorumlaması için yapay zekâyı devreye sokuyoruz.

Artık sorun veri bulamamak değil. Sorun, elimizdeki verinin gerçekte ne söylediğini anlamak.

Çünkü giderek daha belirgin hale gelen bir gerçek var:

Bir sayının doğru olması, o sayıdan çıkardığımız sonucun da doğru olduğu anlamına gelmiyor.

Bazen veriler hatasızdır. Hesaplamalar doğrudur. Grafikler doğru hazırlanmıştır. Ancak bütün bunlara rağmen verdiğimiz karar yanlıştır.

Peki neden?

2001 yılında Manchester United'ın teknik direktörü Alex Ferguson, takımın önemli savunmacılarından Jaap Stam'ı Lazio'ya sattı.

Stam henüz 29 yaşındaydı. Manchester United'ın 1999'daki tarihi üçlemesinde önemli rol oynamıştı.

Ferguson daha sonra bu transfer kararını hata olarak değerlendirdi.

Transferin nedenlerine ilişkin farklı anlatımlar bulunuyor. Bunlardan biri, Stam'ın savunma müdahalelerindeki düşüşün performans kaybı şeklinde yorumlandığı yönünde.

İlk bakışta oldukça mantıklı görünüyor.

Bir savunma oyuncusu daha az müdahale ediyorsa eskisi kadar etkili değil demektir.

Gerçekten öyle mi?

Belki oyuncu yavaşlamıştı. Belki performansı düşmüştü.

Ama başka bir ihtimal daha vardı.

Belki de oyunu artık daha iyi okuyordu. Doğru pozisyon alarak rakibin hücumunu müdahaleye gerek kalmadan engelliyordu.

İyi savunma bazen yapılan müdahalelerin sayısında değil, müdahaleye ihtiyaç duyulmamasında saklıdır.

Burada önemli bir ayrım var. Stam transferindeki istatistik anlatısı, kararın tek ve kesin nedeni olarak doğrulanmış değil. Ancak örnek, veri yorumlamadaki temel sorunu çok iyi açıklıyor.

Bir metrik bize ne olduğunu gösterebilir.

Ama neden olduğunu tek başına açıklayamaz.

Bugün birçok organizasyonda performans değerlendirmeleri sayılar üzerinden yapılıyor.

Daha fazla satış. Daha fazla müşteri. Daha fazla tamamlanan görev. Daha az bekleme süresi.

Rakamların yönetim açısından avantajı açık. Karşılaştırılabiliyor, izlenebiliyor ve raporlanabiliyorlar.

Fakat burada bir tehlike var.

Ölçülmesi kolay olan şeyleri, değerli olan şeylerle karıştırabiliyoruz.

Örneğin bir IT destek çalışanının ayda 200 kayıt kapattığını düşünelim.

Başka bir çalışan ise 70 kayıt kapatmış olsun.

Hangisi daha başarılı?

Yalnızca bu iki rakama bakarsak ilk çalışanı seçebiliriz.

Oysa ikinci çalışan karmaşık sorunları çözmüş, tekrar eden arızaların kök nedenini ortadan kaldırmış ve gelecekte açılabilecek yüzlerce kaydı önlemiş olabilir.

Dashboard 200'e karşı 70 gösterir.

Ama organizasyona sağlanan gerçek değer bunun tam tersi olabilir.

Ekonomist Charles Goodhart'ın adıyla anılan ilke de benzer bir tehlikeye işaret ediyor: Bir ölçüm hedef haline getirildiğinde, temsil ettiği gerçekliği doğru yansıtma gücü zayıflayabilir.

Bir başka ifadeyle, insanları ölçtüğümüz göstergeleri iyileştirmeye yönlendirdiğimizde, asıl hedefi iyileştirmeyi garanti etmiş olmayız.

Bu yaklaşımın ticari dünyadaki en dikkat çekici örneklerinden biri Adidas.

2019 yılında şirketin paylaştığı değerlendirmeler, dijital pazarlama yatırımlarında önemli bir ölçüm sorunu olduğunu ortaya koydu.

O dönemde Adidas'ın reklam bütçesi dağılımı şöyleydi:

• %77: Performans pazarlaması
• %23: Marka oluşturma faaliyetleri

Bu dağılımın arkasında mantıklı görünen bir düşünce vardı.

Dijital reklamın dönüşümü ölçülebiliyordu. Kullanıcı reklama tıklıyor, ürünü inceliyor ve satın alıyordu.

Dolayısıyla satışın reklam sayesinde gerçekleştiği varsayılıyordu.

Fakat Latin Amerika'da ücretli arama reklamlarının devre dışı kaldığı bir dönemde trafik ve gelirde beklenen düşüş yaşanmadı.

Ekonometrik analizler de son tıklama verilerinin gösterdiğinden farklı bir tablo ortaya koydu.

İnsanlar gerçekten reklama tıklamıştı.

Fakat satın alma isteğinin oluşmasında uzun süreli marka yatırımları, başka iletişim kanalları ve daha önceki deneyimler rol oynamış olabilirdi.

Buradaki temel sorun ölçüm hatası değildi.

Satın alma öncesindeki son görünür temasın, satın alma kararının asıl nedeni kabul edilmesiydi.

Bu, pazarlamanın ötesinde çok daha geniş bir problem.

Korelasyon ile nedenselliği birbirine karıştırdığımızda, doğru veriler üzerinden yanlış yatırımlar yapabiliriz.

2018 yılında Nike, Colin Kaepernick'in yer aldığı reklam kampanyasını başlattığında sosyal medyada büyük bir tartışma yaşandı.

Boykot çağrıları yapıldı. Nike ürünlerinin yakıldığı videolar paylaşıldı. Markanın ticari olarak zarar göreceği yönünde yorumlar ortaya çıktı.

Ancak satış araştırmaları farklı bir sinyal verdi.

Edison Trends'in verilerine göre Nike'ın çevrimiçi satışları, kampanyanın duyurulduğu ABD Labor Day dönemindeki üç günlük karşılaştırma aralığında %31 arttı.

Önceki yıl aynı karşılaştırılabilir dönemde artış %17 olmuştu.

Bu rakamlardan kampanyanın satışları doğrudan %31 artırdığı sonucu çıkmaz. Mevsimsellik, mevcut talep ve diğer pazarlama faaliyetleri de satışları etkileyebilir.

Ancak şunu söyleyebiliriz:

Sosyal medyada görünür hale gelen olumsuz tepkiler, aynı dönemde ölçülen satış performansıyla aynı yönde ilerlemiyordu.

Neden?

Çünkü sosyal medyada konuşan insanlarla markanın bütün müşterileri aynı kitle değil.

Bir paylaşımın çok yayılması, o görüşün toplumda aynı oranda benimsendiği anlamına gelmez.

Görünürlük ile temsil gücü aynı şey değildir.

Bu ayrım yalnızca markalar açısından değil, kamuoyu araştırmaları, tüketici eğilimleri ve siyasi tartışmaların analizinde de önem taşıyor.

Buraya kadar incelediğimiz örnekler beni önemli bir ayrıma götürüyor.

Araştırmalarda çoğu zaman üç farklı veri türünü birlikte değerlendiriyoruz.

Davranış verileri: İnsanların gerçekten ne yaptığını gösteriyor. Satın alma, ziyaret, kullanım, tıklama ve abonelik gibi.

Tutum verileri: İnsanların ne düşündüğünü, neye güvendiğini veya gelecekte ne yapmaya eğilimli olduğunu anlamamıza yardımcı oluyor.

İfade verileri: İnsanların ne söylediğini gösteriyor. Sosyal medya mesajları, yorumlar, şikâyetler ve değerlendirmeler gibi.

Bu üçü aynı şeyi ölçmüyor.

Örneğin bir markanın satışları yükselirken müşterilerin gelecekte o markayı tercih etme eğilimi azalıyor olabilir.

Ya da sosyal medyada büyük tepki gören bir ürün, satış tarafında başarılı olabilir.

Bunlar her zaman çelişki değil.

Farklı veri türlerinin, aynı durumun farklı yönlerini göstermesi olabilir.

Bu nedenle iyi bir araştırmada yalnızca hangi metriğin yükseldiğine bakmak yeterli değil.

Hangi metriğin neyi temsil ettiğini de bilmemiz gerekiyor.

Bir diğer önemli problem de ortalamalara fazla güvenmemiz.

Bir şirketin müşteri memnuniyet ortalamasının 8 olduğunu düşünelim.

İlk bakışta iyi bir sonuç.

Ancak müşterilerin yarısı 10, diğer yarısı 6 puan vermiş olabilir.

Başka bir şirketteyse müşterilerin tamamı 8 puan vermiş olabilir.

İki şirketin ortalaması aynı.

Fakat müşteri deneyimlerinin dağılımı ve olası sorunları birbirinden oldukça farklı.

Bunun üzerine araştırmalarda örneklem yapısı, gruplar arasındaki farklılıklar ve zaman içindeki değişim de önem kazanıyor.

Türkiye açısından da aynı durum geçerli.

Ulusal düzeyde açıklanan bir ortalama, farklı gelir gruplarının, yaşların veya bölgelerin yaşadığı deneyimi tek başına anlatmayabilir.

Bir göstergenin yükselmesi herkesin durumunun iyileştiği anlamına gelmez.

Üstelik bazen toplulaştırılmış veride görülen ilişki, alt gruplar ayrı ayrı incelendiğinde tersine dönebilir.

İstatistikte Simpson paradoksu olarak bilinen bu durum, veriyi doğru gruplandırmanın neden önemli olduğunu hatırlatıyor.

Bir ortalama doğru olabilir. Fakat bütün hikâyeyi anlatmayabilir.

Şimdi bütün bu tartışmayı yapay zekâya taşıyalım.

Bugün bir yapay zekâ sistemine milyonlarca satırlık veri verebilir, saniyeler içinde analiz yaptırabiliriz.

Satışlardaki değişimi bulabilir. Müşteri davranışlarını sınıflandırabilir. Anormallikleri tespit edebilir. Görünürde birbiriyle ilişkili değişkenleri belirleyebilir.

Bunların hepsi önemli kazanımlar.

Ama yapay zekâ da kendisine verilen ölçümlerin sınırları içinde çalışıyor.

Örneğin bir sistem, çağrı merkezi çalışanlarının daha kısa görüşmeler yapmasının yüksek performansla ilişkili olduğunu tespit edebilir.

Bu ilişki gerçekten vardır.

Ancak bundan bütün görüşmelerin kısaltılması gerektiği sonucu çıkmaz.

Çünkü kısa görüşmeler daha basit sorunlardan kaynaklanıyor olabilir.

Yapay zekâ, doğru korelasyonu bulup yanlış nedensellik yorumu üretebilir.

Daha da önemlisi, bu yanlış yorumu son derece ikna edici bir dille sunabilir.

Benim burada gördüğüm yeni risk yalnızca yapay zekânın yanlış bilgi üretmesi değil.

Doğru bilgiden yanlış sonuç üretmesi ve bunu güvenilir bir analiz gibi sunması.

Bu hataları tespit etmek, açıkça yanlış rakamları bulmaktan bazen daha zor.

Çünkü sonuç tamamen mantıksız görünmez.

Hatta ilk bakışta oldukça ikna edici olabilir.

Bu konuyu kendi uzmanlık alanım olan siber güvenlik açısından düşündüğümde benzer bir problem görüyorum.

Örneğin bir güvenlik ekibinin geçen ay 1.000, bu ay 300 alarm aldığını düşünelim.

Alarm sayısı %70 azaldı.

Bu olumlu bir gelişme mi?

Olabilir.

Ama öncelikle neden azaldığını anlamak gerekir.

Gerçek tehdit sayısı düşmüş olabilir. Güvenlik önlemleri iyileşmiş olabilir. Yanlış pozitif alarmlar azaltılmış olabilir.

Ya da bir log kaynağı veri göndermeyi bırakmış, bir algılama kuralı kapatılmış veya koruma kapsamı daralmış olabilir.

Aynı sayı.

Tamamen farklı güvenlik sonuçları.

Benzer şekilde, bir zafiyet yönetim sisteminde açık sayısının azalması da mutlaka riskin azaldığı anlamına gelmez.

Risk değerlendirmesinde yalnızca açıkların sayısına değil; kritikliğine, istismar edilebilirliğine, internete açıklığına ve etkilenen sistemlerin iş açısından önemine bakmak gerekir.

Ölçtüğümüz şey güvenliğin kendisi değil, güvenliğin belirli bir göstergesi olabilir.

Bence araştırmacıların ve teknoloji yöneticilerinin ortak sorumluluğu tam da bu ayrımı fark etmek.

Bütün bunlar veriye daha az güvenmemiz gerektiği anlamına gelmiyor.

Tam tersine, daha disiplinli analiz yapmamız gerektiğini gösteriyor.

Ben bir metriği yorumlarken şu beş soruyu önemli buluyorum:

1. Bu sayı tam olarak neyi ölçüyor?

Gerçekten anlamak istediğim kavramı mı, yoksa onun yalnızca ölçülebilen bir parçasını mı?

2. Hangi bağlam eksik?

Zaman, örneklem, müşteri grubu, dış koşullar veya organizasyonel değişiklikler sonucu etkiliyor olabilir mi?

3. Başka hangi açıklamalar mümkün?

Gözlemlediğim ilişkiyi açıklayabilecek alternatif nedenler var mı?

4. Hangi veri benim yorumumu yanlışlayabilir?

Yalnızca görüşümü destekleyen sonuçları mı arıyorum, yoksa onu test mi ediyorum?

5. Bu sonuçla alınacak kararın riski nedir?

Küçük bir operasyonel düzenleme ile milyonlarca liralık yatırım kararında aynı kanıt düzeyi yeterli olmayabilir.

Bu sorular hata olasılığını sıfırlamaz.

Ama aceleyle kesin sonuçlara ulaşmamızı zorlaştırır.

Uzun yıllardır teknoloji sayesinde daha fazla veriye ulaşmayı başardık.

Ölçüm sistemlerimiz gelişti. Analiz araçlarımız hızlandı. Artık yapay zekâ sayesinde büyük veri kümelerini birkaç saniyede yorumlayabiliyoruz.

Fakat bütün bu ilerleme, temel bir sorunu ortadan kaldırmadı.

Veri, kendi anlamını beraberinde getirmiyor.

Bir sayıyı anlamlı hale getiren şey onun bağlamı, nasıl üretildiği, neyi temsil ettiği ve hangi alternatif açıklamalara açık olduğudur.

Araştırmacının görevinin yalnızca veriyi toplamak veya raporlamak olmadığını düşünüyorum.

Asıl değer, herkesin aynı rakama baktığı yerde farklı sorular sorabilmekte.

Bir satış artışının arkasındaki gerçek nedeni aramakta.

Bir performans düşüşünün belki de iyileşme anlamına gelebileceğini fark etmekte.

Ve gerektiğinde çok ikna edici görünen bir analize itiraz edebilmekte.

Çünkü bazen yanlış karar vermek için hatalı bir veriye ihtiyacımız yoktur.

Doğru bir sayıya, yanlış bir anlam yüklememiz yeterlidir.