Yapay Zekâya Veri Vermek Yetmiyor: Gerçek Bir AI Analisti Nasıl Kurulur?

Bir yapay zekâ modeline milyonlarca satır veri açıp “analiz et” demek, onu analist yapmıyor. Asıl fark; doğru soruyu tanımlamak, filtreleri görünür kılmak, korelasyonla nedenselliği ayırmak ve gerektiğinde “bunu bilmiyorum” diyebilmekte ortaya çıkıyor.

Yapay zekâyı veriyle buluşturduğumuzda beklentimiz genellikle oldukça yüksek.

Veritabanına erişsin.

Sorularımızı doğal dille anlayabilsin.

SQL yazsın.

Sonuçları yorumlasın.

Grafik oluştursun.

Hatta biz sormadan önemli bulguları keşfetsin.

Teknik olarak bunların büyük bölümünü bugün yapmak mümkün.

Fakat burada gözden kaçırılan bir ayrım var:

Veriye erişebilen bir yapay zekâ ile gerçekten analiz yapabilen bir yapay zekâ aynı şey değil.

Bu farkı oldukça güzel gösteren örneklerden biri Amerikan futbolundan geliyor.

Yaklaşık çeyrek milyon oyun kaydını kullanan bir AI analisti üzerinden çok basit görünen bir tartışmaya cevap aranıyor:

Bir takım maçı kazanmak için koşu oyununu erken kurmalı mı?

Spor tartışması gibi görünüyor.

Aslında arka planda çok daha önemli bir soru var:

Bir AI sistemine nasıl analitik düşünme öğretilir?

Önce soruyu anlamak gerekiyor

“Koşu oyununu kurmak kazanmayı sağlar mı?”

İlk bakışta veriyle cevaplanabilecek basit bir soru.

Ama biraz düşününce belirsizlikler başlıyor.

“Koşu oyununu kurmak” ne demek?

Maç boyunca çok koşmak mı?

İlk çeyrekte koşmak mı?

İlk yarıda koşmak mı?

Rakibi yoracak kadar koşmak mı?

Koşu oyunuyla savunmayı kandırıp pas oyununa alan açmak mı?

Bunların her biri farklı bir hipotez.

Dolayısıyla farklı veri gerekiyor.

İşte AI analistlerle çalışırken ilk önemli ders burada ortaya çıkıyor:

Modelin ilk görevi cevap vermek değil, hangi soruya cevap verdiğini açıklamak olmalı.

Bu kulağa küçük bir ayrıntı gibi gelebilir.

Değil.

Çünkü analitik hataların önemli bölümü yanlış hesaplamadan değil, yanlış tanımlanmış soruların doğru hesaplanmasından kaynaklanıyor.

Veriler bazen ikna edici biçimde yanlış hikâyeler anlatır

İlk veri oldukça çarpıcı.

Son beş sezona bakıldığında en yüksek koşu oranına sahip takımlar maçlarının:

%77,7’sini kazanmış.

En düşük koşu oranına sahip takımların kazanma oranı ise yalnızca:

%19,2.

Sonuç neredeyse tartışmasız görünüyor.

Çok koşan kazanıyor.

Dosyayı kapatabiliriz.

İnsan zihni de yapay zekâ da böyle sonuçları sever. Çünkü rakam güçlüdür, fark büyüktür ve anlatılabilecek güzel bir hikâye vardır.

Fakat küçük bir sorun bulunuyor.

Kazanan takımlar maçın son bölümünde zaten önde oldukları için daha fazla koşuyor olabilirler.

Amerikan futbolunda önde olan takım genellikle süreyi tüketmek ister. Bunun yollarından biri de koşu oyunudur.

Yani denklem şu olabilir:

Çok koştular → kazandılar

yerine

Kazanıyorlardı → daha çok koştular.

Bu, veri analizinin en eski tuzaklarından biri.

Korelasyonu nedensellik sanmak.

Ve yapay zekâ bu tuzağa insanlar kadar rahat düşebiliyor.

Tek bir filtre bütün hikâyeyi değiştirebilir

Analiz biraz daha dikkatli yapıldığında farklı bir yaklaşım uygulanıyor.

Sadece:

• ilk yarıdaki oyunlara,
• devre arasında skor farkının üç sayı veya daha az olduğu maçlara

bakılıyor.

Amaç mümkün olduğunca birbirine yakın maçları karşılaştırmak.

Sonuç bu kez tersine dönüyor.

İlk yarıda en fazla koşan takımların kazanma oranı:

%46,3

En az koşanların kazanma oranı:

%55,3

Bir anda ilk hikâye ortadan kayboluyor.

Ama burada da başka bir hata yapmamak gerekiyor.

Bu sonuç:

“Çok pas atan takımlar kazanır.”

anlamına gelmiyor.

Sadece şu anlama geliyor:

Bu belirli veri setinde, bu filtreler altında, ilk yarıda daha fazla koşmak ile kazanmak arasında beklenen pozitif ilişki görülmüyor.

İyi analist ile kötü analist arasındaki fark bazen tam olarak bu cümlede yatıyor.

Ve AI analistleri için de durum farklı değil.

Filtreler sonucun dipnotu değil, sonucun kendisidir

Bugün yapay zekâ destekli veri araçlarının en cazip özelliklerinden biri sonuçları çok hızlı üretmeleri.

Bir soru soruyoruz.

Birkaç saniye sonra:

• tablo,
• grafik,
• yüzdeler,
• yorum,
• hatta yönetici özeti

karşımızda.

Ama yalnızca sonuçları görmek yeterli değil.

AI analistin aynı zamanda şunları göstermesi gerekiyor:

Hangi veriyi kullandın?

Hangi dönemi seçtin?

Hangi kayıtları çıkardın?

Hangi filtreleri uyguladın?

Kaç gözlem kaldı?

Hangi sorguyu çalıştırdın?

Çünkü bir analizde kullanılan filtre değiştiğinde sonuç tamamen değişebiliyor.

Bu nedenle geleceğin AI analistlerinde belki de en önemli özelliklerden biri “cevap üretme yeteneği” değil:

analitik iz bırakma yeteneği olacak.

Küçük örneklem, büyük cümleleri sevmez

Aynı analiz mevcut sezona uygulandığında benzer bir eğilim görülebiliyor.

Fakat bu kez bazı gruplarda sadece 11 takım-maç gözlemi bulunuyor.

Bu noktada iyi bir sistemin yapması gereken şey oldukça basit:

Heyecanlanmamak.

Çünkü tek bir maç bile yüzdeleri ciddi biçimde değiştirebilir.

LLM'lerle çalışan sistemlerde ise bunun tam tersi davranışa sık rastlıyoruz.

Model birkaç veri noktası buluyor ve hemen:

“Bu güçlü bir trend gösteriyor.”

benzeri cümleler kurabiliyor.

Oysa güvenilir AI analistinin yalnızca sonuç üretmesi değil, sonucun ne kadar güvenilir olduğunu da değerlendirmesi gerekiyor.

Bu nedenle örneklem büyüklüğü, eksik veri, ölçüm hataları ve belirsizlik analizin doğal parçası olmalı.

Bir AI analistinin “bilmiyorum” diyebilmesi gerekiyor

Bence bu örneğin en değerli taraflarından biri burada.

Sisteme futbol verileri verilmiş olması, futbolla ilgili her soruya cevap vermesi gerektiği anlamına gelmiyor.

Örneğin:

“Hangi takıma bahis oynamalıyım?”

sorusu sistemin görev alanının dışında.

İyi tasarlanmış bir ajan bu noktada veri aracını bile çağırmadan isteği reddediyor.

Bu davranış aslında AI sistemleri açısından oldukça önemli bir olgunluk göstergesi.

Çünkü bugün modelleri genellikle şu özellikleri üzerinden değerlendiriyoruz:

Ne kadar çok şey yapabiliyor?

Belki ikinci bir ölçüt daha gerekiyor:

Ne zaman bir şeyi yapmaması gerektiğini biliyor mu?

Kurumsal AI sistemlerinde bu soru giderek daha önemli hâle geliyor.

Anthropic'in agent değerlendirmeleri üzerine yayımladığı çalışmalar da benzer bir noktaya dikkat çekiyor: ajanlar yalnızca tek bir cevap üretmiyor; araç çağırıyor, ara kararlar veriyor ve süreç boyunca durum değiştiriyor. Bu nedenle sistemin yalnızca nihai cevabını değil, davranış zincirini de değerlendirmek gerekiyor.

Microsoft'un agent güvenliği çalışmalarında da benzer biçimde politikaların yalnızca dokümanlarda kalmasının yeterli olmadığı, kontrollerin sistemin gerçekten hata yapabileceği noktalara yerleştirilmesi gerektiği vurgulanıyor.

Asıl mesele ChatGPT'ye SQL yazdırmak değil

Son birkaç yılda “AI veri analisti” denildiğinde genellikle şu mimariyi gördük:

Doğal dil → LLM → SQL → Veritabanı → Sonuç

Bu yaklaşım faydalı.

Ama tek başına yeterli değil.

Çünkü gerçek analistin yaptığı iş SQL üretmekten daha geniş.

Bir analist:

1. Soruyu tanımlar.
2. Hipotez kurar.
3. Uygun veriyi seçer.
4. Verinin sınırlarını değerlendirir.
5. Alternatif açıklamaları düşünür.
6. Analizi gerçekleştirir.
7. Sonucu doğrular.
8. Belirsizliği açıklar.
9. Bulguyu bağlama yerleştirir.

Dolayısıyla gerçek AI analist mimarisi daha çok şöyle görünmeli:

Soru → Tanım → Hipotez → Veri → Analiz → Kontrol → Yorum → Sınırlar

Bu fark önemli.

Çünkü ilk sistem sorgu motorudur.

İkincisi ise yavaş yavaş analitik sisteme dönüşmektedir.

Spor verileri bunun için şaşırtıcı derecede iyi bir laboratuvar

Spor analitiğinde bu yaklaşımın başka örneklerini de görüyoruz.

SPORTSQL adlı araştırma sistemi, kullanıcıların doğal dille spor verilerine soru sorabilmesi için LLM'leri gerçek zamanlı ve zamana duyarlı veri tabanlarıyla birleştiriyor. Araştırmacılar sistemi değerlendirmek için 1.700'den fazla soru, bunların SQL karşılıkları ve veri tabanı anlık görüntülerinden oluşan ayrı bir benchmark geliştirmiş durumda.

GridMind ise işi daha ileri götürerek yapılandırılmış istatistikleri, metinleri ve farklı veri türlerini birden fazla uzman ajan üzerinden birleştirmeyi deniyor.

Bunlar yalnızca spor uygulamaları değil.

Aslında küçük ölçekte geleceğin kurumsal analitik mimarisini gösteriyorlar.

Çünkü bir şirketin verileri de bundan çok farklı değil.

CRM başka yerde.

Finans verileri başka yerde.

Müşteri araştırmaları başka yerde.

Operasyon verileri başka yerde.

Dokümanlar, e-postalar, pazar araştırmaları ve dış kaynaklar ise tamamen farklı formatlarda.

Gerçek AI analisti bütün bunlar arasında çalışmak zorunda.

AI analistleri için bir yetenek merdiveni oluşuyor

Burada dikkatimi çeken başka bir şey daha var.

Güvenilir AI analisti bir anda “otonom” hâle getirilmiyor.

Yetki kademeli olarak artırılıyor.

Kabaca şöyle bir yol ortaya çıkıyor:

1. Veriye erişim

Model yalnızca doğru veriyi buluyor.

2. Şeffaf sorgulama

Hangi sorgunun çalıştırıldığını gösteriyor.

3. Ortak veri tanımları

Metriklerin ne anlama geldiğini kalıcı biçimde öğreniyor.

4. Tutarlı görselleştirme

Sonuçları standart yöntemlerle sunuyor.

5. Doğrulama

Kendi analizini başka yöntemlerle kontrol ediyor.

6. Sınırlar

Hangi sorulara cevap vermemesi gerektiğini biliyor.

7. Talep sınıflandırma

Her sorunun aynı yöntemle çözülmeyeceğini anlayabiliyor.

8. Kendi kendine analiz

İnsan tarafından açıkça sorulmayan ilginç anomalileri veya ilişkileri araştırabiliyor.

9. Zamanlanmış otonomi

Belirli analizleri kendi başına düzenli olarak gerçekleştirebiliyor.

O’Reilly'nin Monday Morning Agent çalışmasında da sekiz bölüm boyunca benzer biçimde şeffaf sorgulardan kalıcı veri tanımlarına, doğrulamadan görev sınırlarına ve sonunda planlanmış otonomiye doğru ilerleyen bir yapı kuruluyor.

Burada önemli kelime kademeli.

Çünkü AI sistemlerinde bugün zaman zaman yaptığımız şey bunun tam tersi.

Model daha ilk gün:

“Al veritabanını, karar ver, raporu gönder.”

İnsanlık otomasyonu keşfettiğinden beri aynı hatayı farklı makinelerle tekrarlamak konusunda oldukça istikrarlı.

Kurumlarda dönüşüm burada başlayabilir

Bu yaklaşımı futboldan çıkarıp iş dünyasına taşıyalım.

Bir yöneticinin AI analistine şunu sorduğunu düşünelim:

“Satışlarımız neden düştü?”

Bugünkü birçok sistem birkaç tablo çeker ve cevap verir:

“Satışlar özellikle Marmara bölgesinde %12 azalmıştır.”

Bu analiz değildir.

Bu sadece gözlemdir.

Gerçek analist ikinci soruyu sorar:

Neye kıyasla?

Sonra:

Hangi ürünlerde?

Fiyat değişti mi?

Dağıtım değişti mi?

Müşteri sayısı mı düştü yoksa sepet büyüklüğü mü?

Sezon etkisi var mı?

Geçen yıl olağandışı bir dönem miydi?

Rakiplerde benzer hareket var mı?

AI analistlerin gerçek değeri de burada ortaya çıkacak.

Sorularımıza hemen cevap vermelerinde değil.

Bazen sorumuzun yanlış olduğunu fark etmelerinde.

Araştırma dünyası açısından daha da önemli

Pazar araştırmasında bu konu benim için özellikle ilginç.

Çünkü araştırmacının işi zaten büyük ölçüde şundan oluşuyor:

Veriyi bulmak değil, verinin ne anlama geldiğini anlamaya çalışmak.

Bir araştırma sonucunda:

“Katılımcıların %62'si X dedi.”

cümlesi tek başına çok az şey anlatır.

Asıl sorular sonra başlar.

Kimler söyledi?

Kimler söylemedi?

Geçen yıl neydi?

Başka araştırmalarda sonuç aynı mı?

Soru nasıl soruldu?

Örneklem kimlerden oluşuyor?

Davranış ile beyan örtüşüyor mu?

Türkiye diğer ülkelerden ayrışıyor mu?

Başka hangi değişken bunu açıklayabilir?

AI sistemleri bu araştırma reflekslerini öğrenebilirse, analitik işlerde gerçekten güçlü bir dönüşüm başlayabilir.

Ama yalnızca rapor özetleyen modeller üretirsek, elimizde çok hızlı çalışan bir metin üreticisi olur.

Bir araştırmacı değil.

Bence geleceğin AI analistinin beş temel özelliği olacak

Bu örneklerden benim çıkardığım çerçeve oldukça basit:

1. Soruyu sorgulayacak

Her kullanıcı sorusunun doğru kurulmuş olduğunu varsaymayacak.

2. Analizini yeniden üretilebilir hâle getirecek

Veri kaynağı, sorgu, filtre ve örneklem görünür olacak.

3. Nedensellik konusunda temkinli olacak

Birlikte değişen iki şeyin birbirinin nedeni olduğunu otomatik olarak varsaymayacak.

4. Belirsizliği saklamayacak

Küçük örneklem veya yetersiz veri varsa bunu cevabın merkezine koyacak.

5. Yetkisinin sınırlarını bilecek

Her soruya cevap vermeye çalışmayacak.

Bu özelliklerin hiçbirisi gösterişli değil.

Yeni bir model demosunda alkış toplaması da zor.

Ama gerçek dünyada güvenilir analitik sistem ile etkileyici bir demo arasındaki fark genellikle böyle sıkıcı ayrıntılarda ortaya çıkıyor.

Daha fazla zekâdan önce daha iyi yöntem gerekiyor

Yapay zekâ modelleri giderek daha güçlü hâle geliyor.

Daha büyük bağlam pencereleri kullanıyorlar.

Daha fazla araç çağırabiliyorlar.

Kod yazabiliyorlar.

Veritabanlarına bağlanabiliyorlar.

Dosyaları okuyabiliyorlar.

Kendi görevlerini planlayabiliyorlar.

Fakat bunların hiçbiri tek başına onları iyi bir analist yapmıyor.

Çünkü analizin temelinde yalnızca hesaplama yok.

Yöntem var.

Soruyu doğru tanımlamak var.

Verinin sınırlarını görmek var.

Alternatif açıklamalar düşünmek var.

Sonucun gerçekten desteklediğinden daha büyük bir iddia kurmamak var.

Ve bazen en değerlisi:

“Bu verilerle bunu söyleyemeyiz.”

diyebilmek var.

Amerikan futbolunda “koşu oyununu kurmak gerekir mi?” tartışması bunun için oldukça eğlenceli bir deney alanı.

Ama burada geliştirilen yöntemlerin asıl kullanım alanı futbol sahası olmayabilir.

Yarın aynı yaklaşımı satışlarımızı, müşteri davranışlarını, çalışan deneyimini, pazar araştırmalarını veya ekonomik göstergeleri analiz eden ajanlarda görebiliriz.

O noktada asıl soru artık:

“AI verilerimizi analiz edebilir mi?”

olmayacak.

Daha önemli bir soru soracağız:

“Bu analize güvenebilir miyiz?”

Ve bana kalırsa AI analistleri için gerçek eşik de tam olarak burada başlayacak.