AI İnsanları Tahmin Edebilir. Peki Ölçebilir mi?

Yapay zekânın pazar araştırmalarında yarattığı en heyecan verici vaatlerden biri sentetik katılımcılar.

Gerçek insanlardan oluşan yüzlerce veya binlerce kişilik bir örneklem toplamak yerine büyük dil modellerine demografik özellikler, davranışlar ve geçmiş bilgiler veriyoruz. Ardından onlardan gerçek bir tüketiciymiş gibi sorularımızı yanıtlamalarını istiyoruz.

Teorik olarak bunun cazibesine direnmek zor.

Saha maliyeti azalıyor.

Araştırma birkaç haftadan birkaç saate inebiliyor.

Binlerce farklı tüketici profili saniyeler içinde oluşturulabiliyor.

Aynı araştırma defalarca tekrarlanabiliyor.

Hatta gerçek tüketicilerle yapılması zor olan senaryolar önce sentetik örneklemler üzerinde test edilebiliyor.

Fakat bütün bunların arkasında kritik bir soru var:

Bir yapay zekâ insan gibi cevap verebiliyorsa, gerçekten insanları ölçmüş oluyor muyuz?

Prolific araştırmacılarının yayımladığı yeni çalışma bu soruya oldukça güçlü bir yanıt veriyor.

Yanıt şimdilik şu:

Hayır.

Çünkü insan davranışını tahmin etmek ile insan davranışını ölçmek aynı şey değil.

Araştırmacılar önce ABD'de politik açıdan temsili 996 kişilik gerçek bir örneklem oluşturdu.

Katılımcılara politika ve tüketici görüşlerini kapsayan 21 soruluk bir araştırma uygulandı.

Ancak çalışma burada bitmedi.

Aynı katılımcılar yapay zekâ tarafından yönetilen nitel görüşmelere de katıldı. Bu görüşmelerde insanların değerleri, güven ilişkileri ve karar verme biçimleri hakkında çok daha ayrıntılı bilgiler toplandı.

Daha sonra araştırmacılar ilginç bir deney yaptı.

Gerçek insanların verdikleri cevapları LLM tabanlı sentetik katılımcılarla yeniden üretmeye çalıştılar.

Modellere giderek daha fazla bilgi verildi.

İlk durumda model insanların kim olduğunu bilmiyordu.

Sonraki aşamada demografik bilgiler verildi.

Daha sonra bu bilgilere gerçek insanların görüşme transkriptleri eklendi.

Mantıken beklenen sonuç basitti:

Model bir insan hakkında ne kadar fazla bilgi sahibi olursa, o insanı o kadar iyi simüle etmeliydi.

Fakat sonuç tam olarak böyle olmadı.

Çalışmanın en dikkat çekici bulgularından biri araştırmacıların “fidelity paradox”, yani sadakat paradoksu olarak adlandırdığı durum.

Demografik personalar kullanılarak 996 ayrı sentetik katılımcı oluşturulduğunda sonuçların gerçek insanlara daha fazla yaklaşması bekleniyordu.

Tam tersine hata büyüdü.

Demografik personalarla yapılan bireysel simülasyon, modele doğrudan genel nüfus dağılımını sormaya kıyasla dağılımsal hatayı yaklaşık üç kat artırdı.

Sorunun nedeni modellerin hiçbir şey bilmemesi değildi.

Sorun modellerin insanları fazla düzenli hale getirmesiydi.

Bir insanı düşünelim.

45 yaşında.

Üniversite mezunu.

Belirli bir gelir grubunda.

Belirli bir bölgede yaşıyor.

Belirli bir siyasi eğilime sahip.

Bir LLM'e bu özellikleri verdiğimizde model bu kişinin belirli konularda nasıl düşünebileceğine ilişkin oldukça güçlü bir tahminde bulunabilir.

Fakat gerçek insanlar bu kadar tutarlı değildir.

Aynı demografik özelliklere sahip iki insan tamamen farklı ürünleri tercih edebilir.

Aynı siyasi görüşü paylaşan insanlar ekonomi konusunda farklı düşünebilir.

Aynı gelir grubundaki tüketiciler risk, marka, fiyat veya teknoloji konusunda birbirlerinden tamamen farklı davranabilir.

İnsan davranışının önemli bir bölümü tam da bu heterojenlikten oluşur.

Sentetik personalarda ise modelin öğrendiği kalıplar devreye giriyor.

Bunun sonucunda model belirli demografik grupları onların en olası veya en stereotipik cevaplarının çevresinde toplamaya başlayabiliyor.

Araştırmacıların gözlemlediği variance collapse tam olarak bu.

Gerçek toplumdaki görüş çeşitliliği sentetik toplumda daralıyor.

Burada sentetik araştırmalar açısından çok temel bir problem ortaya çıkıyor.

Ekranda 996 farklı persona görebiliriz.

Her birinin yaşı farklı olabilir.

Geliri farklı olabilir.

Eğitimi farklı olabilir.

Politik görüşü farklı olabilir.

Hatta her biri için ayrıntılı bir yaşam hikâyesi oluşturabiliriz.

Teknik olarak 996 farklı “katılımcımız” vardır.

Fakat istatistiksel açıdan başka bir soru sormamız gerekir:

Gerçekten 996 bağımsız insan mı gözlemliyoruz, yoksa aynı modelin insanlara ilişkin 996 tahminini mi?

Bu ayrım küçük görünse de araştırmanın temelini değiştiriyor.

Çünkü geleneksel araştırmada varyasyon gerçek insanlardan gelir.

Sentetik araştırmada ise varyasyon model tarafından üretilir.

Ve modelin üretmediği davranış çeşitliliği veri setinde hiçbir zaman ortaya çıkmaz.

Araştırmanın bir sonraki aşamasında sentetik personalara yalnızca demografik bilgiler verilmedi.

Gerçek katılımcılarla yapılan nitel görüşmelerin transkriptleri de modellere sağlandı.

Bu kez model insanların düşünme biçimleri hakkında çok daha zengin bilgiye sahipti.

Sonuçlar iyileşti.

Görüşme transkriptleri varyans çöküşünü önemli ölçüde azalttı.

Ancak kritik problem devam etti.

En zengin persona bilgisine sahip sentetik örneklem bile gerçek insanlardan oluşan ikinci bir örneklemin doğruluk seviyesine ulaşamadı.

Yani “digital twin” yaklaşımı bile ölçüm problemini tamamen ortadan kaldırmadı.

Çalışmanın belki de yapay zekâ araştırmaları açısından en değerli bulgusu burada ortaya çıkıyor.

Araştırmacılar modele şöyle sormak yerine:

“Bu kişi hangi cevabı verir?”

farklı bir yaklaşım kullandılar:

“Bu kişinin her cevap seçeneğini tercih etme olasılığı nedir?”

Bu küçük değişiklik oldukça büyük bir sonuç yarattı.

Her persona için tek bir kesin cevap istemek yerine cevap seçenekleri arasında olasılık dağılımı üretmek, dağılımsal hatayı yaklaşık %35 ile %48 arasında azalttı.

Bu sonuç önemli.

Çünkü problem modellerin toplumdaki çeşitliliği tamamen bilmemesi olmayabilir.

Model aslında belirsizliği biliyor olabilir.

Fakat biz modele tek cevap vermesini söylediğimizde bu belirsizliği ortadan kaldırmaya zorluyoruz.

Başka bir ifadeyle:

LLM'in bilgisinden çok, LLM ile kurduğumuz araştırma tasarımı sonuçları bozuyor olabilir.

Araştırmacılar daha sonra sentetik verileri gerçek araştırmalarda kullanılan istatistiksel yöntemlerle düzeltmeye çalıştı.

Bunun için MRP gibi post-stratification teknikleri kullanıldı.

Ancak kalan hata ortadan kalkmadı.

Bu da önemli bir ayrımı ortaya koyuyor.

Geleneksel araştırmalarda örneklem hatalarını belirli ölçülerde istatistiksel olarak düzeltebiliriz.

Fakat sentetik veride problem modelin kendisinden kaynaklanıyorsa klasik örneklem düzeltmeleri yeterli olmayabilir.

Çünkü düzeltilmeye çalışılan şey artık yalnızca örneklem değildir.

Modelin dünya hakkındaki tahminidir.

Çalışmanın başka bir bulgusu sentetik veri şirketlerinin performans iddiaları açısından da önemli.

Bir yöntem gerçek görüş dağılımını kötü şekilde yeniden üretirken en popüler cevabın hangisi olduğunu oldukça başarılı biçimde tahmin edebiliyor.

Örneğin gerçek sonuç şöyle olabilir:

A: %42

B: %35

C: %23

Sentetik model şöyle bir dağılım üretebilir:

A: %70

B: %20

C: %10

Model en popüler cevabı doğru tahmin etmiştir.

Fakat toplumun gerçek görüş dağılımını ciddi biçimde yanlış temsil etmektedir.

Bu nedenle sentetik araştırmalarda artık yalnızca şu soruyu sormak yeterli değil:

“Model ne kadar doğru?”

Asıl soru şu olmalı:

“Hangi ölçüte göre doğru?”

Buradan “sentetik katılımcılar işe yaramıyor” sonucu çıkarmak da aynı derecede hatalı olur.

Çalışmanın araştırmacıları da böyle bir sonuç çıkarmıyor.

Sentetik katılımcılar özellikle:

• erken aşama keşif,
• hipotez geliştirme,
• araştırma tasarımını test etme,
• soru alternatiflerini değerlendirme,
• olası tüketici tepkilerini simüle etme,
• senaryo analizi,
• gerçek araştırma öncesi yön belirleme

gibi alanlarda son derece güçlü araçlara dönüşebilir.

Bir marka yeni bir ürün fikrini 20 farklı tüketici segmenti üzerinde hızlıca test etmek istiyorsa sentetik personalar çok değerli olabilir.

Bir araştırmacı soru formundaki olası problemleri saha başlamadan görmek istiyorsa yine aynı şekilde.

Ancak burada kullanılan kelime önemli:

Tahmin.

Sentetik katılımcılar insanların ne düşünebileceğine ilişkin tahmin üretiyor.

Gerçek araştırma ise insanların ne düşündüğünü ölçmeye çalışıyor.

Bunlar birbirine benzeyen fakat epistemolojik olarak farklı iki faaliyet.

Bence yapay zekânın araştırma sektöründeki geleceği “sentetik araştırma mı, insan araştırması mı?” şeklindeki ikili seçim olmayacak.

Daha olası yapı üç katmanlı olacak.

İlk katmanda yapay zekâ bulunacak.

Binlerce senaryo, hipotez, persona ve araştırma alternatifi çok düşük maliyetle üretilecek.

İkinci katmanda gerçek insanlar devreye girecek.

AI tarafından üretilen hipotezler gerçek örneklemler üzerinde ölçülecek.

Üçüncü katmanda AI yeniden devreye girecek.

Nitel ve nicel verileri analiz edecek, ilişkileri keşfedecek ve yeni hipotezler oluşturacak.

Böylece araştırmanın döngüsü değişecek:

AI ile keşfet → insanlarla ölç → AI ile analiz et → yeniden insanlarla doğrula.

Bu model, “insanı araştırmadan çıkarma” fikrinden çok daha güçlü olabilir.

Büyük dil modelleri geçmişte insanların ürettiği devasa miktardaki veriden insan davranışının kalıplarını öğreniyor.

Bu nedenle ortalama bir insanın ne düşünebileceğini giderek daha iyi tahmin edebilirler.

Fakat araştırmanın amacı her zaman ortalama insanı bulmak değildir.

Bazen en değerli içgörü ortalamadan sapmada bulunur.

Beklenmedik tüketicide.

Azınlık görüşünde.

Çelişkili davranışta.

İnsanların söyledikleri ile yaptıkları arasındaki farkta.

Modelin “mantıksız” bulabileceği tercihte.

Gerçek insanların en rahatsız edici özelliği burada aynı zamanda araştırmacılar için en değerli özelliklerinden biri oluyor:

İnsanlar tamamen tutarlı değiller.

Ve belki de sentetik katılımcıların gerçek insanların yerini tamamen alamamasının nedeni tam olarak bu.

AI insan davranışını giderek daha iyi tahmin edebilir.

Ama tahmin, ölçüm değildir.

Araştırma sektörünün önümüzdeki yıllarda koruması gereken ayrım da muhtemelen bu olacak.