AI DEMEK YETMEZ, KANITLAMAK GEREKİR

Bir şirketin yapay zekâ kullandığını söylemesi kolay. Ama verinin gerçekten kendisine ait olduğunu, sisteminin zamanla geliştiğini ve sonuçların hukuken savunulabilir olduğunu kanıtlaması çok daha zor. AI çağında rekabetin yeni ölçüsü iddia değil, doğrulanabilirlik.

Son birkaç yılda şirket sunumlarına yeni bir kelime eklendi:

AI.

Önce ürünlerin yanına eklendi.

Sonra şirket stratejilerine.

Ardından yatırımcı sunumlarına.

Şimdi neredeyse her teknoloji platformu, araştırma şirketi ve analitik çözüm kendisini bir biçimde “AI powered” olarak tanımlıyor.

Ancak piyasanın sorduğu soru değişmeye başladı.

Eskiden:

“Yapay zekâ kullanıyor musunuz?”

deniyordu.

Şimdi giderek daha fazla:

“Kanıtlayabilir misiniz?”

deniyor.

Greenbook'taki serinin üçüncü ve son bölümü tam olarak bu değişimi ele alıyor: AI ve flywheel iddialarının artık pazarlama diliyle değil, teknik, hukuki ve ticari incelemeyle doğrulanması gerekiyor.

AI iddiasının bedeli yükseliyor

Bir şirketin teknolojisini biraz abartması geçmişte pazarlama dilinin olağan parçası sayılabilirdi.

Yapay zekâda durum değişiyor.

Yatırımcılar, satın alma ekipleri ve düzenleyiciler artık şirketlerin AI yetenekleriyle ilgili iddialarını daha yakından inceliyor.

Greenbook'un aktardığı örneklerde ABD'deki düzenleyici kurumların gerçekte olduğundan daha gelişmiş AI kapasitesine sahip olduğunu iddia eden şirketlere yönelik soruşturma ve yaptırımları dikkat çekiyor. Özel sermaye tarafında da yatırım ekiplerinin AI iddialarını teknik incelemeden geçirmesi giderek standart hale geliyor.

Bunun araştırma sektörü açısından anlamı oldukça açık.

“AI destekli analiz yapıyoruz.”

“Özel modelimiz var.”

“Verimiz sürekli öğreniyor.”

“Benzersiz bir flywheel oluşturduk.”

gibi ifadeler artık yalnızca pazarlama cümlesi olarak kalamayacak.

Her birinin altında gösterilebilir bir mekanizma bulunması gerekecek.

Birinci test: Veri gerçekten sizin mi?

Her şey veriyle başlıyor.

Şirket flywheel'ının benzersiz veriye dayandığını söylüyorsa ilk soru basit:

Bu verinin sahibi kim?

Veri gerçekten şirket tarafından mı üretildi?

Lisans mı alındı?

Üçüncü taraf kaynaklardan mı geliyor?

Web'den mi toplanıyor?

Müşteri verisi mi?

Ve bu veriyi AI modellerinde kullanma hakkı gerçekten var mı?

Bir sistem tamamen başka bir şirketin modeline ve başka kaynaklardan kiralanan verilere dayanıyorsa teknolojik açıdan değerli olabilir.

Ancak burada ciddi bir bağımlılık vardır.

Temel sağlayıcı fiyatını değiştirirse ne olur?

Erişim koşullarını değiştirirse?

Verinin yeniden kullanımını yasaklarsa?

Rakibiniz aynı servise erişirse?

Bu soruların cevapları ürünün önemli bölümünü ortadan kaldırıyorsa şirketin iddia ettiği rekabet avantajı düşündüğünden daha zayıf olabilir.

İkinci test: Sistem gerçekten daha iyi oluyor mu?

Flywheel'ın temel iddiası öğrenmedir.

Dolayısıyla en önemli soru da şudur:

Yeni veri geldikçe sistemin performansı gerçekten gelişiyor mu?

Bunun cevabı sunumda değil, ölçümlerde bulunmalı.

Örneğin:

Tahmin hatası zaman içinde azalıyor mu?

Doğruluk artıyor mu?

Güven aralıkları iyileşiyor mu?

Kapsanan durumların sayısı büyüyor mu?

Sistem hangi sıklıkla yeniden değerlendiriliyor?

Bu gelişmeler tarihsel olarak gösterilebiliyor mu?

Gerçek bir öğrenme döngüsü varsa bunun bir performans izi olması gerekir.

Aksi durumda şirket “sistemimiz sürekli öğreniyor” diyebilir ama gerçekte yalnızca veri deposu büyüyor olabilir.

Yapay zekâ çağında belki de en tehlikeli kavramlardan biri “learning” kelimesidir.

Çünkü veri toplanması kolayca ölçülebilir.

Öğrenme ise ancak performans değişikliğiyle kanıtlanabilir.

Üçüncü test: Teknik olarak mümkün olması hukuken mümkün olduğu anlamına gelmez

Bir şirket veri üzerinde teknik olarak işlem yapabiliyor olabilir.

Bu, o veriyi her amaçla kullanabileceği anlamına gelmez.

Özellikle araştırma sektöründe katılımcı verilerinin hangi amaçla toplandığı kritik önem taşıyor.

Bir katılımcı bir araştırmaya yanıt verirken verdiği bilgilerin yıllar sonra bir AI modelinin eğitiminde kullanılacağını kabul etmiş olmayabilir.

Dolayısıyla AI çağında veri yönetişimi araştırma metodolojisinin yan konusu olmaktan çıkıyor.

Merkeze geliyor.

Şirketlerin yalnızca verinin nereden geldiğini değil, hangi izin zinciriyle kullanılabildiğini de gösterebilmesi gerekecek.

Kaynak belli mi?

Rıza kayıtlı mı?

Yeniden kullanım koşulları açık mı?

Model eğitimine izin var mı?

Silme mekanizması var mı?

Bir gün yatırımcı, müşteri veya düzenleyici “bunu kanıtlayın” dediğinde belge çıkarılabiliyor mu?

Bunlara cevap verilemiyorsa teknolojik olarak çok güçlü görünen bir veri varlığı hukuki yükümlülüğe dönüşebilir.

Dördüncü test: Sistem mi güçlü, birkaç kişi mi?

Teknoloji şirketlerinde sık görülen başka bir risk daha var.

Sistem dışarıdan son derece gelişmiş görünür.

Ama aslında nasıl çalıştığını tam anlamıyla bilen yalnızca iki veya üç kişi vardır.

Veriyi onlar hazırlıyordur.

Model güncellemelerini onlar yapıyordur.

Hataları onlar biliyordur.

Belgelenmemiş istisnaları onlar yönetiyordur.

Bu durumda şirketin sahip olduğu şey kurumsal yetenek değil, kilit kişilere bağımlılıktır.

İnsan uzmanlığı elbette değerlidir.

Araştırma sektöründe özellikle değerlidir.

Ancak sürdürülebilir bir teknoloji avantajının kişilerin kafasında değil, süreçlerde, sistemlerde ve belgelerde yaşayabilmesi gerekir.

Aksi durumda birkaç kişinin ayrılmasıyla “AI flywheel” da kapıdan çıkıp gidebilir.

Dört soru birlikte sorulmalı

Bir şirketin AI avantajını değerlendirirken tek bir göstergenin yeterli olmadığı ortaya çıkıyor.

Dört alan birlikte düşünülmeli:

Veri ve girdiler gerçekten şirkete ait mi?

Yeni veri performansı kanıtlanabilir şekilde artırıyor mu?

Verinin kullanımı hukuken savunulabilir mi?

Sistem kişilerden bağımsız olarak kurumsallaşmış mı?

Bu dört unsurdan biri ciddi biçimde zayıfsa bütün yapı etkileniyor.

Çünkü rekabet avantajı toplama işlemi gibi çalışmıyor.

Daha çok çarpma işlemi gibi.

Bir faktör sıfıra yaklaştığında sonuç da hızla sıfıra yaklaşıyor.

Araştırma şirketleri için asıl mesaj

Bu konu yalnızca yatırım şirketlerinin satın alma incelemeleriyle ilgili değil.

Araştırma şirketlerinin müşterileri de benzer soruları sormaya başlayacak.

AI analiziniz nasıl doğrulanıyor?

Model hangi veriler üzerinde çalışıyor?

Verilerimiz eğitime giriyor mu?

Sonuçların kaynağını görebiliyor muyuz?

Yanlış sonuçları nasıl tespit ediyorsunuz?

İnsan kontrolü nerede devreye giriyor?

Sistem performansını nasıl ölçüyorsunuz?

Bir süre önce bunlar teknik ekibin cevaplayacağı sorular gibi görünüyordu.

Yakında satın alma şartnamesinin standart maddeleri olabilir.

AI çağında güvenin yeni tanımı

Araştırma sektörünün temel ürünü aslında hiçbir zaman yalnızca veri olmadı.

Güvendi.

Müşteri araştırma şirketine şunu emanet eder:

“Bana gerçeğe mümkün olduğunca yaklaşan bir okuma yap.”

Yapay zekâ bu ilişkiyi ortadan kaldırmıyor.

Tam tersine çıtayı yükseltiyor.

Çünkü analiz daha hızlı üretildikçe, üretimin nasıl yapıldığını açıklamak daha önemli hale geliyor.

Sonuçların sayısı arttıkça hangi sonuca güvenileceği daha kritik hale geliyor.

Ve AI iddiaları çoğaldıkça kanıtlanabilirlik yeni güven ölçüsüne dönüşüyor.

Serinin üç bölümünün ortak mesajı da aslında burada birleşiyor.

Veri tek başına avantaj değil.

AI tek başına avantaj değil.

Entegrasyon tek başına avantaj değil.

Gerçek avantaj; verinin, öğrenmenin, kararın ve sonucun birbirine bağlandığı, hukuken savunulabilir ve performansı ölçülebilir bir sistem kurabilmekte.

Son iki yılda herkes flywheel anlatmayı öğrendi.

Önümüzdeki dönemde farkı yaratacak olanlar ise muhtemelen çarkın gerçekten döndüğünü gösterebilenler olacak.