Yapay Zekânın Yeni Sorunu: Unutmuyor, Ama Göremiyor

Yapay zekâ dünyasında uzun süre aynı hedef konuşuldu: Daha büyük modeller, daha büyük bağlam pencereleri ve daha fazla token.

Bir dönem 8 bin token etkileyiciydi. Sonra 32 bin geldi. Ardından yüz binler ve bugün milyonlarca token'lık context window sunan modellerden bahsediyoruz.

İlk bakışta bu gelişme oldukça mantıklı görünüyor. Daha fazla bilgi taşıyabilen bir modelin daha iyi karar vermesi beklenir.

Ancak işler düşündüğümüz kadar basit değil.

Son dönemde yapılan araştırmalar çok ilginç bir gerçeği ortaya koyuyor:

Yapay zekâ bazen bilgiyi unutmaz.

Sadece onu görmez.

Ve bu ikisi arasında devasa bir fark vardır.

Çoğu kişi büyük context window'u daha büyük RAM gibi düşünüyor.

Mantık şu:

"Daha fazla bilgi sığarsa daha doğru cevap verir."

Ne yazık ki transformer mimarisi böyle çalışmıyor.

Model bütün bağlamı teknik olarak görebiliyor olsa bile, dikkat mekanizması her bölgeye aynı önemi vermiyor.

Başlangıçta bulunan bilgiler daha fazla ağırlık kazanıyor.

En son verilen bilgiler de benzer şekilde öne çıkıyor.

Fakat ortadaki bilgiler...

İşte asıl problem burada başlıyor.

Araştırmalar bunu oldukça net gösteriyor.

Bir bilgi uzun bir bağlamın tam ortasına yerleştirildiğinde modelin onu kullanma olasılığı ciddi biçimde düşüyor.

Bilgi hâlâ oradadır.

Silinmemiştir.

Context Window'ın dışına çıkmamıştır.

Fakat model karar üretirken onu dikkate almamaya başlayabilir.

Bu durum "Lost in the Middle" olarak adlandırılıyor.

Başka bir ifadeyle;

Model unutmaz.

Ama odaklanmaz.

İşin en ilginç tarafı burası.

Yeni çalışmalar bunun eğitim verisinden kaynaklanan geçici bir problem olmadığını gösteriyor.

Sorun büyük ölçüde transformer mimarisinin dikkat mekanizmasından kaynaklanıyor.

Başlangıç bilgileri doğal olarak daha güçlü temsil edilir.

Son bilgiler ise üretim anına daha yakın olduğu için tekrar öne çıkar.

Ortada kalan bölüm ise iki etkinin arasında sıkışır.

Yani context window büyüdükçe...

Ortada kaybolabilecek alan da büyüyor.

Tek bir soru cevaplayan sohbet botunda bu durum çok fark edilmeyebilir.

Ancak onlarca adım çalışan AI Agent'larda etkisi katlanarak büyüyor.

Düşünün;

Bir agent

• doküman okuyor,
• kod yazıyor,
• log inceliyor,
• SQL çalıştırıyor,
• rapor oluşturuyor,
• e-posta hazırlıyor,
• sonra tekrar ilk dokümana dönmesi gerekiyor.

İşte tam bu noktada kritik bilgi bağlamın ortasında kalabiliyor.

Sonuç ise oldukça tanıdık.

Agent yanlış dosyayı kullanıyor.

Eksik rapor hazırlıyor.

Var olan bilgiyi yeniden üretiyor.

Hatta bazen kendi yazdığı belgeyi bile kullanmıyor.

Uzun süre Prompt Engineering konuşuldu.

Daha iyi prompt yazarsak daha iyi sonuç alacağımız düşünüldü.

Bugün ise başka bir kavram öne çıkıyor.

Context Engineering.

Yani modele ne söylediğiniz kadar,

hangi bilgiyi,

hangi sırayla,

hangi formatta,

hangi anda verdiğiniz önem kazanıyor.

Asıl rekabet burada başlayacak.

Şirketler için konu çok daha kritik.

Bir AI Agent'ın çalışması gereken bilgi;

• SharePoint'te olabilir,
• ERP'de olabilir,
• CRM'de olabilir,
• SQL'de olabilir,
• Teams konuşmalarında olabilir,
• Git deposunda olabilir,
• PDF içinde olabilir.

Bu bilgilerin hepsini tek seferde modele yüklemek çözüm değildir.

Çünkü model hepsini eşit derecede kullanmayacaktır.

Başarılı kurumlar bilgi depolayan değil,

bilgiyi doğru zamanda yeniden yükleyen sistemler kuracak.

Gelecekte başarılı AI sistemleri şu özelliklere sahip olacak:

• kısa çalışan agent'lar
• checkpoint mekanizması
• sürekli özet üretimi
• harici hafıza
• doğrulama katmanı
• yeniden okuma mekanizması
• kaynak bazlı karar üretimi

Yani yapay zekâya daha fazla bilgi vermek yerine,

doğru bilgiyi doğru anda vermek çok daha önemli olacak.

Bugün milyonlarca token konuşuyoruz.

Yarın belki on milyon token konuşacağız.

Ancak sorun değişmeyecek.

İnsan beyni gibi yapay zekâ da çalışma hafızasının sınırlarıyla mücadele ediyor.

Bu nedenle geleceğin kazananları en büyük modeli kullananlar olmayacak.

Bilgiyi en iyi yönetenler olacak.

Prompt Engineering bizi bugüne getirdi.

Context Engineering ise önümüzdeki on yılın en önemli mühendislik alanlarından biri olmaya aday görünüyor.