01“Hatırlıyor” demek üç ayrı şey olabilir#
Bir yapay zekâ asistanı bir bilgiyi “hatırladığında” bunun arkasında üç farklı mekanizmadan biri olabilir. Hangisi olduğunu ayırt etmek, hem beklentini hem de hatayı yorumlama biçimini değiştirir. Dil modelleri için araştırmacılar da benzer bir ayrımı yapar: RAG makalesi, ağırlıklarda saklanan parametrik hafıza ile dışarıdan erişilen parametrik olmayan hafızayı birleştiren bir model tanıtır. Lewis ve diğerleri ↗
| Hafıza | Nerede durur | Ne kadar sürer | Kim değiştirir |
|---|---|---|---|
| Parametrik bilgi | Modelin ağırlıklarında | Eğitimle belirlenir; konuşma bitince de durur | Model sağlayıcısı (eğitim, ince ayar) |
| Bağlam | O isteğin token dizisinde | Yalnızca o isteğin süresince | Sen ve uygulama (ne gönderildiği) |
| Uygulama hafızası | Uygulamanın veri tabanında, notlarda | Uygulama silene kadar | Uygulama ve kullanıcı |
02Ağırlıklardaki bilgi: sıkıştırılmış örüntüler#
Ön eğitimden sonra model, gördüğü metindeki örüntüleri parametrelerine dağıtılmış biçimde taşır. Bu bir arama tablosu değil: “Ankara” bilgisi tek bir yerde saklanan bir satır olarak bulunmaz. Bu yüzden doğru hatırlamayı da uydurmayı da aynı mekanizma üretir (halüsinasyon yazısı).
İki sonuç var. Birincisi, bilginin bir kesim tarihi vardır: eğitimden sonra olan olayları, sana verilmedikçe model bilemez. İkincisi, onu sohbet ederek değiştiremezsin: yeni bilgiyi ağırlıklara yazmak eğitim ya da ince ayar gerektirir (bkz. asistan yazısı).
03Bağlam: modelin o anki masası#
Birçok sohbet arayüzünde model, istekler arasında bir durum saklamaz. Konuşmayı sürdürmenin yolu, her yeni mesajda önceki mesajları yeniden göndermektir: uygulama konuşma geçmişini yeniden bir uzun metin hâline getirir ve modele verir (prompt yazısında gördüğün gibi). Model, geçmişi “hatırlamaz”, yeniden okur.
Bunun üç sonucu vardır:
- Sınır: Bağlam penceresi dolarsa en eski kısımlar kesilir ya da özetlenir; kesilen bilgi artık yoktur.
- Maliyet: Her istekte tüm geçmiş yeniden işlenir; uzun konuşmalar daha yavaş ve pahalıdır.
- Dikkat: Her şey pencereye girse bile eşit iyi kullanılmaz; ortadaki bilgiler zayıf kalabilir (Lost in the Middle ↗).
04Uygulama hafızası: yazılımın not defteri#
Bazı asistanlar konuşmalar arasında bir şey “hatırlar”. Bu genellikle şöyle çalışır: uygulama, senin söylediklerinden notlar çıkarıp bir veri tabanında saklar; yeni bir konuşmada ilgili notları seçer ve bağlama ekler. Yani bu, RAG fikrinin kişisel notlara uygulanmasıdır: modelin kendisi değişmez, bağlamına her seferinde yeniden bilgi eklenir.
Bunun pratik sonuçları var:
- Silmek mümkün olabilir: Not, modelin ağırlıklarında değil uygulamanın kayıtlarındadır; silme ve düzenleme olanakları uygulamaya bağlıdır.
- Yanlış not kalıcıdır: Bir not yanlış çıkarıldıysa her yeni konuşmaya yanlış bilgi taşınır.
- Gizlilik: Hangi bilgilerin saklandığını, kimin görebildiğini ve ne kadar süreyle tutulduğunu uygulamanın politikası belirler.
05Bir hatırlamayı çözümle#
Modeller yalnızca metin okumuyor. Yapay zekâ resmi nasıl görür, nasıl çizer? aynı fikirlerin görüntüye nasıl taşındığını gösteriyor.
Bu yazıyı bitirdiğinde:
- “Hatırlıyor” denmesinin üç farklı anlama gelebileceğini ayırt edebilirsin.
- Ağırlıklardaki bilgi, bağlam ve uygulama hafızasını birbirinden ayırabilirsin.
- Bir “hatırlama” örneğini bu üç kaynaktan hangisinin yaptığını çözümleyebilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Yapay zekâ resmi nasıl görür, nasıl çizer?
Orta · 8 dk okuma