01Modelin bilmediği bir belge#
Bir dil modeline bugün güncellenmiş bir teknik belge hakkında soru sorduğunu düşün. Belge eğitim verisinde yoksa, yalnızca parametrelerdeki bilgiye dayanan bir yanıt eksik kalabilir. Retrieval-augmented generation, kısaca RAG, ilgili belgeleri getirip üretim sürecine bağlam olarak ekleyen bir yaklaşımdır.
Lewis ve diğerlerinin 2020 tarihli çalışması, öğrenilmiş bir getirici ile metin üreten modeli bir araya getirir. Parametrelerdeki bilgi ile dışarıdan erişilen belge bilgisini birlikte kullanır. Bu yazı güncel bir ürün haberi değil, bu temel araştırma fikrinin kısa bir analizidir. Özgün araştırma ↗
02Sor, getir, üret#
Bu akışta iki farklı kalite sorusu vardır. Getirici doğru belgeyi buldu mu? Ardından, üretici belgedeki bilgiyi doğru kullandı mı? İlgili bir belge hiç gelmediyse, iyi yazılmış bir yanıt bunu telafi etmeyebilir. Doğru belge gelmiş olması da modelin ona sadık kalacağını tek başına garanti etmez.
03Bir kaynak, doğruluk garantisi değildir#
RAG, dış bilgiyi güncellemenin bir yolunu açar; her değişiklik için modelin tamamını yeniden eğitmek gerekmez. Bunun karşılığında belge seçimi, erişim, güncellik ve bağlama sığdırma gibi sorunlar ortaya çıkar. Bu, mimarinin bileşenlerinden çıkan bir değerlendirmedir; her RAG sistemi için ölçülmüş bir performans iddiası değildir.
Bir sistemi değerlendirirken yalnızca yanıtın akıcılığına bakma. Getirilen parçaları, yanıtın bu parçalarla desteklenip desteklenmediğini ve bilgi bulunmadığında ne yaptığını da incele.
↗Makaleden başla#
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Lewis ve diğerleri (2020). Okumadan önce embedding, bağlam penceresi ve Transformer kavramlarına göz atabilirsin.
Bu yazıyı bitirdiğinde:
- RAG’ın “sor, getir, üret” adımlarını anlatabilirsin.
- Bir kaynağın doğruluk garantisi olmadığını açıklayabilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Ölçek yasaları: büyük model mi, çok veri mi?
Orta · 7 dk okuma