01Önce şu soruyu sor: bilgi mi, davranış mı?#
Bir şirket, kendi belgeleri hakkında soruları yanıtlayan bir asistan istiyor. İlk akla gelen iki yol var: modeli bu belgelerle ince ayarlamak ya da belgeleri sorgu anında bulup bağlama koymak (RAG). Doğru seçim, çözmek istediğin sorunun türüne bağlı:
- Bilgi sorunu: Model belirli bir olguyu, belgeyi ya da güncel veriyi bilmiyor.
- Davranış sorunu: Model bilgiyi biliyor ama yanıtın biçimi, üslubu veya görev anlayışı istediğin gibi değil.
Modelin hafızası yazısında üç hafıza türünü ayırmıştık. İnce ayar parametrik hafızayı (ağırlıkları) değiştirir; RAG ise bağlamı her istekte yeniden besler. Aynı hedefe farklı yerden dokunurlar.
02Yan yana#
| Kriter | İnce ayar | RAG |
|---|---|---|
| Bilgiyi güncellemek | Yeniden eğitim gerekir | Belgeyi değiştirmek yeter |
| Bir belgeyi “unutturmak” | Zor; ağırlıklardan çıkarmak kolay değildir | Belgeyi veri deposundan silmek yeter |
| Kaynak göstermek | Kendiliğinden gelmez | Getirilen parçalar doğal bir kaynaktır |
| Üslup, biçim, görev davranışı | Güçlü yönü budur | Sınırlı; istemle yönlendirilir |
| Çıkarım maliyeti | Ek bağlam gerekmez | Her istekte getirilen metin kadar uzun bağlam |
| Hata türü | Eski ya da uydurma bilgi | Yanlış belge getirmek, belgeye sadık kalmamak |
03Kanıt ne diyor?#
Ovadia ve arkadaşları, modele yeni bilgi kazandırmak için iki yolu karşılaştırdı. Bulgular: denetimsiz ince ayar bir miktar iyileşme sağlıyor, ama RAG, hem modelin eğitimde zaten karşılaştığı bilgi hem de tamamen yeni bilgi için tutarlı biçimde daha iyi sonuç veriyor. Model, denetimsiz ince ayarla yeni olgusal bilgiyi öğrenmekte zorlanıyor; aynı olgunun birçok farklı ifadesiyle karşılaşmak bu sorunu hafifletebiliyor. Ovadia ve diğerleri ↗
Burada çok önemli bir sınır var: çalışma denetimsiz ince ayarı inceliyor; talimat ince ayarı ya da pekiştirmeli öğrenmeye dayalı yöntemler hakkında doğrudan bir şey söylemiyor (bkz. asistan yazısı). Bu yüzden “ince ayar bilgi öğretmek için kötüdür” gibi genel bir sonuç çıkarmak, makalenin kapsamını aşar.
04Karar vermeden önce#
- Bilgi sık değişiyor mu? Değişiyorsa RAG’in güncelleme kolaylığı belirleyici olur.
- Kaynak göstermek veya silmek zorunda mısın? Hukuki ya da gizlilik gereksinimleri, veriyi ağırlıklara gömmekten kaçındırır.
- Sorun gerçekten bilgide mi? Model bilgiyi biliyor da yanlış biçimde mi cevap veriyor? O zaman ince ayar ya da daha iyi bir istem yeterli olabilir.
- Ucuz yolu dene: Önce istem ve RAG; yetmezse, LoRA gibi verimli ince ayar.
RAG’in araştırma analizini ve ince ayarın hizalama yönünü birlikte okumak, kararın iki yüzünü de gösterir. Şimdi bağlam yönetimine dönelim: Modele nasıl soru sorulur?
Bu yazıyı bitirdiğinde:
- Bir ihtiyacın “bilgi” mi “davranış” mı olduğuna bakarak yöntem seçebilirsin.
- İnce ayar ile RAG’ı yan yana koyup avantaj ve bedellerini sayabilirsin.
- Karar vermeden önce sorulacak soruları sıralayabilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Modele nasıl soru sorulur?
Orta · 8 dk okuma