Ham dil modeli, asistana nasıl dönüşür?

01Önce devasa bir “devam ettirici”#

Eğitim ve tahmin yazılarında gördüğün hedef, ön eğitimin hedefidir: çok büyük bir metin derlemindeki bir sonraki tokenı tahmin etmek. Bu aşamadan çıkan model, dilin kalıplarını ve eğitim verisindeki birçok bilgiyi öğrenmiştir. Ancak ona bir soru yazdığında, soruya yanıt vermek yerine, soruyu başka sorularla sürdürmek de “akıcı bir devam” olabilir.

Bu fark önemlidir. InstructGPT makalesinin çıkış noktası, dil modellerini büyütmenin onları kullanıcının niyetini izlemede kendiliğinden daha iyi yapmadığıdır. Yani “ham” bir model güçlü olabilir ama asistan gibi davranması için ek bir eğitim gerekir.

02Birinci adım: örnekleri taklit et#

Gözetimli ince ayarda (SFT), insan etiketleyiciler çeşitli istemler için istenen yanıtları yazar. Model, bu istem–yanıt çiftleri üzerinde yine bir sonraki token tahmin hedefiyle, ama bu kez çok daha küçük ve özenle hazırlanmış bir veriyle eğitilir. Böylece “talimat gelince nasıl biçimde yanıt verilir” kalıbını öğrenir.

Bu aşama ağırlıkları yeniden ayarlar. Prompt yazısında göreceğin “bağlama örnek koymak” ise ağırlıklara dokunmaz. İkisi farklı mekanizmalardır.

03İkinci adım: insanın tercihini ölç#

Örnek yazmak pahalıdır; iki yanıttan hangisinin daha iyi olduğunu söylemek ise daha kolay. İnsan geri bildirimiyle pekiştirmeli öğrenme (RLHF) bu gözleme dayanır:

1. Model aynı istem için birkaç yanıt üretir; insanlar bunları sıralar.
2. Bu sıralamalardan, hangi yanıtların tercih edileceğini tahmin eden bir ödül modeli eğitilir.
3. Dil modeli, ödül modelinin yüksek puan verdiği yanıtlara yönelecek biçimde pekiştirmeli öğrenmeyle güncellenir.

InstructGPT makalesindeki başlık sonuç dikkat çekicidir: yazarların kendi istem dağılımında, insan değerlendirmesinde 1,3 milyar parametreli InstructGPT’nin çıktıları, 175 milyar parametreli GPT-3’ün çıktılarına tercih edildi. Aynı çalışma gerçeklik ve zararlı çıktı açısından da iyileşme bildirir; ama modelin hâlâ basit hatalar yaptığını da açıkça belirtir. Bu, bir ölçek başarısı olmaktan çok, hedefin değiştirilmesinin etkisidir.

04Aynı fikrin başka yolları#

RLHF tek yol değildir. İki önemli alternatif, tercih verisini farklı kullanır:

• Doğrudan tercih optimizasyonu (DPO): Ayrı bir ödül modeli eğitmeyi ve pekiştirmeli öğrenmeyi atlar; tercihleri doğrudan dil modelinin üzerinde, sınıflandırma benzeri bir kayıpla öğrenir. Yazarlar, yöntemin RLHF ile aynı hedefi örtük olarak optimize ettiğini ama uygulaması daha basit olduğunu savunur. Rafailov ve diğerleri ↗
• Anayasal yapay zekâ: İnsan etiketi yerine kısa, yazılı ilkelerden yararlanır. Model kendi yanıtlarını bu ilkelere göre eleştirip düzeltir, ardından yapay zekâ geri bildirimiyle pekiştirmeli öğrenme uygulanır. Amaç, zararsızlık için gereken insan etiketi miktarını azaltmaktır. Bai ve diğerleri ↗

Bunların hepsi hizalama başlığı altında toplanır: modelin davranışını insanların istediği yöne çekmek. “Hizalama” bir bilgi eklemek değildir; hangi yanıtın tercih edileceğini öğretmektir.

05Hizalama neyi çözmez?#

Bir asistanı değerlendirirken şu üç soruyu ayır: Ön eğitimde ne öğrendi? (bilgi ve dil), ince ayarda neyi öğrendi? (talimatı izleme biçimi), tercih eğitiminde neye yöneldi? (üslup ve güvenlik eğilimleri). Aynı model, her aşamadan farklı bir davranış izi taşır.

Yeni bilgiyi modele ince ayarla mı, yoksa belge getirerek mi vermelisin? İnce ayar mı, RAG mı? bu kararı ele alıyor; ardından asistana nasıl yaklaşacağını prompt yazısında görebilirsin.