DPO: Ödül modeli olmadan tercih öğrenmek

01RLHF’nin ağır boru hattı#

Asistan yazısında gördüğün RLHF’nin iki ek aşaması var: insan tercihlerinden bir ödül modeli eğitmek, sonra dil modelini bu ödül modelini artıracak biçimde pekiştirmeli öğrenmeyle güncellemek. Bu, ek bir model, ek bir eğitim döngüsü, eğitim sırasında modelden örnekleme ve dikkatle ayarlanması gereken hiperparametreler demektir.

Rafailov ve arkadaşlarının 2023 tarihli sorusu şuydu: tercih verisinin zaten bize söylediği şeyi, ödül modelini atlayıp doğrudan dil modeline öğretebilir miyiz? Makale ↗

02Fikir: ödülü, modelin kendi olasılığından oku#

Makalenin başlığı, çekirdek fikri söyler: dil modeli, gizlice bir ödül modelidir. Yazarlar, RLHF’nin hedefini (ödülü artırırken modeli başlangıç modelinden çok uzaklaştırmamak) bir yeniden parametrelendirmeyle yazıyor ve en iyi politikanın kapalı biçimde ifade edilebildiğini gösteriyor. Sonuç, tercih verisi üzerinde sınıflandırma benzeri bir kayıptır:

Buradaki x istemdir; y₊ insanın tercih ettiği, y₋ tercih etmediği yanıt; πθ eğitilen model, πref başlangıç (referans) modeli; β, referanstan sapmanın ne kadar cezalandırılacağını ayarlar; σ sigmoid’dir. Sezgi şu: model, tercih edilen yanıtın olasılığını, tercih edilmeyene göre ve referansa kıyasla artırır. Ayrı bir ödül modeline ve eğitim sırasında örneklemeye gerek kalmaz.

03Yazarlar ne bildiriyor?#

Makale, yöntemin RLHF ile aynı hedefi örtük olarak optimize ettiğini, ama uygulaması basit ve hiperparametre ayarına daha az duyarlı olduğunu savunuyor. Deneyler üç alanı kapsıyor: duygu kontrolü, özetleme ve tek turlu diyalog. Yazarlar, DPO’nun bu görevlerde PPO tabanlı RLHF’ye eşit veya daha iyi sonuç verdiğini bildiriyor.

04Neyi göstermez?#

Genel çıkarım, tercih öğrenmenin tek bir yolu olmadığıdır. Anayasal yapay zekâ insan etiketini azaltmayı, DPO boru hattını sadeleştirmeyi hedefler. İkisi de “model neyi tercih etmeli” sorusunun yanıtlarıdır; “model neyi bilmeli” sorusunun değil.