01Etiket yok, yalnızca sonuç var#
Şimdiye kadar gördüğümüz öğrenme biçimlerinde her örnek için doğru cevap biliniyordu: kedi fotoğrafının etiketi “kedi”, bir cümlenin sonraki kelimesi gerçek metinden gelir. Pekiştirmeli öğrenmede ise kimse sana “doğru hamle şudur” demez. Bir ajan, bir ortamda eylemler yapar; ortam ona yeni bir durum ve bir ödül (iyi ya da kötü bir sayı) verir. Amaç, uzun vadede toplam ödülü artıracak bir politika öğrenmektir: hangi durumda hangi eylemi yapmalı?
Bu çerçevenin standart başvuru kaynağı Sutton ve Barto’nun ders kitabıdır (Reinforcement Learning: An Introduction, 2. baskı, MIT Press, 2018). Bu yapı, RLHF gibi yöntemlerin de temelidir: dil modeli, bir ödül modelinin verdiği puanı artırmaya çalışan bir ajan gibi eğitilir.
Zorluk şu: bir hamlenin iyi olup olmadığı çok sonra anlaşılabilir. Satrançta bir hamlenin değeri onlarca hamle sonra ortaya çıkar. Pekiştirmeli öğrenme, bu gecikmiş ödülü geriye doğru, önceki hamlelere dağıtmayı öğrenir.
02Q-öğrenme: her hamlenin tahmini değeri#
En yalın yöntem, her durum–eylem çifti için bir değer tablosu (Q) tutmaktır: “şu durumda şu hamleyi yaparsam, ileride toplam ne kadar ödül beklerim?” Bir hamle yapıldıktan sonra tablo, gerçekleşenle beklenen arasındaki farka göre güncellenir; yeni durumun en iyi değeri, bir indirim çarpanıyla geriye aktarılır. Böylece ödül, ona götüren adımlara yavaş yavaş yayılır.
DeepMind’ın 2015 tarihli çalışması, bu fikri bir derin sinir ağıyla birleştirdi (DQN). Ajan, girdi olarak yalnızca ekran pikselleri ve oyun puanını görerek 49 oyunluk kümede, profesyonel bir insan test oyuncusuyla karşılaştırılabilir bir genel başarı düzeyine ulaştığını bildirdi. Mnih ve diğerleri, Nature, 2015 ↗
03Keşfet mi, bildiğini mi kullan?#
Aşağıdaki ızgarada ajan S noktasından başlıyor. Hemen solda küçük bir ödül (+1), sağ üstte büyük bir ödül (+10) var. Ajan, ilk önce küçük ödülü bulursa ne olur?
Küçük ödül mü, büyük ödül mü?
Ajan S noktasından başlar. Hemen yanında küçük bir ödül (+1), uzakta büyük bir ödül (+10) var. Hiç keşif yapmayan ajan büyük ödüle ulaşabilir mi?
ε = 0: ajan yalnızca bildiği en iyi hamleyi yapıyor. Küçük ödülü bulunca onu tekrarlıyor; daha iyisinin var olduğunu hiç öğrenmiyor.
Hesabı gör
Q(s, a) ← Q(s, a) + α · (r + γ · maxₐ′ Q(s′, a′) − Q(s, a)); α = 0,5, γ = 0,95. Her adımda ε olasılıkla rastgele hamle, aksi hâlde en yüksek Q değerli hamle seçilir. Bölüm, bir ödüle ulaşınca ya da 40 adımda biter.
“Keşif oranı ε” 0 iken ajan hep en iyi bildiği hamleyi yapıyor. Küçük ödülü bulduğu anda, ona giden hamlenin değeri yükseliyor ve ajan bir daha başka bir şey denemiyor. Daha iyi bir seçenek olduğunu öğrenmesinin yolu yok. Düğmeyle aynı ayarı 30 farklı rastgelelikle denediğimizde (500 eğitim bölümü) büyük ödüle ulaşan sayısı şöyle çıkıyor:
| Keşif oranı ε | Büyük ödülü bulan (30 denemeden) |
|---|---|
| 0 | 0 |
| 0,1 | 3 |
| 0,2 | 8 |
| 0,3 | 22 |
| 0,5 | 29 |
Hiç keşif yapmayan ajan, hangi rastgelelikle başlarsa başlasın büyük ödülü bulamıyor.
Bu, keşif–sömürü ikilemidir: elindeki en iyi seçeneği kullanmak (sömürü) kısa vadede kazandırır; yeni şeyler denemek (keşif) kısa vadede kaybettirebilir ama daha iyisini bulma şansı verir. Burada keşif düpedüz rastgele hamledir; büyük ve karmaşık dünyalarda rastgele denemek yetmez, bu yüzden merak güdüsü gibi daha akıllı keşif stratejileri üzerine ayrı bir araştırma alanı vardır.
04Neden zordur?#
- Ödül tasarımı: Ajan, sana ödül veren şeyi optimize eder, istediğin şeyi değil. Küçük ödüle takılan ajan, yanlış hedefin küçük bir örneğidir. Bir ödül yanlış belirlenirse ajan beklenmedik “kestirme yollar” bulabilir.
- Veri verimsizliği: Ajan kendi deneyimini kendi üretir; çok sayıda deneme gerekir. Bu, gerçek robotlarda pahalı ya da tehlikeli olabilir; bu yüzden eğitim çoğu zaman simülasyonda yapılır.
- Güvenlik: Keşif, gerçek dünyada riskli eylemler demek olabilir.
Bir ödülün doğru bir şeyi mi ölçtüğü, bir sonraki konuyla yakından ilgili: iki şey birlikte değiştiğinde, biri diğerine mi neden oluyor? Birlikte değişmek, neden olmak mıdır?
Bu yazıyı bitirdiğinde:
- Ajan, ortam, eylem, ödül ve politika kavramlarını bir örnekle anlatabilirsin.
- Keşif–sömürü ikilemini ve ε’un rolünü açıklayabilirsin.
- Ödül tasarımının neden zor olduğunu söyleyebilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Birlikte değişmek, neden olmak mıdır?
Orta · 9 dk okuma