01Klasik kural ve onun sorunu#
İstatistik derslerinin klasik öğüdü: model çok basitse veriyi yakalayamaz (yüksek yanlılık), çok karmaşıksa gürültüyü de öğrenir (yüksek varyans); test hatası model karmaşıklığına göre U biçimli bir eğri çizer ve en iyisi ortadadır (ezberleme–genelleme yazısı).
Ama modern sinir ağları genellikle eğitim verisini tam olarak öğrenecek (interpolasyon yapacak) kadar büyüktür ve yine de iyi genelleme yapar. Belkin ve arkadaşları bu çelişkiyi çift iniş eğrisiyle uzlaştırmayı önerdi: test hatası, veriyi tam öğrenebilecek kapasiteye (interpolasyon noktası) kadar klasik U’yu izler; sonra kapasite daha da büyüdükçe tekrar düşmeye başlar. Belkin ve diğerleri, PNAS 2019 ↗
Nakkiran ve arkadaşları bu olgunun modern derin öğrenme görevlerinde, yalnızca model boyutuyla değil eğitim süresiyle (epok sayısı) de ortaya çıktığını bildirdi; “etkin model karmaşıklığı” adlı bir ölçüt önerdiler ve bu ölçüte göre bazı rejimlerde daha çok veri eklemenin bile test hatasını artırabildiğini gösterdiler. Deep Double Descent ↗
02Bir kurulumda kendin ölç#
Aşağıda 20 eğitim noktasına, sinüs bir fonksiyon artı gürültüyle, kosinüs özelliklerinin doğrusal birleşimi uydurulur. Özellik sayısı (model boyutu) 1’den 120’ye artar; 20’ye kadar en küçük kareler, ötesinde veriyi tam geçen en küçük normlu çözüm kullanılır. Her nokta, 40 farklı rastgele eğitim kümesinin ortalama test hatasıdır. Düğmeye bastığında deney tarayıcıda yaklaşık bir saniyede çalışır.
Model büyürken test hatası
Önce deneyi çalıştır. Sonra özellik sayısını (model boyutunu) değiştirip test hatasının nasıl davrandığını izle: eğitim örneği sayısı olan 20’de ne oluyor?
Bu kurulumda eğri şöyle: 1 özellikte hata yüksek (yaklaşık 0,50, model çok basit); 4–5 özellik civarında çok düşük (en iyi klasik nokta ≈ 0,03); sonra yükselir ve 20 özellikte (model, 20 noktayı tam öğrenebildiği anda) yaklaşık 0,22 ile zirve yapar; 25 özellikte 0,14’e, 40’ta 0,08’e, 120’de 0,06’ya iner. Yani iki iniş de var: ilki zirveden önce, ikincisi zirveden sonra.
Ama dikkat: bu kurulumda ikinci inişin ucu (≈ 0,06), klasik bölgenin en iyi noktasından (≈ 0,03) daha kötüdür. Çift iniş, “büyük model her zaman daha iyi”yi söylemez; yalnızca zirveden sonra hatanın yeniden düşebildiğini gösterir. Eğri, bu özellik seçimi, bu gürültü düzeyi ve bu en küçük norm çözümü için çıkıyor; her model ve veri için çıkmaz.
03Koşullar ve yanlış okumalar#
| Okuma | Doğru mu? |
|---|---|
| “Zirve, tam öğrenme noktasında olur” | Bu kurulumda ve makalelerdeki bazı kurulumlarda evet; zirvenin yeri ve yüksekliği veriye, gürültüye ve modele bağlıdır |
| “Daha büyük model her zaman daha iyi genelleme yapar” | Hayır. Bu demoda bile klasik bölgenin en iyisi daha iyiydi |
| “Daha çok veri her zaman yardım eder” | Nakkiran ve arkadaşları, bazı rejimlerde bunun tersini bildirdi |
| “Bu, ezberleme sorununu çözer” | Hayır; ezberleme ve genelleme arasındaki ilişkinin klasik görüşten daha karmaşık olduğunu gösterir |
Büyük ağlar bu kadar parametreye gerçekten ihtiyaç duyar mı? Piyango bileti hipotezi bu soruyu sorar.
Bu yazıyı bitirdiğinde:
- Çift iniş eğrisini ve zirvenin nerede olduğunu anlatabilirsin.
- “Büyük model her zaman daha iyidir” düşüncesinin neden yanlış olduğunu örnekle açıklayabilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Piyango bileti hipotezi: ağın içindeki küçük ağ
İleri · 7 dk okuma