01Eğitim bitti sanılırken gelen sıçrama#
Ezberleme–genelleme yazısında klasik bir kural vardı: eğitim hatası düşerken test hatası yükselmeye başlıyorsa, model ezberliyordur ve eğitimi durdurmak gerekir. Power ve arkadaşları şaşırtıcı bir olgu bildirdi: küçük, algoritmik olarak üretilmiş veri kümelerinde (örneğin a ∘ b = c biçimindeki işlem tabloları) sinir ağları, aşırı öğrenmenin görüldüğü noktadan çok sonra “şans düzeyinden mükemmel genellemeye” sıçrayabiliyor. Yazarlar buna grokking dedi; ayrıca eğitim kümesi küçüldükçe genellemeden önce gereken optimizasyonun arttığını bildirdi. Grokking ↗
Neden ilginç? Çünkü eğitim doğruluğu erkenden %100’e yaklaştığında klasik bakışla “iş bitti”: modeli ezberci diye atardık. Oysa eğitimin devam etmesi, test başarısını beklenmedik biçimde değiştirdi.
02Aşağıdaki grafik bir ölçüm değildir#
Bu notta bir deney yerine temsili bir çizim var, çünkü sitedeki küçük, tarayıcıda çalışacak kadar hızlı bir kurulumda olguyu güvenilir biçimde yeniden üretemedik. Yanlış bir “deney” göstermektense çizimi açıkça temsili bıraktık. Çizim, makalenin bildirdiği niteliksel örüntüyü anlatır: eğitim doğruluğu erken yükselir, test doğruluğu çok daha sonra sıçrar; yatay eksen logaritmik.
Ezberden sonra genelleme
İki eğriyi karşılaştır: model eğitim verisini çok erken ezberliyor, ama görmediği örneklerde iyi sonuç çok daha sonra ortaya çıkıyor.
Burada gösterdiğimiz şeyin bir hesaplama olmadığına dikkat et: bu, araştırmanın bulgusunu görselleştiren bir çizim. Gerçek koşuların zamanlaması; veri miktarına, ağırlık cezasına ve modele göre büyük ölçüde değişir.
03Hangi koşulda görülür?#
- Küçük algoritmik veri kümeleri. Bildirilen sonuçlar, tam bir kuralın (örneğin modüler aritmetik) örneklerinden oluşan küçük kümelerde görülür. Doğal dil ya da görüntü gibi büyük ve gürültülü verilerde aynı keskin sıçramayı beklemek için dayanak yoktur.
- Eğitim süresine ve kümeye bağlı. Eğitim kümesi küçüldükçe sıçramadan önce gereken optimizasyon artar; yani olgu, veri miktarıyla ve eğitim ayrıntılarıyla birlikte değişir.
- “Her model sonunda anlar” değildir. Makale, belirli kurulumlarda bir olguyu gözlemler; bir modelin yeterince uzun eğitilirse kavrayacağına dair bir garanti vermez.
Bir başka beklenmedik eğri, model büyüklüğüyle hata arasındaki ilişkide görülür: çift iniş.
Bu yazıyı bitirdiğinde:
- Grokking’in ne olduğunu ve hangi koşulda görüldüğünü anlatabilirsin.
- Sitedeki grafiğin neden ölçüm değil temsili olduğunu söyleyebilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Çift iniş: model büyüdükçe hata neden iki kez düşer?
İleri · 8 dk okuma