01Eğitim hatası seni kandırır#
Eğitim yazısında modelin amacını “hatayı azaltmak” olarak kurduk. Ama hangi hatayı? Modelin gördüğü örneklerdeki hatayı azaltmak kolaydır; yeterince esnek bir model, örneklerin hepsini mükemmel biçimde yakalayabilir. Oysa bizim istediğimiz, modelin henüz görmediği girdilerde de doğru davranmasıdır. Buna genelleme denir.
Aşağıdaki deneyde sekiz nokta, bir sinüs eğrisine gürültü eklenerek üretildi. Modelimiz bir polinom: derece arttıkça daha esnek bir eğri çizebiliyor. Karmaşıklığı artırırken iki hataya birlikte bak.
Ezberleyen mi, öğrenen mi?
Modelin karmaşıklığını (polinom derecesini) artır. Eğri noktalara yaklaştıkça iki hatanın nasıl ayrıştığını izle.
Model çok basit: eğri verideki dalgayı yakalayamıyor. İki hata da yüksek. Buna yetersiz öğrenme (underfitting) denir.
Tüm dereceleri karşılaştır
| Derece | Eğitim hatası | Görülmemiş hata |
|---|---|---|
| 1 | 0,218 | 0,246 |
| 2 | 0,218 | 0,246 |
| 3 | 0,040 | 0,021 |
| 4 | 0,039 | 0,022 |
| 5 | 0,034 | 0,020 |
| 6 | 0,001 | 0,110 |
| 7 | ≈ 0 | 0,116 |
Vurgulu satır, bu veri kümesinde görülmemiş hatası en düşük olan derecedir (5). Sekiz noktaya derece 7 polinomu tam oturur: eğitim hatası sıfıra iner, ama bu kuralı değil örnekleri öğrenmesindendir. Hata, ortalama karesel hata olarak hesaplanır.
Derece 1 ve 2’de eğri verideki dalgayı yakalayamıyor: iki hata da yüksek. Bu yetersiz öğrenmedir. Derece 3–5 arasında eğri hem noktalara yaklaşıyor hem de gerçek desenin biçimini koruyor: görülmemiş girdilerdeki hata düşüyor. Derece 6 ve 7’de ise eğitim hatası neredeyse sıfıra iniyor, ama görülmemiş hata yeniden yükseliyor. Eğri, gürültünün her dalgalanmasına uydu. Buna aşırı öğrenme (overfitting) denir. “Gürültüsüz gerçek eğriyi göster” kutusunu işaretlersen aradaki farkı gözünle de görürsün.
02Görülmemiş veri nereden gelir?#
Pratikte eldeki veri üçe bölünür:
- Eğitim kümesi: Parametreleri ayarlamak için kullanılır.
- Doğrulama kümesi: Model türünü, derecesini, öğrenme oranını gibi seçimleri karşılaştırmak için kullanılır.
- Test kümesi: En sonda, bir kez, seçilmiş modelin gerçek başarısını ölçmek için kullanılır.
Test kümesine bakarak model seçmeye başlarsan, o küme artık “görülmemiş” sayılmaz: seçimlerin onun üzerinde iyi çıkana kaymış olur ve sonuç iyimser çıkar. Eğitim bilgisinin test kümesine sızmasına veri sızıntısı denir. Basit örnekler: aynı örneğin hem eğitimde hem testte bulunması, veriyi bölmeden önce tüm veriden bir istatistik hesaplamak ya da bir sınav sorusunun internette bulunup modelin eğitim verisine girmesi. Büyük dil modellerinde bu sorunun nasıl ölçülemez hâle geldiğini değerlendirme yazısında göreceksin.
03Aşırı öğrenmeyi azaltmanın yolları#
| Yöntem | Fikir | Dikkat |
|---|---|---|
| Daha çok veri | Gürültüyü ezberlemek zorlaşır; desen baskın çıkar | Veri toplamak pahalıdır, yeni veri de yanlı olabilir |
| Daha basit model | Esnekliği sınırla: daha az parametre | Çok basit olursa yetersiz öğrenme gelir |
| Düzenlileştirme (ör. ağırlık cezası) | Büyük ağırlıkları cezalandırarak eğriyi yumuşat | Ceza gücü bir ayar parametresidir |
| Dropout | Eğitimde nöronları rastgele devre dışı bırak | Çıkarımda kapatılır; eğitimi yavaşlatabilir |
| Erken durdurma | Doğrulama hatası yükselmeye başlayınca eğitimi bırak | Doğrulama kümesine bağımlıdır |
Dropout, 2012’de ImageNet’i kazanan AlexNet’te de aşırı öğrenmeyi azaltmak için kullanıldı (tarih yazısına bak). Genelleme üzerine açık bir ders anlatımı için d2l.ai ↗ iyi bir kaynaktır.
04Devasa modellerde hikâye daha karmaşık#
Yukarıdaki sezgi (“çok esnek model ezberler, genelleyemez”) küçük modeller için iyi çalışır, ama modern derin ağlar bunu zorlar:
- Zhang ve diğerleri, standart görüntü ağlarının rastgele etiketlenmiş veriyi bile eğitimde mükemmel uydurabildiğini gösterdi. Yani bir ağın ezber kapasitesi vardır; yine de gerçek veride iyi genelleyebilir. Kapasite tek başına genellemeyi açıklamıyor. Zhang ve diğerleri ↗
- Belkin ve diğerleri, modeller eğitim verisini tam uydurduğu noktanın ötesinde büyütüldüğünde görülmemiş hatanın tekrar düşebildiğini (“çift iniş”) gösterdi. Klasik U biçimli eğri, daha geniş bir resmin ilk kısmı. Belkin ve diğerleri ↗
- Büyük dil modelleri bazı eğitim parçalarını kelimesi kelimesine ezberleyebilir. Carlini ve diğerleri, GPT-2’den sadece sorgulayarak yüzlerce eğitim dizisini çıkardı; bunların bazıları eğitim verisinde yalnızca tek bir belgede geçiyordu. Ortalama kayıp eğitimde ve testte belirgin farklı değildi: ezberlenen şey, en uç örneklerdi. Carlini ve diğerleri ↗
Bu ilkeler, sinir ağlarından dil modellerine kadar her ölçekte geçerli. Şimdi o modellerin yapı taşına bakalım: Sinir ağı aslında nedir?
Bu yazıyı bitirdiğinde:
- Eğitim hatasının neden tek başına kandırıcı olduğunu açıklayabilirsin.
- Görülmemiş (test) verinin neden ayrı tutulduğunu anlatabilirsin.
- Aşırı öğrenmeyi azaltmanın en az iki yolunu sayabilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Sinir ağı aslında nedir?
Başlangıç · 8 dk okuma