01Çoğu ağırlığı silebiliyoruz; ama baştan eğitemiyoruz#
Eğitimi bitmiş bir ağdaki ağırlıkların büyük bölümü budanabilir: en küçük büyüklükteki ağırlıkları silmek, çoğu zaman doğruluğu çok az bozar. Frankle ve Carbin’in belirttiği gibi, budama parametre sayısını %90’ın üzerinde azaltabiliyor; ama elde edilen seyrek yapıyı sıfırdan eğitmek genellikle zordur: baştan kurulan küçük ağ, aynı doğruluğa ulaşmakta çoğu zaman zorlanır. (küçültme yazısına bak)
Bu çelişki bir soruyu doğurur: eğer küçük yapı yeterliyse, büyük ağa neden ihtiyaç duyuyoruz?
02Hipotez: kazanan bilet#
Piyango bileti hipotezi: yoğun ve rastgele başlatılmış bir ağ, kendi başına eğitildiğinde orijinal ağa yakın test başarısına benzer sayıda yineleme içinde ulaşabilen alt ağlar içerir. Bunlara “kazanan biletler” denir; çünkü kazanan, başlatma piyangosunu kazanmış gibidir: başlangıç ağırlıkları, o yapıyı özellikle eğitilebilir kılar. Frankle ve Carbin, ICLR 2019 ↗
Biletleri bulmak için kullanılan yöntem (yinelemeli büyüklük budaması) kabaca şudur:
- Ağı rastgele başlat ve başlangıç değerlerini sakla.
- Ağı eğit.
- En küçük büyüklükteki ağırlıkların belirli bir yüzdesini buda.
- Kalan ağırlıkları saklanmış ilk başlangıç değerlerine geri döndür.
- 2–4’ü gerekirse tekrarla.
Makalenin vurguladığı nokta, 4. adımdır: aynı seyrek yapıyı yeni bir rastgele başlatmayla eğitmek aynı sonucu vermez; yapıyla özgün başlangıç değerleri birlikte işe yarar. Yazarlar, MNIST ve CIFAR-10 üzerindeki tam bağlı ve evrişimli mimarilerde, orijinal boyutun %10–20’sinden daha küçük kazanan biletler buldular; bu boyutun üstünde biletler orijinalden daha hızlı öğrendi ve daha yüksek test başarısına ulaştı.
03Hangi koşulda, ne kadar geçerli?#
Orijinal sonuçlar küçük ağlar ve küçük görsel veri kümeleri içindir. Frankle ve arkadaşlarının devam çalışması, daha derin ağlarda yöntemin başlangıç noktasında budama yapıldığında başarısız olduğunu gösterdi; ancak budamayı eğitimin çok erken bir anına (yaklaşık %0,1–%7’sine) geri sararak yapınca, ResNet-50’de ImageNet için %80 seyreklikte, orijinal doğruluğu yakalayan alt ağlar bulundu. Stabilizing the Lottery Ticket Hypothesis ↗
| Okuma | Durum |
|---|---|
| “Her ağda kazanan bilet vardır” | Hipotez bir olasılıktır; makaleler belirli mimari ve kurulumlarda gözlem bildirir |
| “Başlangıç değerleri önemli değil” | Orijinal makalede tam tersi: aynı yapı yeniden başlatılınca aynı başarıyı vermedi |
| “Bu, eğitimi büyük ölçüde hızlandırır” | Bileti bulmak için önce büyük ağı eğitmek gerekir; seyrek bir ağın gerçek hız kazancı, donanımın seyrekliği kullanabilmesine de bağlıdır |
| “Derin ağlarda aynı yöntem çalışır” | Başlangıçta budamak yetmedi; eğitimin erken anına geri sarma gerekti |
Büyük bir ağı küçültmenin bir başka yolu, veriyi dağıtmaktır: eğitim verisi hiçbir zaman tek bir yere toplanmadan model nasıl eğitilir? Federe öğrenme
Bu yazıyı bitirdiğinde:
- Piyango bileti hipotezini ve bileti bulma yöntemini anlatabilirsin.
- Derin ağlarda neden erken geri sarmanın gerektiğini söyleyebilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Federe öğrenme: veri yerinde kalır, model gezer
İleri · 8 dk okuma