01Daha fazla kaynak ne kadar kazandırır?#
2020’de Kaplan ve arkadaşları, dil modellerinin tutulan veri üzerindeki çapraz entropi kaybını sistematik olarak ölçtü. Bulgunun çekirdeği: kayıp; model boyutu, veri kümesi büyüklüğü ve eğitim için harcanan işlem gücüyle öngörülebilir biçimde, birçok büyüklük mertebesi boyunca bir kuvvet yasası izleyerek azalıyor. Ağ genişliği ve derinliği gibi mimari ayrıntıların etkisi ise geniş aralıklarda küçük kaldı.
Makale bir de bütçe dağıtımı önerisi çıkardı: büyük modeller örnek başına daha verimli öğreniyordu; dolayısıyla sabit bir işlem bütçesinde, görece az veriyle çok büyük model eğitip yakınsamadan çok önce durmak en iyi seçenek görünüyordu. Kaplan ve diğerleri ↗
02Chinchilla: dengeyi yeniden kurmak#
2022’de Hoffmann ve arkadaşları aynı soruyu, 70 milyon ile 16 milyar parametre arasında, 5 ile 500 milyar token üzerinde eğittikleri 400’den fazla modelle yeniden sordular ve üç ayrı yöntemle tahmin yaptılar. Üçü de aynı yere işaret etti: model boyutu ve eğitim token sayısı eşit oranda büyütülmeli. Parametreyi iki katına çıkaran, veriyi de iki katına çıkarmalı.
Bu bulgu, dönemin büyük modellerinin az eğitilmiş olduğu anlamına geliyordu: parametreler büyürken veri neredeyse sabit tutulmuştu. Sınamak için 70 milyar parametreli Chinchilla eğitildi: aynı işlem bütçesiyle, 280 milyar parametreli Gopher’dan yaklaşık dört kat fazla veriyle. Chinchilla, ölçülen görevlerin neredeyse hepsinde Gopher’ı ve daha büyük modelleri geçti; MMLU’da ortalama %67,5 doğruluğa ulaştı; bu, Gopher’a göre %7’nin üzerinde bir iyileşmedir. Hoffmann ve diğerleri ↗
| Çalışma | Yıl | Soru | Ana sonuç |
|---|---|---|---|
| Kaplan ve diğerleri | 2020 | Kayıp, boyut/veri/işlemle nasıl düşer? | Kuvvet yasası; sabit bütçede çok büyük model, görece az veri |
| Hoffmann ve diğerleri (Chinchilla) | 2022 | Sabit bütçeyi boyut ve veri arasında nasıl bölmeli? | Boyut ve veri eşit oranda büyümeli |
| Pearce ve Song | 2024 | İki sonuç neden farklı? | Fark büyük ölçüde yöntem farkından |
03İki makale neden farklı söylüyor?#
İki çalışmanın tahminleri belirgin biçimde ayrışır: en iyi parametre sayısı, işlem gücü büyüdükçe Kaplan’da yaklaşık C^0,73, Chinchilla’da C^0,50 oranında artıyor. 2024’te Pearce ve Song bu farkı inceledi ve büyük kısmının yöntemden kaynaklandığını gösterdi: Kaplan, embedding parametrelerini dışarıda bırakan gömme dışı parametre sayısını kullanmıştı ve analizini küçük ölçekte yapmıştı. Bu koşulları Chinchilla çalışmasına uyguladıklarında, Kaplan’a yakın, yanlı katsayılar elde ettiler. Sonuç, Chinchilla’nın katsayılarını doğrular. Pearce ve Song ↗
Bu, bilimsel sürecin sağlıklı bir örneğidir: iki ölçüm arasındaki farkı “biri yanlıştı” diye kapatmak yerine, hangi ölçüm tercihinin farkı doğurduğunu bulmak.
04Bu yasalar neyi söylemez?#
Üç ek not:
- Bu yasalar, makalelerin test ettiği aralıkta ampirik uyumlardır. Aralığın çok ötesine çıkarım yapmak ayrı bir iddiadır ve kanıt ister.
- Chinchilla çalışması eğitim maliyetini optimize eder. Modelin sonradan çok kullanılacağı durumlarda çıkarım maliyeti de önemlidir; sonraki çalışmalar bunu hesaba katar.
- “Daha çok parametre” ile “daha çok veri” arasındaki denge, eğitim sürecinin bütçe sorusudur; mimari seçimlerden bağımsız düşünülemez.
Okuma sırası önerisi: önce Chinchilla’nın özetini, ardından Pearce ve Song’un farkı nasıl açıkladığını; ikisi de kısa ve okunaklı.
Bu yazıyı bitirdiğinde:
- Kaynak artışının getirisinin neden azalan olduğunu ve Chinchilla’nın dengeyi nasıl kurduğunu anlatabilirsin.
- İki makalenin neden farklı sonuç bildirdiğini ve yasaların neyi söylemediğini açıklayabilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
DPO: Ödül modeli olmadan tercih öğrenmek
İleri · 7 dk okuma