Gürültüyü azalt.
Fikre yaklaş.
Araştırmalar, yeni yaklaşımlar ve açık sorular.
İddiaların ötesine, mekanizmanın içine bakıyoruz.
Birincil kaynaktan başla. Mekanizmayı açıkla. Kanıtı yorumdan ayır. Sınırları görünür kıl.
Araştırma notları
Kaynaklarıyla birlikteRAG: Modelin yanına bir kütüphane koymak
Bilgiyi modelin ağırlıklarına sığdırmak zorunda mıyız? Belge getirme ile metin üretmenin buluştuğu yaklaşım.
Ölçek yasaları: büyük model mi, çok veri mi?
Kaplan ve Chinchilla çalışmaları dil modelinin kaybının model boyutu, veri ve işlem gücüyle nasıl düştüğünü ölçtü. İki makale neden farklı sonuca vardı?
DPO: Ödül modeli olmadan tercih öğrenmek
RLHF’nin iki ek aşamasını tek bir basit kayıp fonksiyonuyla değiştiren doğrudan tercih optimizasyonu: fikir, formül ve sınırlar.
Dolaylı istem enjeksiyonu: veri talimata dönüşünce
Dil modeli bir web sayfasını, e-postayı ya da belgeyi okurken içindeki gizli talimatı komut sanabilir. Greshake ve arkadaşlarının çalışması, bu sorunun neden yapısal olduğunu anlatır.
Mamba: dikkat yerine seçici bir durum
Transformer’ın dikkat maliyeti uzunlukla karesel artar. Mamba, sabit boyutlu bir durumu girdiye göre güncelleyerek doğrusal maliyetle çalışmayı dener; ne vaat ediyor, neyi vaat etmiyor?
FlashAttention: aynı sonuç, daha az bellek trafiği
Dikkat hesabı çoğunlukla işlemci hızıyla değil, belleğe okuma ve yazma sayısıyla yavaşlar. FlashAttention aynı sonucu parça parça hesaplayarak bunu azaltır; hilenin kendisi, tek satırlık bir softmax deneyinde.
Spekülatif çözümleme: küçük model önerir, büyük model onaylar
Büyük bir dil modeli tokenları tek tek üretmek zorunda mıdır? Spekülatif çözümleme, küçük bir taslak modelin önerilerini büyük modele toplu doğrulatır ve çıktı dağılımını değiştirmez.
Flow Matching: gürültüden veriye düz bir yol
Difüzyon modelleri gürültüyü adım adım temizler. Flow Matching, gürültüyü veriye taşıyan bir hız alanını doğrudan öğrenir; yollar ne kadar düzse öğrenmek o kadar kolay olabilir.
Grokking: ezberledikten çok sonra kavramak
Bazı küçük ağlar eğitim verisini erkenden ezberler, test başarısı ise uzun süre sıfıra yakın kalır; sonra birden sıçrar. Bu olgu ne söylüyor, ne söylemiyor? Bu notun grafiği ölçüm değil, temsilidir.
Çift iniş: model büyüdükçe hata neden iki kez düşer?
Klasik U biçimli eğriye göre, veriyi tam öğrenebilen modeller kötü genellemelidir. Çift iniş eğrisi bunun ötesinde hatanın yeniden düştüğünü gösterir. Bir kurulumda kendin ölç; ama sonucun sınırlarını da oku.
Piyango bileti hipotezi: ağın içindeki küçük ağ
Eğitilmiş bir ağın ağırlıklarının büyük bölümü silinebilir. Peki aynı küçük yapıyı baştan eğitebilir miyiz? Piyango bileti hipotezi cevabı, başlangıç değerlerinde arar.
Federe öğrenme: veri yerinde kalır, model gezer
Veriyi merkezde toplamak yerine, modeli verinin olduğu cihaza götürmek: FedAvg’in mantığı, iletişim ile doğruluk arasındaki gerilim ve ‘yerel adım’ sayısının bedeli.
Diferansiyel mahremiyet: bir kişiyi saklayan gürültü
Bir veri kümesinden yayımlanan sayı, tek bir kişinin orada olup olmadığını ele vermemeli. Laplace mekanizması, ε bütçesi ve tekrarlı sorguların bedeli, en yalın örnekte.
Model çorbası: ağırlıkları ortalamak ne zaman işe yarar?
Aynı başlangıçtan ince ayar edilmiş modellerin ağırlıklarını ortalamak çıkarım maliyetini artırmadan doğruluğu yükseltebiliyor; ama rastgele iki modeli ortalamak neden çalışmaz?
Bir alanı değiştiren
bir fikir: attention.
Yeni araştırmaları takip etmek için sağlam bir başlangıç. Özgün Transformer makalesini görsel anlatımla birlikte oku.
Görsel rehbere git Attention Is All You Need · 2017