01Her token herkese bakar: pahalı#
Dikkat, her token için bağlamdaki tüm önceki tokenlara bakar. Bu güçlüdür ama pahalıdır: işlem uzunlukla karesel artar ve üretim sırasında önceki tokenların anahtar–değer çiftleri bellekte tutulur (KV önbelleği). Bağlam uzadıkça iki maliyet de büyür.
Durum uzayı modelleri, tamamen farklı bir yol izler: geçmişi sabit boyutlu bir durumda özetler ve her yeni token geldikçe bu durumu günceller. Üretim sırasında önceki tokenların hepsini saklamak gerekmez; yalnızca durum taşınır. Maliyet, uzunlukla doğrusal artar. Bedeli açıktır: geçmişin tamamı sabit bir alana sıkıştırılır; neyin tutulacağına karar vermek önemli hâle gelir.
02Seçici: neyi yazacağını girdiye göre seç#
Önceki durum uzayı modellerinde güncelleme kuralı girdiden bağımsızdı: her token aynı sabit oranla yazılıyordu. Bu, “önemli bir sözcüğü tut, dolgu sözcüğünü geç” gibi içeriğe bağlı kararlar için yetersizdir. Gu ve Dao’nun Mamba’sı, durum güncellemesinin parametrelerini girdinin kendisinin bir işlevi yapar: model, hangi bilgiyi duruma yazacağını, hangisini unutacağını her token için seçer. Mamba ↗
Aşağıdaki deney bu fikrin en yalın halidir. Bir cümle soldan sağa okunuyor; ilk üç sözcük bilgi taşıyor, gerisi dolgu. Tek bir sayı (durum) cümleyi özetliyor. Sabit oranla her sözcüğü aynı güçte yazarsan ne olur, seçici yazarsan ne olur?
Durum, hangi bilgiyi taşır?
Model, cümleyi soldan sağa tek bir sayıyla (durum) özetliyor. İlk üç sözcük bilgi taşıyor, sonrası dolgu. Sonda, ilk bilgiden ne kadar kalmış?
Sabit oranlı güncelleme her sözcüğe aynı davranır: dolgu geldikçe önemli bilgi sönüyor. Seçici güncelleme, sözcüğe göre yazma gücünü değiştirdiği için dolgu sözcükleri durumu neredeyse bozmuyor. Mamba’nın temel fikri budur; ama kapıların nasıl seçileceğini model eğitimle öğrenir, burada elle verildi.
Aynı cümlede, durumun sondaki değeri, kendi zirvesine göre: sabit oran 0,1 iken yaklaşık %39; 0,2’de %13; 0,3’te %4; 0,5’te sıfıra yakın. Oran düşürüldüğünde bilgi daha uzun kalıyor ama yeni bilgi de yavaş yazılıyor: iki istek çelişir. Seçici güncellemede önemli sözcükler güçlü, dolgu sözcükleri zayıf yazılınca durumun sonundaki değer zirvesinin yaklaşık %83’ü.
Bu deneyin ne olmadığına dikkat: kapılar elle verildi; gerçek Mamba bunları eğitimle öğrenir ve çok daha karmaşık bir durum (çok boyutlu, her kanal için ayrı) taşır. Burada yalnızca “girdiye göre yazma gücü” fikrinin neden işe yaradığı görülüyor.
03Makale ne iddia ediyor, hangi koşulda?#
Yazarların özetinde bildirilenler:
| İddia | Koşul / dikkat edilecek nokta |
|---|---|
| Çıkarım sırasında Transformer’lara göre yaklaşık 5 kat daha yüksek verim (throughput) | Yazarların kendi karşılaştırma düzeneğinde; donanım, uzunluk ve uygulama değişince oran değişir |
| Uzunlukla doğrusal hesaplama; gerçek veride bir milyon token’a kadar gelişen başarı | Maliyetin doğrusal olması, her görevin uzun bağlamda iyi çözüldüğü anlamına gelmez |
| 3 milyar parametreli Mamba, aynı boyuttaki Transformer’lardan iyi, iki katı boyuttakilerle başa baş | Yazarların seçtiği eğitim ve değerlendirme kurulumunda |
| Dil, ses ve genomikte güçlü sonuçlar | Her alanda tek bir model değil; alana göre ayrı eğitim |
Bunlar bir ön baskıdaki (arXiv) yazar bildirimleridir; bağımsız bir doğrulama değildir.
Aynı “dikkat çok pahalı” sorununa bir başka cevap, hesabı aynı bırakıp bellek trafiğini azaltmaktır: FlashAttention.
Bu yazıyı bitirdiğinde:
- Sabit boyutlu durumun dikkatten farkını ve seçici güncellemenin ne olduğunu anlatabilirsin.
- Makalenin iddialarının hangi koşullara bağlı olduğunu söyleyebilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
FlashAttention: aynı sonuç, daha az bellek trafiği
İleri · 7 dk okuma