Dokun. Değiştir.
Nasıl çalıştığını gör.
Bir parametreyi değiştirince ne olur?
Küçük deneylerle büyük fikirlerin izini sür.
Bir cümleyi parçalarına ayır.
Önce metin, sonra tokenlar, ardından sayısal kimlikler. Her adımı kendi hızında takip et.
Metinden tokenlara
Modelin ilk işi anlam çıkarmak değil, metni işlenebilir birimlere ayırmaktır.
Anlamı bir uzayda düşün.
Bir kelime seç ve temsili vektörünü incele. Grafik, komşuluk fikrini görünür kılar.
Kelimelerin sayısal komşuluğu
Bir kelime seç, ardından başka bir kelimeyle vektörünü karşılaştır.
Bu iki örnek vektör benzer yönlere bakıyor. Bu sayı bir olasılık veya kelimelerin “anlamca yüzde kaç aynı” olduğunun ölçüsü değildir.
Benzerlik nasıl hesaplanıyor?
cos(a, b) = Σ(aᵢ × bᵢ) / (‖a‖ × ‖b‖)
Aynı konumdaki değerleri çarpıp toplar, sonucu iki vektörün uzunluklarının çarpımına böleriz. Burada dört boyutun tamamı kullanılır; yukarıdaki çizimdeki uzaklık kullanılmaz. Pozitif bir sayıyla ölçeklemek yönü ve kosinüs benzerliğini değiştirmez.
Bir embedding’in her ekseni “canlılık” gibi tek bir özelliğe karşılık gelmek zorunda değildir. Gerçek bir modelde bu benzerliğin ne kadar yararlı olduğu, eğitime ve göreve bağlıdır.
Geleceği gizlersen ne değişir?
Maskeyi açıp kapat. Bir tokenın hangi konumlardan bilgi alabildiğine dikkat et.
Kim, kime ne kadar bakıyor?
Satır = sorgu · Sütun = anahtar. Bir hücreye dokun.
| Kedi | koltuğa | atladı | . | |
|---|---|---|---|---|
| Kedi | ||||
| koltuğa | ||||
| atladı | ||||
| . |
. → Kedi
17.3%Bu satırın çıktısına, seçili sütunun değer vektörü bu ağırlıkla katılır.
skor = 0.495satır toplamı = 1[0.399, 0.601]Hesabın içini aç: Q, K ve V
Her satır iki boyutludur; ölçekleme böleni √2. Kaydırıcı Q’yu çarpar. Her satır için softmax uygulanır; çıktı Σ ağırlık × V olarak hesaplanır. Yüzdeler gösterimde yuvarlanır.
| Token | Q (başlangıç) | K | V |
|---|---|---|---|
| Kedi | 1, 0 | 1.1, 0.2 | 1, 0 |
| koltuğa | 0.3, 1 | 0.1, 1.2 | 0, 1 |
| atladı | 1.2, 0.4 | 0.8, 0.5 | 0.8, 0.2 |
| . | 0.4, 1.3 | 0.3, 1 | 0.2, 0.8 |
Olasılıklarla bir sonraki adım.
Sıcaklığı değiştir. “En olasıyı seçmek” ile “dağılımdan örneklemek” arasındaki farkı keşfet.
Sıradaki token ne olabilir?
Sıcaklık sıralamayı değiştirmez; olasılıkları değiştirir. Örneklemede en olası token her zaman seçilmez.
Logitleri ve formülü gör
pᵢ = exp(zᵢ / T) / Σⱼ exp(zⱼ / T). Başlangıç logitleri: [2.8, 1.9, 1.5, 0.8]. İkinci adım: [2.6, 1.6, 1.1, 0.9]. Sözlüğümüz yalnızca dört adaydan oluşur; gerçek modeller çok daha geniş bir sözlük üzerinde dağılım üretir.
Hata azaldıkça model değişir.
Bir doğruyu veri noktalarına yaklaştır. Öğrenme oranını değiştirerek parametrelerin nasıl güncellendiğini izle.
Bir modelin öğrenmesini izle
ŷ = 0.200x + 0.200Doğru, örneklerin altında kalıyor. Bir eğitim adımı uygula: algoritma, hatayı azaltacak yönde eğimi ve sabiti güncellesin.
Hesabı ve veriyi incele
Örnekler (x, y): (1, 1.2), (2, 1.8), (3, 3.1), (4, 3.9). Model ŷ = ax + b. Kayıp L = Σ(ŷ − y)² / 4. Her adımda a ← a − η · ∂L/∂a ve b ← b − η · ∂L/∂b uygulanır. η, seçtiğin öğrenme oranıdır. Daha düşük eğitim hatası, yeni veride başarıyı tek başına kanıtlamaz.
Tek bir nöronu ayarla.
Girdileri, ağırlıkları ve aktivasyonu değiştir. Toplamın çıktıya nasıl dönüştüğünü gör.
Sinir ağlarının hikâyesini okuTek bir yapay nöron
Girdileri ve ağırlıkları değiştir: önce ağırlıklı toplam, sonra aktivasyon çıktıyı belirler.
z = 0.8×1.0 + −0.6×0.5 + 0.2 = 0.70Toplam sıfırın üstünde: ReLU değeri olduğu gibi iletiyor. Eğri sıfırda bükülüyor; ağların doğrusal olmayan davranışı buradan gelir.
Hesabı gör
z = w₁x₁ + w₂x₂ + b. ReLU(z) = max(0, z). Sigmoid(z) = 1 / (1 + e^(−z)). Doğrusal aktivasyonda çıktı z’nin kendisidir. Ağırlıklar ve bias eğitimde ayarlanan parametrelerdir; burada elle seçilir.
Neden bir katman yetmez?
İki gizli nöron, tek bir nöronun çözemediği XOR problemini nasıl çözüyor? Dört girdi çiftini dene.
İki katmanlı küçük bir ağ
Dört girdi çiftinden birini seç. Ağ, çıktıda “iki girdi birbirinden farklı mı?” sorusunu (XOR) yanıtlar.
İki girdi de 1: ikinci gizli nöron da etkinleşiyor ve −2 ağırlığıyla birinci nöronun sinyalini tam dengeleyerek çıktıyı 0 yapıyor. Tek bir nöron, tek bir eşikle bu dört durumu ayıramaz; gizli katman sorunu çözmek için ara temsil üretir.
Dört durumun hepsini gör
| x₁ | x₂ | h₁ | h₂ | Çıktı |
|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 |
| 0 | 1 | 1 | 0 | 1 |
| 1 | 0 | 1 | 0 | 1 |
| 1 | 1 | 2 | 1 | 0 |
h₁ = ReLU(x₁ + x₂), h₂ = ReLU(x₁ + x₂ − 1), çıktı = h₁ − 2·h₂.
Token sınırlarını algoritma çizsin.
Kendi metnini yaz. Küçük bir veri kümesinden öğrenilen BPE kurallarının hangi parçaları birleştirdiğini adım adım izle.
BPE’nin hikâyesini okuBPE: küçük parçalar birleşiyor
Metnin yalnızca tarayıcında işlenir. Büyük ve küçük harfler farklıdır.
Her adım, sıradaki uygun kuralın eşleşen çiftlerini soldan sağa birleştirir. Boşluklar ve noktalama sınırları aşılmaz. Mavi parçalar son birleşmenin sonucudur.
Bu kurallar nereden geliyor?
Her turda eğitim verisindeki en sık komşu çift seçilir, birleştirilir ve çiftler yeniden sayılır. Eşitlikte aşağıdaki veri sırası belirleyicidir. Deney 10 kural öğrendikten sonra durur.
| Sıra | Çift → parça | O turdaki sıklık |
|---|---|---|
| 1 | k + e → ke | 24 |
| 2 | ke + d → ked | 24 |
| 3 | ked + i → kedi | 24 |
| 4 | l + e → le | 16 |
| 5 | le + r → ler | 16 |
| 6 | k + ö → kö | 11 |
| 7 | kö + p → köp | 11 |
| 8 | köp + e → köpe | 11 |
| 9 | köpe + k → köpek | 11 |
| 10 | kedi + ler → kediler | 8 |
Yeni metinde sıklıklar yeniden öğrenilmez. Kurallar bu sırayla uygulanır; eşleşmeyen kurallar görsel adımlarda atlanır. Sözcük sonu işareti ve Unicode normalizasyonu bu basit örneğe dahil değildir.
36 deney daha, ilgili dersin içinde.
Her kart, bir dersteki etkileşimli görselin tam yerine götürür. “Hesaplanan” etiketli olanlar tarayıcıda gerçekten çalışır; “Temsili” olan, ölçüm değil, anlatım amaçlı bir çizimdir.
- HesaplananSesi sinüslere ayırÜç tonu karıştır, Fourier spektrumunu gör.
- HesaplananSpektrogramSüpürme dalgası ve gürültü ekle, zaman–frekans tablosunu izle.
- HesaplananKim sana benziyor?Bir kullanıcı seç, benzerliği ve önerileri gör.
- HesaplananKüçük ödül mü, büyük ödül mü?Keşif oranını değiştir, 30 farklı rastgelelikle sına.
- Hesaplananİki sonuç, tek ortak nedenGünleri sıcaklık bantlarına böl, korelasyona ne olduğunu gör.
- HesaplananYinelenenleri bulBenzerlik eşiğini kaydır, hangi belgelerin birleştiğini izle.
- HesaplananKopyanın kopyasıNesil sayısını ve gerçek veri payını değiştir, çeşitliliği ölç.
- HesaplananYeni görev, eski görevi silerTekrar oynatma payını artır, unutmanın kaybolmasını izle.
- HesaplananAynı görüntü, farklı kararGradyan yönünde ya da rastgele değişiklik yap, kararı çevir.
- HesaplananMesajı komşuya iletTur sayısını artır, bilginin grafta yayılışını ve aşırı yumuşatmayı gör.
- HesaplananBir nöronu kapatXOR ağında bir gizli nöronu kapat, hangi çıktıların bozulduğunu gör.
- HesaplananDurum, hangi bilgiyi taşır?Sabit ve seçici güncellemeyi aynı cümlede karşılaştır.
- HesaplananSoftmax’i parça parça hesaplaBlok boyutunu değiştir, sonucun hiç değişmediğini doğrula.
- HesaplananÖnerilen token kabul edilir mi?Taslak modelin kalitesini ayarla, kabul olasılığını ve çıktıyı gör.
- HesaplananGürültüden veriye düz yolZamanı ilerlet, rastgele ve düzenli eşleştirmeyi karşılaştır.
- HesaplananModel büyüdükçe hataÖzellik sayısını 1’den 120’ye çıkar, çift iniş eğrisini ölç.
- HesaplananCihazlar arasında ortalamaYerel adım sayısını değiştir, iletişim ile doğruluğu tart.
- HesaplananGürültü, bir kişiyi saklarGizlilik bütçesi ε’yu değiştir, hata ve gizlilik arasındaki dengeyi gör.
- Hesaplananİki ağı ortalaNöronları yer değiştirmiş ikizle karışım yap, hatanın neden arttığını gör.
- HesaplananHatanın geriye yolculuğuZincir kuralını beş aşamada izle, gradyanı sonlu farkla doğrula, girdileri oynat.
- HesaplananGeri yayılımla XOR öğrenmekDört noktalı XOR’u öğrenme oranlarını değiştirerek öğret, kaybın düşüşünü izle.
- HesaplananBaşlangıç durumunun etkisi kaç adım yaşar?Düz RNN ile kapılı hücreyi karşılaştır; kazancı ve koru payını değiştir, etkinin söndüğü adımı bul.
- Temsiliİlk token son tokena kaç adımda ulaşır?Dizi uzunluğunu değiştir; RNN’in ardışık adımlarını attention’ın tek adımlık yoluyla karşılaştır.
- HesaplananÇok kez dene, çoğunluğa bakYanlış cevapların dağılımını değiştir; çoğunluk oyunun doğruyu mu yanlışı mı büyüttüğünü gör.
- HesaplananUzun zincir, küçük hatalarAdım sayısını artır; her adım çok doğru olsa da zincirin tamamının ne kadar çabuk kırılganlaştığını hesapla.
- HesaplananKanıt, inancı nasıl kaydırır?Spam iletisindeki kelimeleri seç, önsel spam payını değiştir; Bayes çarpanlarının odds’u nasıl kaydırdığını gör.
- Hesaplananİki kelime birlikte gelinceNaive Bayes’in çarpımını derlemin gerçek birleşik oranıyla karşılaştır; aşırı eminliği ölç.
- HesaplananAynı vadi, üç yürüyüş biçimiÖğrenme oranını değiştir, vadiyi döndür; düz iniş, momentum ve Adam’ı yarıştır.
- HesaplananKüçük bir pencere, her yerde aynı ağırlıkBir çekirdek seç, pencereyi gezdir, kenar ve köşegen tepkilerini gör.
- HesaplananAğaç derinleştikçe ne olur?Derinliği artır, tek ağaç ile 25 ağacın oyunu karşılaştır.
- Hesaplanank-means: ortalamaya taşı, yeniden atak’yı ve başlangıç tohumunu değiştir, yinelemeleri izle.
- HesaplananHangi çizgi en çok bilgiyi taşır?Bir doğrunun açısını çevir, yakalanan varyansı PCA ekseniyle karşılaştır.
- HesaplananTest pozitif çıktı: gerçekten hasta mısın?Hastalığın görülme oranını düşür, kesinliğin nasıl çöktüğünü gör.
- HesaplananEşiği kaydır: yakalama mı, doğruluk mu?Eşiği ve sınıf payını değiştir, kesinlik–yakalama takasını izle.
- HesaplananKaç katman sonra sinyal ne kadar kalır?Düz, artıklı ve LayerNorm’lu yığınlarda gradyanın boyunu karşılaştır.
- TemsiliGrokking eğrisiEğitim ve test doğruluğunun ayrışmasını anlatan çizim (ölçüm değil).
Bütün hikâyeyi oku.
Transformer Mimarisi Nasıl Çalışır?