Metni token’lara böl
Model, cümleyi işleyebileceği parçalara ayırır. Her parça bir kimlik numarası alır.
Karmaşık kavramları etkileşimli görsellerle keşfet.
Yapay zekânın nasıl çalıştığını adım adım gör,
merak ettiğin sorulara net cevaplar bul.
Model, cümleyi işleyebileceği parçalara ayırır. Her parça bir kimlik numarası alır.
Bir token seç. Renk yoğunluğu, hangi konumlardan daha çok bilgi topladığını gösterir.
“dünyayı” satırını inceliyorsun. Bu örnekte “dünyayı” ile “yapabilir” arasındaki bağ özellikle vurgulanıyor.
Token, topladığı bağlamla yeni bir sayı vektörüne dönüşür.
Haritada seçilmiş duraklar var; bütün dersler için Öğren sayfasına bak.
Transformer mimarisini tokenlardan attention’a, oradan bir sonraki kelimeye kadar adım adım keşfet.
Transformer’ı keşfetVeri, model ve öğrenme arasındaki ilişkiyi kur. Yolculuğa büyük resmi görerek başla.
Token, kimlik ve embedding: dil modellerinin giriş kapısını iki küçük deneyle aç.
Kayıp fonksiyonu, gradyan inişi ve öğrenme oranı: parametreler neden ve nasıl güncellenir? Aynı doğruyu farklı hızlarda eğit, farkı izle.
Eğitim hatası düşük olduğunda model neden hâlâ başarısız olabilir? Genelleme, aşırı öğrenme, veri bölme ve sızıntıyı tek bir deneyle öğren.
Bir nöron, bir ağırlıklı toplam ve bir bükülme: aktivasyon, gizli katman ve geri yayılımı iki küçük deneyle öğren.
Bir cümlenin tokenlardan tahmine uzanan yolculuğu. Modern dil modellerinin içini, adım adım ve etkileşerek keşfet.
Ön eğitim, gözetimli ince ayar ve insan geri bildirimi: sohbet asistanlarının üç aşamalı yolu, alternatif yöntemler ve bu aşamaların sınırları.
İstem, bağlam penceresi, örnekle öğretme ve düşünce zinciri: iyi bir prompt neden işe yarar, nerede yetmez? Sihirli kelimeler değil, mekanik.
Halüsinasyon neden olur, yüksek olasılık neden doğruluk anlamına gelmez, değerlendirmenin sınırları nedir? Yolculuğun sonunda modelin yapamadıklarına bak.
Difüzyon modelleri görüntüye gürültü eklemeyi öğrenmez; gürültüyü geri almayı öğrenir. Bir deneyle ileri süreci, geri kazanımı ve neden adım adım ilerlendiğini gör.
Basınç dalgasından spektrograma, oradan kelimelere: bir ses kaydı, konuşma tanıma modeline hangi sayılarla ulaşır? İki deneyle Fourier dönüşümünü ve spektrogramı kur.
Bir video, birbirine bağlı onlarca kare demektir. Üretim neden bu kadar pahalı, zamansal tutarlılık nedir, difüzyon ve Transformer fikirleri videoya nasıl taşındı ve çıktıya ne kadar güvenilmeli?
Modeller, eğitim verisinin bir yansımasıdır. Temsil eksikliği, önyargı ve kişisel bilgilerin sızması: ölçülmüş örnekler ve verinin nasıl belgelenmesi gerektiği.
Korelasyon ile nedensellik arasındaki fark, ortak neden (karıştırıcı), Berkeley kabul verisindeki Simpson paradoksu ve makine öğrenmesi modellerinin neden bazen yanlış ipuçlarını öğrendiği.
“%99 doğruluk” iyi bir sonuç mu? Karışıklık matrisi, kesinlik, yakalama, F1 ve eşik ayarı; nadir bir olayda iyi bir testin bile neden çoğunlukla yanlış alarm verdiğini kendi sayılarınla gör.
Token token üretim, KV önbelleği ve belleğin büyümesi: uzun bir bağlamda neden her şey daha pahalı olur, hangi tasarımlar bunu hafifletir?
Niceleme, damıtma ve LoRA: bir modeli daha az bellekle çalıştırmanın ve daha ucuza uyarlamanın üç farklı yolu, ve her birinin ödediği bedel.
Derinlik bir çarpımdır: sinyal katman katman çarpılınca ya söner ya patlar. Artık bağlantı ve LayerNorm bunu nasıl dizginler? Rastgele ağlarda gradyanın boyunu ölç.
Karar ağacı, bir dizi evet–hayır sorusudur. Derinleştikçe ezberler; torbalama ve gradyan artırma bunu nasıl düzeltir? Tablo verisinde ağaç tabanlı yöntemlerin sinir ağlarını neden zorladığına dair bir araştırma.
Elinde etiket yokken veriden ne çıkar? k-means ile benzer noktaları grupla, PCA ile iki boyutlu bir bulutun en önemli yönünü bul. Her iki yöntemin de neyi bildiğini ve neyi bilmediğini iki deneyle gör.
Film, müzik ve video önerilerinin arkasındaki mantık: kullanıcı–ürün ilişkileri, benzerlik, gizli faktörler ve hiç verisi olmayan yeni bir kullanıcıya ne önerileceği sorunu.
Dikkat hesabı çoğunlukla işlemci hızıyla değil, belleğe okuma ve yazma sayısıyla yavaşlar. FlashAttention aynı sonucu parça parça hesaplayarak bunu azaltır; hilenin kendisi, tek satırlık bir softmax deneyinde.
Büyük bir dil modeli tokenları tek tek üretmek zorunda mıdır? Spekülatif çözümleme, küçük bir taslak modelin önerilerini büyük modele toplu doğrulatır ve çıktı dağılımını değiştirmez.
Klasik U biçimli eğriye göre, veriyi tam öğrenebilen modeller kötü genellemelidir. Çift iniş eğrisi bunun ötesinde hatanın yeniden düştüğünü gösterir. Bir kurulumda kendin ölç; ama sonucun sınırlarını da oku.
Bir ağırlığı değiştir. Bir token seç. Sonucun neden değiştiğini gör.