Adam#
Her parametrenin adımını, kendi gradyanının hareketli ortalamasına ve karesinin hareketli ortalamasına göre ayrı ölçekleyen optimizasyon yöntemi. Yaygın kullanılır; her problemde SGD’den iyi olmak zorunda değildir.
Anlatımın içinde görBir kavramı anla.
Bağlantıları gör.
Kısa tanımlar. Açık anlatımlar.
Birbirine bağlanan bir yapay zekâ sözlüğü.
Akış eşleme#
Gürültüyü veriye taşıyan bir hız alanını, sabit koşullu yolların vektör alanlarına regresyonla öğrenen üretken model eğitimi. Difüzyon yollarını özel durum olarak içerir.
Anlatımın içinde görAktivasyon fonksiyonu#
Nöronun ağırlıklı toplamını çıktıya çeviren, genellikle doğrusal olmayan fonksiyon (ReLU, sigmoid gibi). Doğrusal olmasaydı art arda katmanlar tek bir doğrusal katmana indirgenirdi.
Anlatımın içinde görAlım alanı#
Bir çıktı hücresinin hesabına katkıda bulunan girdi bölgesi. Evrişim katmanları üst üste konuldukça büyür.
Anlatımın içinde görAraç kullanımı#
Modelin yanıtında belirli bir biçimde bir çağrı yazması, çevreleyen programın aracı gerçekten çalıştırıp sonucu bağlama geri eklemesi. Kararı model verir; işi araç yapar.
Anlatımın içinde görArtık bağlantı#
Bir katmanın çıktısına girdisini eklemek: h ← h + f(h). Gradyana doğrudan bir yol açar ve çok katmanlı ağların eğitilebilmesini sağlar.
Anlatımın içinde görAşırı öğrenme#
Modelin, örneklerdeki gürültüye bile uyacak kadar esnek olması: eğitim hatası sıfıra yaklaşır ama görülmemiş girdilerde hata artar. Karşıtı, modelin deseni yakalayamadığı yetersiz öğrenmedir.
Anlatımın içinde görAşırı yumuşatma#
Çok sayıda mesaj aktarımı turundan sonra düğüm temsillerinin birbirine fazla benzemesi ve ayırt edilemez hâle gelmesi.
Anlatımın içinde görAttention#
Bir tokenın temsilini, diğer tokenların değer vektörlerinin ağırlıklı toplamıyla güncelleyen mekanizma. Ağırlıklar sorgu ve anahtar vektörlerinin uyumundan hesaplanır.
Anlatımın içinde görBağlam içi öğrenme#
Görevin ve birkaç örneğin yalnızca bağlamda metin olarak verilmesiyle, ağırlık güncellemesi olmadan modelin yeni göreve uyum sağlaması. Zero-shot, one-shot ve few-shot bu sürecin örnek sayısına göre adlarıdır.
Anlatımın içinde görBağlam penceresi#
Bir modelin tek seferde işleyebildiği token dizisinin kapasitesi. Büyük bir pencere, içindeki her bilginin aynı doğrulukla kullanılacağını garanti etmez.
Anlatımın içinde görBayes çarpanı#
Kanıtın, hipotez doğruyken hipotez yanlışken olduğundan kaç kat daha olası olduğunu söyleyen oran. 1’den büyükse kanıt hipotezi destekler, 1’se hiçbir şey söylemez, 1’den küçükse karşı çıkar; bağımsız kanıtların çarpanları çarpılır.
Anlatımın içinde görBayes kuralı#
Bir hipotezin kanıttan sonraki olasılığını, önsel olasılığı ile hipotezin kanıtı ne kadar iyi öngördüğünün çarpımından bulan kural. Odds biçiminde sonsal odds, önsel odds ile Bayes çarpanının çarpımıdır.
Anlatımın içinde görBilgi damıtma#
Küçük bir modelin (öğrenci), büyük bir modelin (öğretmen) olasılık çıktılarını taklit etmesi için eğitilmesi. Olasılık dağılımı, tek bir doğru etiketten daha zengin bir sinyal taşır.
Anlatımın içinde görBPE#
Eğitim verisinde sık görülen komşu birimleri tekrar tekrar birleştirerek token parçaları ve sıralı kurallar öğrenen yöntem. Yeni metne öğrenilmiş kurallar uygulanır; oluşan parçaların kök veya ek olması gerekmez.
Anlatımın içinde görÇapraz entropi#
Modelin doğru sonuca verdiği olasılığın negatif logaritmasına dayanan kayıp. Doğru tokena yüksek olasılık verildiğinde küçük, düşük olasılık verildiğinde büyük bir değer üretir.
Anlatımın içinde görÇekişmeli örnek#
Bir modeli yanıltmak için özenle hazırlanmış, çoğu zaman insanın fark etmeyeceği küçük değişiklikler içeren girdi.
Anlatımın içinde görÇift iniş#
Test hatasının model boyutu büyürken önce klasik U biçimiyle azalıp, veriyi tam öğrenme noktasında zirve yaptıktan sonra yeniden düşmesi.
Anlatımın içinde görÇok kipli model#
Metin, görüntü, ses gibi birden fazla veri türünü birlikte işleyen model. Genel fikir, her türü bir kodlayıcıyla vektör dizisine çevirip ortak bir modelin okuyabileceği hâle getirmektir.
Anlatımın içinde görÇoklu başlı attention#
Attention’ın, farklı öğrenilmiş Q, K, V dönüşümleriyle paralel çalışan birden fazla başla yapılması; başların çıktıları birleştirilip bir çıkış dönüşümünden geçirilir. Her başa kesin bir görev atamak yanıltıcıdır.
Anlatımın içinde görDerin öğrenme#
Çok katmanlı sinir ağlarının veriden temsil öğrenmesi. 2012’de AlexNet’in görüntü tanımadaki sonucuyla yaygın dikkat çekti; veri, GPU’lar ve ölçek bu dönüşümün birleşenleridir.
Anlatımın içinde görDiferansiyel mahremiyet#
Tek bir kişinin verisi değiştiğinde çıktı dağılımının en fazla e^ε oranında değişmesini güvence altına alan gizlilik tanımı; genellikle gürültü eklenerek sağlanır.
Anlatımın içinde görDifüzyon modeli#
Veriye adım adım gürültü eklenmesini tersine çevirmeyi öğrenen üretim modeli. Saf gürültüden başlayıp her adımda gürültüyü azaltarak bir görüntü üretir; metinden görüntüde metin temsili bu adımları yönlendirir.
Anlatımın içinde görDPO#
Ayrı bir ödül modeli ve pekiştirmeli öğrenme olmadan, tercih verisini dil modelinin kendi olasılıkları üzerinde sınıflandırma benzeri bir kayıpla öğrenen yöntem (Rafailov ve diğerleri, 2023).
Anlatımın içinde görDurum uzayı modeli#
Geçmişi sabit boyutlu bir durumda özetleyip her yeni girdiyle güncelleyen dizi modeli; maliyet uzunlukla doğrusal artar. Mamba, güncellemeyi girdiye bağlı (seçici) yapar.
Anlatımın içinde görDüşünce zinciri#
Modele yalnızca cevabı değil ara akıl yürütme adımlarını da yazdıran istem yöntemi. Çok adımlı görevlerde yardımcı olabilir; yazılan adımlar modelin iç hesabının sadık bir açıklaması olmak zorunda değildir.
Anlatımın içinde görEğitim#
Bir kayıp fonksiyonunu azaltmak amacıyla model parametrelerinin veriden yararlanılarak güncellenmesi. Çıkarım ise öğrenilen parametrelerle yeni bir girdi için sonuç hesaplamaktır.
Anlatımın içinde görEklemeli dil#
Kelimelerin köke art arda eklenen eklerle türediği dil türü; Türkçe, Fince ve Macarca örnektir. Tokenizasyonu ve veri seyrekliğini etkiler.
Anlatımın içinde görEmbedding#
Bir token gibi ayrık bir öğeyi, öğrenilmiş bir sayı dizisiyle temsil etme yöntemi. Girdi embedding’i aynı token kimliği için sabittir; sonraki katmanlar temsili bağlama göre dönüştürür.
Anlatımın içinde görEn iyi n#
n cevap üretip bir doğrulayıcının en iyi bulduğunu seçme. Doğrulayıcı kusursuzsa başarı 1 − (1 − p)ⁿ olur; gerçek doğrulayıcılar yanılabildiği için bu bir üst sınırdır.
Anlatımın içinde görEvrişim#
Küçük bir ağırlık tablosunu (çekirdek) girdinin her konumunda aynı biçimde gezdirip altındaki değerlerle çarpıp toplama. Yerellik ve ağırlık paylaşımı sayesinde görüntü gibi verilerde çok az parametreyle örüntü bulur.
Anlatımın içinde görFedere öğrenme#
Verinin cihazlarda kalıp yalnızca yerelde hesaplanan güncellemelerin birleştirildiği eğitim. En yaygın birleştirme yöntemi FedAvg’dir.
Anlatımın içinde görFelaketli unutma#
Bir sinir ağının yeni bir görevi öğrenirken eski görevdeki başarısını büyük ölçüde kaybetmesi.
Anlatımın içinde görFlashAttention#
Dikkati aynı sonucu vererek, GPU belleğine okuma ve yazmayı azaltacak biçimde parçalara bölerek hesaplayan algoritma. Hesap miktarı azalmaz; bellek trafiği ve yer kaplaması azalır.
Anlatımın içinde görGenelleme#
Modelin eğitimde görmediği girdilerde de doğru davranabilmesi. Eğitim hatası düşük olsa bile görülmemiş veride hata yüksek olabilir; bu yüzden değerlendirme için ayrı bir test kümesi kullanılır.
Anlatımın içinde görGeri yayılım#
Kaybın her parametreye göre türevini, zincir kuralıyla çıktıdan girdiye doğru tek bir geri geçişte hesaplayan yöntem. Gradyan inişinin milyarlarca parametreyle uygulanabilmesini sağlar; eğitim bu yüzden çıkarımdan daha çok bellek ister.
Anlatımın içinde görGözetimsiz öğrenme#
Doğru cevap (etiket) verilmeden, verinin kendi yapısını bulmaya çalışan öğrenme: kümeleme ve boyut indirgeme klasik örnekleridir.
Anlatımın içinde görGradyan artırma#
Modelleri sırayla eğitip her yenisini öncekilerin toplamının hatalarını düzeltecek biçimde kurma. XGBoost, ağaçlarla yapılan ölçeklenebilir bir uygulamadır.
Anlatımın içinde görGradyan inişi#
Kaybı azaltacak yönü, kaybın her parametreye göre türevinden bulup parametreleri o yönün tersine küçük adımlarla güncelleyen yöntem. Adımın büyüklüğünü öğrenme oranı belirler.
Anlatımın içinde görGradyan kontrolü#
Geri yayılımla hesaplanan gradyanı, her parametreyi çok az oynatıp kaybın değişimini ölçen sonlu farkla karşılaştıran test. İki sayı örtüşüyorsa geri geçiş doğru uygulanmıştır; pahalı olduğu için eğitimde değil doğrulamada kullanılır.
Anlatımın içinde görGraf sinir ağı#
Düğümler ve bağlantılardan oluşan veriyi işleyen sinir ağı: her düğüm, komşularından mesaj alıp temsilini günceller. Moleküller, yol ağları ve sosyal ağlarda kullanılır.
Anlatımın içinde görGreedy seçim#
Her adımda en yüksek olasılıklı tokenı seçen karar kuralı. Her zaman aynı girdi için aynı sonucu verir; bu bazen tekrarlayan, sıkışmış metne yol açabilir.
Anlatımın içinde görGrokking#
Küçük algoritmik veri kümelerinde, eğitim doğruluğu çoktan yükseldikten çok sonra test doğruluğunun aniden sıçraması.
Anlatımın içinde görHalüsinasyon#
Akıcı ve kendinden emin görünen ama veriyle veya gerçekle desteklenmeyen model çıktısı. Eğitim hedefinin akıcılığı ödüllendirip doğruluğu doğrudan sınamamasından kaynaklanır; tek bir ayarla ortadan kaldırılmaz.
Anlatımın içinde görHavuzlama#
Çıktının her küçük penceresini tek bir değere (örneğin en büyüğüne) indirerek boyutu azaltma ve küçük kaymalara duyarlılığı düşürme.
Anlatımın içinde görHizalama#
Bir modelin davranışını insanların istediği yöne çekme çabası: talimata uyma, yararlı olma, zararlı çıktıdan kaçınma. Bilgi eklemez; hangi yanıtın tercih edileceğini öğretir.
Anlatımın içinde görİnce ayar#
Ön eğitimli bir modelin ağırlıklarını daha küçük, hedefe yönelik bir veriyle yeniden ayarlama. Gözetimli ince ayarda (SFT) model, insan yazımı istem–yanıt örneklerini taklit eder. Bağlama örnek koymaktan farklı olarak ağırlıkları kalıcı değiştirir.
Anlatımın içinde görİstem enjeksiyonu#
Modelin okuduğu içeriğe (kullanıcı mesajı ya da bir web sayfası, belge, e-posta) gömülen talimatın, model tarafından uyulması gereken komut sanılması. Dolaylı biçimde saldırganın uygulamaya doğrudan erişmesi gerekmez.
Anlatımın içinde görİşbirlikçi filtreleme#
Öneriyi ürünün içeriğinden değil, kullanıcıların davranış benzerliğinden çıkarma: seninle benzer puan veren kişilerin sevdiği ve senin görmediğin ürünler önerilir.
Anlatımın içinde görKalibrasyon#
Modelin bir çıktıya verdiği olasılıkla, o çıktının gerçekte doğru olma ihtimali arasındaki uyum. Yüksek bir softmax olasılığı, modelin kendi dağılımındaki uyumu yansıtır; dünyadaki bir gerçeğin garantisi değildir.
Anlatımın içinde görKarar ağacı#
Veriyi ardışık evet–hayır sorularıyla (özellik ve eşik) bölen, yapraklarda çoğunluk sınıfını tahmin eden model. Derin ağaç eğitim verisini, gürültüsü dâhil, ezberleyebilir.
Anlatımın içinde görKarışıklık matrisi#
Bir sınıflandırıcının kararlarını gerçek etiketlerle karşılaştıran dört kutu: doğru pozitif, yanlış alarm, kaçan ve doğru negatif. Bütün başarı ölçütleri bu dört sayıdan türetilir.
Anlatımın içinde görKarıştırıcı#
Hem bir değişkeni hem sonucu etkileyerek aralarında sahte ya da çarpık bir ilişki yaratan üçüncü değişken. Sıcaklığın hem dondurma satışını hem güneş yanığını artırması klasik örnektir.
Anlatımın içinde görKatman normalizasyonu#
Bir örneğin bir katmandaki değerlerini kendi ortalama ve standart sapmasına göre ölçekleme; toplu iş boyutundan bağımsızdır. Transformer’larda pre-LN ve post-LN düzenleri vardır.
Anlatımın içinde görKaybolan gradyan#
Geri yayılımda sinyalin çok sayıda katmandan geçerken sıfıra doğru küçülmesi; ilk katmanlar neredeyse hiç öğrenemez. Karşıtı, gradyanın patlamasıdır.
Anlatımın içinde görKayıp fonksiyonu#
Modelin tahmini ile gerçek hedef arasındaki uyuşmazlığı sayıya döken ölçüt. Doğrusal bir modelde ortalama karesel hata, bir sonraki token tahmininde ise çoğunlukla çapraz entropi kullanılır.
Anlatımın içinde görKesinlik#
Modelin “pozitif” dediklerinin ne kadarının gerçekten pozitif olduğu: TP / (TP + FP). Sınıf payı düştükçe aynı model için düşer.
Anlatımın içinde görKeşif–sömürü ikilemi#
Bilinen en iyi seçeneği kullanmak ile yeni seçenekleri denemek arasındaki denge. Hiç keşif yapmayan bir ajan, daha iyi bir seçeneği hiç öğrenemeyebilir.
Anlatımın içinde görKıyaslama#
Modelleri karşılaştırmak için kullanılan sabit soru kümesi ve puanlama kuralı. Tekrarlanabilir ve ucuzdur, ama dardır; istem biçimine, veri sızıntısına ve ölçütün hedefe dönüşmesine duyarlıdır.
Anlatımın içinde görKonum kodlaması#
Attention tek başına tokenların sırasını görmez; konum kodlaması bu bilgiyi vektörlere ekler ya da attention hesabına katar. Özgün Transformer sabit sinüs–kosinüs desenleri kullandı; sonraki yöntemler göreli konuma odaklanır.
Anlatımın içinde görKonuşma tanıma#
Konuşma sesini yazıya çeviren sistemler. Modern sistemler sesi önce spektrograma çevirip bir sinir ağına verir; wav2vec 2.0 etiketsiz ses üzerinde ön eğitim, Whisper ise geniş ve gürültülü etiketlerle eğitim yolunu izledi.
Anlatımın içinde görKorelasyon#
İki değişkenin birlikte değişme eğilimini −1 ile +1 arasında bir sayıyla özetleyen ölçü. İlişkinin varlığını söyler, nedenini söylemez.
Anlatımın içinde görKosinüs benzerliği#
İki sıfır olmayan vektörün yön ilişkisini ölçen sayı. Nokta çarpımı, vektör uzunluklarının çarpımına bölünür. Sonuç −1 ile 1 arasındadır; bir olasılık veya anlam eşitliği yüzdesi değildir.
Anlatımın içinde görKötü koşullanma#
Kayıp yüzeyinin bir yönde çok dik, başka bir yönde çok yatay olması (dar vadi). Düz gradyan inişinde öğrenme oranını dik yön sınırlar, yatay yönde ilerleme yavaşlar.
Anlatımın içinde görKümeleme#
Benzer noktaları gruplara ayırma. k-means, k merkez seçip noktaları en yakın merkeze atar ve merkezleri kendi gruplarının ortalamasına taşır; yerel bir çözümde durur.
Anlatımın içinde görKV önbelleği#
Üretim sırasında önceki tokenların anahtar ve değer vektörlerini saklayıp yeniden kullanmak. Hesabı azaltır; ama bellek, bağlam uzadıkça büyür ve uzun bağlamda darboğaz olabilir.
Anlatımın içinde görLoRA#
Ağırlıkları dondurup, yanlarına eğitilebilir iki küçük (düşük ranklı) matris ekleyerek uyarlama yapma. Eğitilebilir parametre ve bellek ihtiyacını çok azaltır; QLoRA bunu nicelenmiş bir modelle birleştirir.
Anlatımın içinde görLSTM#
Hafıza hücresine hatanın kolay akabildiği bir yol ve bu yolu açıp kapayan çarpımsal kapılar ekleyen tekrarlı ağ türü. Kapılar öğrenilir ve girdiye göre değişir.
Anlatımın içinde görMakine unutturması#
Eğitilmiş bir modelden belirli verilerin etkisini kaldırma. Kesin yol o veri olmadan yeniden eğitmektir; SISA gibi parçalı eğitim maliyeti böler, yaklaşık yöntemlerin ise kanıtlanması zordur.
Anlatımın içinde görMatris#
Satır ve sütunlardan oluşan bir sayı tablosu; her satırı kendi başına bir vektör olarak okunabilir. Bir matrisi bir vektörle çarpmak, her satırla o vektörün nokta çarpımını almak demektir.
Anlatımın içinde görMatris ayrışımı#
Kullanıcı–ürün puan tablosunu, her kullanıcı ve ürün için kısa bir vektör (gizli faktörler) olacak biçimde iki küçük tabloya bölme. Bir puan, iki vektörün nokta çarpımıyla tahmin edilir.
Anlatımın içinde görMCP#
Anthropic’in Kasım 2024’te tanıttığı, yapay zekâ uygulamalarını dış veri ve araçlara bağlamak için açık standart. Bir yetenek artışı değil, entegrasyon kolaylığıdır.
Anlatımın içinde görMel ölçeği#
Frekansı insan kulağının perde algısına yaklaşacak biçimde dönüştüren ölçek: alçak frekanslarda ince, yüksek frekanslarda kaba ayrım yapar. Sık kullanılan bir formül mel = 2595·log₁₀(1 + f/700)’dür.
Anlatımın içinde görMesaj aktarımı#
Graf sinir ağında her düğümün komşularından bilgi toplayıp birleştirerek kendi vektörünü güncellemesi. Tur sayısı, bir düğümün ne kadar uzağı görebileceğini sınırlar.
Anlatımın içinde görModel çorbası#
Aynı başlangıçtan ince ayar edilmiş birden çok modelin ağırlıklarını ortalayarak, çıkarım maliyetini artırmadan tek bir model elde etme.
Anlatımın içinde görModel çöküşü#
Modeller birbirinin ürettiği veriyle art arda eğitildiğinde, dağılımın nadir (uç) kısımlarının giderek kaybolması. Gerçek veriyle karıştırmak etkiyi yavaşlatır.
Anlatımın içinde görModel hafızası#
Bir asistanın “hatırlamasının” üç ayrı kaynağı: ağırlıklardaki parametrik bilgi, o isteğin bağlam penceresindeki metin ve uygulamanın saklayıp geri getirdiği notlar. Hatayı yorumlamak için hangisinin devrede olduğunu bilmek gerekir.
Anlatımın içinde görMomentum#
Gradyan inişinde güncellemeye bir “hız” ekleyen yöntem: önceki adımların yönü hafızada tutulur. Tutarlı yönlerde ilerleme hızlanır, sürekli işaret değiştiren yönlerde salınımlar söner.
Anlatımın içinde görMüdahale (ablasyon)#
Bir modelin iç parçasını (örneğin bir nöronu) değiştirip ya da kapatıp çıktının nasıl değiştiğine bakma. Yalnızca birlikte etkinleşmeyi gözlemlemekten daha güçlü, nedensel bir kanıt verir.
Anlatımın içinde görNaive Bayes#
Özelliklerin sınıf bilindiğinde birbirinden bağımsız olduğunu varsayıp Bayes çarpanlarını çarpan sınıflandırıcı. Bağımlı özellikleri aynı bilgiyi iki kez sayarak olasılıkları aşırı emin yapabilir; kararı yine de iyi olabilir.
Anlatımın içinde görNedensel maske#
Bir konumun kendisinden sonraki tokenlara dikkat vermesini engelleyen kural. Gelecekteki konumların skorları softmax öncesinde eksi sonsuza ayarlanır; ağırlıkları sıfır olur.
Anlatımın içinde görNedensellik#
Bir şeye müdahale edildiğinde ötekinin değişip değişmeyeceği sorusu. Gözlem verisinden tek başına çıkarılamaz; rastgele atamalı deney ya da ek varsayımlar gerekir.
Anlatımın içinde görNiceleme#
Ağırlıkları (ve bazen ara değerleri) daha az bitle saklama: bellek ve maliyet düşer, yuvarlama hatası doğar. Büyük modellerdeki aykırı büyük değerler özel ele alınmazsa kalite düşebilir.
Anlatımın içinde görNokta çarpımı#
İki vektörün aynı sıradaki bileşenlerinin çarpımlarının toplamı. Tek bir sayı üretir; bileşenler aynı yönde büyükse bu sayı büyür, zıt yönlerdeyse küçülür veya negatif olur. Attention’daki uyum skorunun temelidir.
Anlatımın içinde görOlasılık dağılımı#
Negatif olmayan ve toplamı 1 olan bir sayı listesi. Softmax, ham skorları bu şekle dönüştürür; her tokena bir olasılık verir.
Anlatımın içinde görOtomatik türev#
Bir programın hesabını kaydedip türevlerini mekanik olarak üreten teknik ailesi; geri yayılımdan daha geneldir. Derin öğrenme kütüphaneleri geri geçişi bu sayede elle yazdırmaz.
Anlatımın içinde görÖlçek yasaları#
Dil modelinin tutulan veri üzerindeki kaybının model boyutu, veri ve işlem gücüyle öngörülebilir biçimde (kuvvet yasasıyla) azalmasını tarif eden ampirik uyumlar. Düşük kaybın belirli bir yeteneği garanti etmediğini unutma.
Anlatımın içinde görÖn eğitim#
Bir dil modelinin çok büyük bir metin derleminde bir sonraki tokenı tahmin ederek dilin kalıplarını ve bilgi temelini öğrendiği ilk, en pahalı eğitim aşaması. Ortaya çıkan model, talimat izleme için henüz ayarlanmamış olabilir.
Anlatımın içinde görÖnsel ve sonsal olasılık#
Önsel, kanıtı görmeden önceki inanç (örneğin gelen kutusundaki spam oranı); sonsal, kanıt görüldükten sonra Bayes kuralıyla güncellenmiş inançtır. Aynı kanıt, farklı önsellerle çok farklı sonsallara götürür.
Anlatımın içinde görÖnyargı#
Modelin, eğitim verisindeki eşitsizlik ya da çarpıklıklar nedeniyle bazı gruplara karşı sistematik biçimde farklı davranması. Ortalama başarı yüksek olsa da alt gruplarda büyük hata farkları görülebilir.
Anlatımın içinde görÖz tutarlılık#
Modelden aynı soru için farklı akıl yürütme zincirleri örneklemesini isteyip en sık çıkan nihai cevabı seçme yöntemi. En olası cevabı büyütür; yanlışlar tek noktada toplanıyorsa yanlışı da büyütür.
Anlatımın içinde görParametre#
Modelin eğitim sırasında ayarladığı sayı. Ağırlık matrisleri ve bias vektörleri parametre içerir. Daha fazla parametre, tek başına daha doğru bir model anlamına gelmez.
Anlatımın içinde görPekiştirmeli öğrenme#
Bir ajanın bir ortamda eylem yapıp ödül aldığı, doğru cevabın verilmediği öğrenme biçimi. Amaç, uzun vadeli toplam ödülü artıracak bir politika öğrenmektir.
Anlatımın içinde görPerceptron#
Frank Rosenblatt’ın 1958’de tanıttığı, girdileri ağırlıklarla toplayıp bir eşikten geçiren ve ağırlıklarını örneklere göre güncelleyen en eski yapay nöron modellerinden biri. Tek katmanlı hâli XOR gibi problemleri çözemez.
Anlatımın içinde görPiyango bileti hipotezi#
Yoğun, rastgele başlatılmış bir ağın, kendi başına eğitildiğinde benzer başarıya ulaşabilen küçük alt ağlar (kazanan biletler) içerdiği fikri; bunlar özgün başlangıç değerleriyle birlikte işe yarar.
Anlatımın içinde görPolisemantiklik#
Tek bir nöronun birbirinden ilgisiz birçok girdiyle etkinleşmesi. Toy Models of Superposition çalışmasında, nöron sayısından fazla özelliğin süperpozisyonla depolanmasıyla ilişkilendirildi.
Anlatımın içinde görPolitika#
Pekiştirmeli öğrenmede, her durumda hangi eylemin seçileceğini belirleyen kural. Q-öğrenmede değer tablosundan türetilir.
Anlatımın içinde görPrompt#
Modele yanıt üretmeden önce verilen bütün metin: soru, talimat, örnek, belge ve önceki konuşma. Model bunu tek bir token dizisi olarak okur; prompt yazmak ağırlıkları değiştirmez.
Anlatımın içinde görRAG#
Yanıt üretmeden önce ilgili belgeleri getirip modele bağlam olarak sunan yaklaşım. Belge arama ve metin üretme adımlarını birleştirir; doğruluğu otomatik olarak garanti etmez.
Anlatımın içinde görRLHF#
İnsanların model yanıtlarını sıralamasından bir ödül modeli eğitip, dil modelini bu ödülü artıracak biçimde pekiştirmeli öğrenmeyle güncelleyen yöntem. Tercih edilen yanıta yöneltir; doğruluğu garanti etmez.
Anlatımın içinde görRoPE#
Sorgu ve anahtar vektörlerinin bileşen çiftlerini, tokenın konumuyla orantılı bir açıyla döndüren konum yöntemi. Nokta çarpımı yalnızca konum farkına bağlı kalır.
Anlatımın içinde görSağlamlık#
Bir modelin girdideki küçük ya da kasıtlı değişikliklere ve dağılım kaymasına karşı performansını koruma düzeyi.
Anlatımın içinde görSentetik veri#
Gerçek dünyadan toplanmak yerine bir model tarafından üretilen eğitim verisi. Süzülüp doğrulandığında yararlıdır; süzgeçsiz ve gerçek veriyi dışlayarak kullanılırsa model çöküşü riski doğar.
Anlatımın içinde görSes klonlama#
Belirli bir kişinin sesini kısa bir kayıttan taklit eden yeni konuşma üretme. Rıza, açıklık ve doğrulama sorunlarını gündeme getirir.
Anlatımın içinde görSes sentezi#
Metni konuşmaya çeviren sistemler. Yaygın tasarım iki aşamalıdır: metinden bir mel spektrogramı tahmin etmek, sonra bir vokoderle onu ses dalgasına çevirmek.
Anlatımın içinde görSıcaklık#
Örneklemeden önce logit skorlarının bölündüğü pozitif katsayı. Düşük değerler dağılımı keskinleştirir; yüksek değerler düzleştirir. Bilginin doğruluğunu ölçmez.
Anlatımın içinde görSinir ağı#
Katmanlar hâlinde dizilmiş yapay nöronlardan oluşan model. Girdi katmanı veriyi alır, gizli katmanlar ara temsiller üretir, çıkış katmanı sonucu verir. Parametreleri geri yayılım ve gradyan inişiyle eğitilir.
Anlatımın içinde görSoftmax#
Bir skor dizisini, toplamı 1 olan pozitif ağırlıklara dönüştüren fonksiyon. Her skorun üstel değeri, tüm üstel değerlerin toplamına bölünür.
Anlatımın içinde görSoğuk başlangıç#
Geçmiş davranışı olmayan yeni bir kullanıcı ya da henüz puanlanmamış yeni bir ürün için öneri üretememe sorunu. Popülerlik, ilk sorular ve içerik bilgisi yaygın çözümlerdir.
Anlatımın içinde görSpektrogram#
Bir ses kaydını kısa pencerelere bölüp her pencerenin frekans içeriğini yan yana dizen tablo: yatay eksen zaman, dikey eksen frekans, renk güç. Konuşma modelleri girdiyi çoğunlukla bu biçimde (çoğu zaman mel ölçeğinde) alır.
Anlatımın içinde görSpekülatif çözümleme#
Küçük bir taslak modelin önerdiği tokenları büyük modelin paralel doğrulaması ve özel bir kabul/ret kuralıyla, çıktı dağılımını değiştirmeden üretimi hızlandırma.
Anlatımın içinde görTaban oranı#
Bir olayın tüm örnekler içindeki doğal payı. Nadir olaylarda iyi bir test bile pozitiflerinin çoğunu yanlış alarm olarak verebilir; doğruluk da yanıltıcı olur.
Anlatımın içinde görTekrar ayıklama#
Eğitim verisindeki birebir ya da neredeyse aynı belgeleri ayıklama. Ezberlemeyi ve eğitim–test örtüşmesini azaltır; büyük ölçekte yaklaşık yöntemler (örneğin MinHash) gerekir.
Anlatımın içinde görTekrar oynatma#
Eski görevlerden saklanan örnekleri yeni eğitime karıştırarak unutmayı azaltma yöntemi.
Anlatımın içinde görTekrarlı sinir ağı#
Aynı küçük hücreyi dizinin her adımında yeniden kullanan ve bir önceki adımdan kalan gizli durumu bir sonrakine taşıyan ağ. Hafıza sabit boyutlu bu durumdur; uzun dizilerde etkisi silinebilir.
Anlatımın içinde görTemel bileşen analizi#
Veriyi, izdüşümlerinin varyansını en büyük yapan doğrusal yönlere (temel bileşenlere) indirgeme. Doğrusaldır; yüksek varyans, önemli olmayla aynı şey değildir.
Anlatımın içinde görTest anı hesabı#
Bir cevap üretilirken harcanan ek hesap: daha uzun zincirler, çok sayıda örnek, oylama ya da doğrulayıcıyla arama. Getirisi sorunun zorluğuna ve doğrulayıcının kalitesine, bedeli örnek sayısına bağlıdır.
Anlatımın içinde görToken#
Modelin işlediği ayrık metin birimi. Bir kelime, kelime parçası, noktalama işareti veya bayt dizisi olabilir. Sınırları, kullanılan tokenizer ve sözlüğe bağlıdır.
Anlatımın içinde görTop-k / Top-p örnekleme#
Örneklemeden önce düşük olasılıklı adayları eleyen iki yöntem. Top-k sabit sayıda adayı tutar; top-p (nükleer), kümülatif olasılığı sabit bir eşiğe ulaşana kadar aday ekler. Dağılım düzleştikçe top-p’nin tuttuğu aday sayısı artar.
Anlatımın içinde görTorbalama#
Eğitim kümesinden yerine koyarak çekilen örneklemlerde ayrı modeller eğitip tahminleri birleştirme. Varyansı azaltır; rastgele orman bunun ağaçlarla ve özellik altkümesi seçimiyle yapılan biçimidir.
Anlatımın içinde görTransformer#
Token temsillerini attention ve ileri beslemeli katmanlarla işleyen sinir ağı mimarisi. Encoder-only, decoder-only ve encoder–decoder biçimleri farklı amaçlarla kullanılır.
Anlatımın içinde görTuring testi#
Alan Turing’in 1950’de önerdiği, bir makinenin yazılı bir sohbette insandan ayırt edilip edilemeyeceğine bakan sınama. “Makineler düşünebilir mi?” sorusunu davranış üzerinden ele alır; zekânın tek ölçütü sayılmaz.
Anlatımın içinde görUzman karışımı#
Her token için yalnızca birkaç “uzman” ileri beslemeli ağın çalıştırıldığı mimari. Hesap etkin parametreyle, bellek ise toplam parametreyle orantılıdır; uzmanların konu uzmanı olması gerekmez.
Anlatımın içinde görVektör#
Bu anlatımda, bir öğenin sayısal temsilini taşıyan sıralı sayılar bütünü. Bileşenler birlikte anlam taşır; tek bir boyutun insanın adlandırabileceği bir özelliğe karşılık gelmesi gerekmez.
Anlatımın içinde görVeri belgesi#
Bir veri kümesinin amacını, bileşimini, toplanma sürecini ve önerilen kullanımlarını belgeleyen standart açıklama. Veriyi kullananların, veri kümesinin işlerine uygun olup olmadığına bilgiyle karar vermesini sağlar.
Anlatımın içinde görVeri sızıntısı#
Test bilgisinin eğitime karışması: aynı örneğin hem eğitimde hem testte bulunması ya da bir kıyaslamanın test sorularının modelin eğitim verisine girmesi. Sonuçları gerçekte olduğundan iyimser gösterir.
Anlatımın içinde görVeri temizleme#
Ham web metnini eğitimden önce kurallarla ve sınıflandırıcılarla süzme: dil belirleme, kısa ya da boş sayfaları atma, kod ve uygunsuz içeriği ayıklama. Neyi attığın, modelin dünyasını biçimlendirir.
Anlatımın içinde görVideo üretimi#
Birbirine bağlı kareler dizisini üreten modeller. Zorluk, kareler arası tutarlılık ve ölçektir; yaygın yaklaşım videoyu sıkıştırılmış bir iç temsile çevirip orada difüzyon uygulamaktır.
Anlatımın içinde görVision Transformer#
Görüntüyü sabit boyutlu yamalara bölüp her yamayı bir vektöre çevirerek bir Transformer’a veren mimari. Büyük veriyle ön eğitildiğinde evrişimli ağlarla yarışır.
Anlatımın içinde görVokoder#
Bir spektrogramı (genellikle mel) ses dalgasına çeviren model. WaveNet gibi otoregresif vokoderler dalgayı örnek örnek üretir.
Anlatımın içinde görYakalama (duyarlılık)#
Gerçek pozitiflerin ne kadarının yakalandığı: TP / (TP + FN). Eşik düştükçe artar, ama yanlış alarm da artar.
Anlatımın içinde görYapay nöron#
Girdileri ağırlıklarıyla çarpıp toplayan, bir bias ekleyen ve sonucu bir aktivasyon fonksiyonundan geçiren basit sayısal birim. Biyolojik nörondan esinlenmiştir ama onun ayrıntılı bir modeli değildir.
Anlatımın içinde görYapay zekâ ajanı#
Bir hedef verildiğinde, döngü içinde araç çağırıp sonuçlara göre kendi adımlarını belirleyebilen dil modeli tabanlı sistem. Terimin tek bir kesin tanımı yoktur.
Anlatımın içinde görYorumlanabilirlik#
Bir modelin çıktısını hangi iç mekanizmanın ürettiğini insanın anlayabileceği biçimde ortaya çıkarma çabası. Açıklama gibi görünen çıktılar sınanabilir olmalıdır.
Anlatımın içinde görZamanda geri yayılım#
Tekrarlı bir ağı adım sayısı kadar katmanlı, ağırlıkları paylaşan bir ağ olarak açıp geri yayılımı bu açılmış ağda uygulama. Gradyan her adımda türevle çarpıldığı için uzun dizilerde sönebilir ya da patlayabilir.
Anlatımın içinde görZincir kuralı#
İç içe fonksiyonların türevini, halkaların türevlerinin çarpımı olarak veren kural. Geri yayılım, bu çarpımı çıktıdan girdiye doğru kurar ve ortak çarpanları yeniden hesaplamaz.
Anlatımın içinde görTanımlar başlangıç içindir. Ayrıntılar ve birincil kaynaklar, bağlantılı anlatımlarda yer alır.