Bir model ne zaman yanılır?

01Akıcı olmak, doğru olmak değildir#

Şimdiye kadar bir modelin nasıl eğitildiğini, bir cümleyi nasıl işlediğini ve bir sonraki kelimeyi nasıl seçtiğini izledin. Bütün bu mekanizma kusursuz çalışsa bile, üretilen metin yanlış olabilir. Var olmayan bir kaynağı gerçekmiş gibi anlatmak, bir tarihi veya sayıyı uydurmak, buna halüsinasyon denir: akıcı ve kendinden emin görünen ama veriyle veya gerçekle desteklenmeyen içerik. Ji ve diğerlerinin derlemesi, bu sorunu özetleme, diyalog ve soru cevaplama gibi birçok görevde sistematik biçimde inceler.

Bu bir yazılım hatası gibi "düzeltilip kapatılabilecek" bir kusur değildir. Aşağıda nedenini, neden yüksek olasılığın güvence sayılmayacağını ve hangi önlemlerin işe yarayıp yaramadığını görelim.

02Neden olur?#

Bir modelin eğitim hedefi, gördüğün gibi, eğitim verisindeki bir sonraki tokena yüksek olasılık vermektir. Bu hedef doğruluğu doğrudan ödüllendirmez; akıcı ve örüntüye uygun olmayı ödüllendirir. Eğitim verisi hatalıysa, çelişkiliyse veya bir konuyu hiç içermiyorsa, model yine de bir devam üretir — çünkü üretmemeyi değil, bir sonraki tokenı tahmin etmeyi öğrenmiştir.

Kalai ve diğerlerinin 2025 tarihli çalışması bunu daha keskin bir biçimde çerçeveler: bir cevap üretmek, o cevabın doğru olup olmadığını sınamaktan istatistiksel olarak daha zordur. Eğitim verisinde hiç hata olmasa bile, bu asimetri halüsinasyonu üretebilir. Üstelik yaygın değerlendirme yöntemleri, modeli "bilmiyorum" demek yerine tahmin yürütmeye teşvik eder — tıpkı boş bırakmanın puan kazandırmadığı bir sınavda rastgele şık işaretlemek gibi. Why Language Models Hallucinate ↗

03Yüksek olasılık, bir garanti değildir#

Tahmin yazısında gördüğün softmax olasılıkları, modelin kendi dağılımındaki göreli uyumu yansıtır; dünyadaki bir gerçeğin doğruluk payı değildir. Bir model, var olmayan bir makale başlığına veya yanlış bir tarihe de yüksek bir olasılıkla "kendinden emin" bir biçimde ulaşabilir — çünkü o metin, eğitim verisindeki örüntülere akıcı bir biçimde uyuyordur.

Bunun adı kalibrasyon sorunudur: modelin verdiği olasılıkla, söylediğinin gerçekte doğru olma ihtimali arasındaki ilişki. İyi kalibre edilmiş bir sistemde bu ikisi birbirine yakın olur; dil modelleri için bu her zaman garanti değildir. Düşük sıcaklık veya dar bir top-p çıktıyı daha kararlı yapar ama aynı yanlış cevabı daha kararlı biçimde tekrarlatabilir — sıcaklık bir doğruluk düğmesi değildir.

04Ölçmek, kapatmak değildir#

Bu sorunu ölçmek için TruthfulQA gibi kıyaslama (benchmark) kümeleri geliştirilmiştir; insanların da yanlış inanç nedeniyle yanılabileceği sorularla modelin uydurma eğilimini test ederler. Ama her kıyaslama bir vekil ölçüttür: belirli bir soru kümesinde iyi sonuç, her konuda güvenilir olmak anlamına gelmez. Bir kıyaslamaya göre optimize edilen bir model, o kıyaslamanın kapsamadığı alanlarda yine de yanılabilir. Değerlendirme, kendisi de aktif bir araştırma sorunudur; tek bir sayı "ne kadar güvenilir" sorusunu tam olarak yanıtlamaz.

05Azaltmanın yolları, hiçbiri sihirli değil#

Birkaç yaklaşım riski azaltır, hiçbiri sıfıra indirmez:

• Belge getirme (RAG): Modelin ağırlıklarına güvenmek yerine ilgili kaynağı bağlama eklemek. RAG: Modelin yanına bir kütüphane koymak bunu inceliyor — doğruluğu otomatik olarak garanti etmediğini de.
• Kaynak göstermek: Üretilen iddiayı doğrulanabilir bir referansa bağlamak, kullanıcının kontrol etmesini kolaylaştırır.
• Belirsizliği kabul etmeyi öğretmek: Kalai ve diğerlerinin önerdiği gibi, modeli "bilmiyorum" demeye teşvik eden eğitim ve değerlendirme kuralları, tahmin yürütmeyi ödüllendiren kurallardan daha az halüsinasyon üretir.
• İnsan incelemesi: Özellikle yüksek riskli kararlarda, üretilen içeriği bir insanın doğrulaması.

Ana hat burada tamamlandı. Bundan sonraki derslerde aynı bakışı başka alanlara taşıyoruz: ses, öneri sistemleri, pekiştirmeli öğrenme, veri ve güven, graflar, video ve yorumlama. İlk durak: Yapay zekâ sesi nasıl duyar?