Daha çok hesap, daha iyi cevap mı? Oylama ve test anı hesabı

01Adımlar da hesaptır#

Prompt yazısında düşünce zincirini gördün: model ara adımları yazarsa sonraki tokenlar bu adımlara dayanabilir. Kojima ve arkadaşları, bunun için örnek vermenin bile gerekmeyebileceğini bildirdi: “adım adım düşünelim” cümlesi, InstructGPT (text-davinci-002) ile MultiArith doğruluğunu %17,7’den %78,7’ye, GSM8K doğruluğunu %10,4’ten %40,7’ye çıkardı. Large Language Models are Zero-Shot Reasoners ↗

Ama zincirin bir bedeli var: uzadıkça kırılgan olur. Her adım yüksek olasılıkla doğru olsa bile bir hata, sonrakileri bozabilir. Aşağıdaki çizim, adımların birbirinden bağımsız hata yaptığını varsayarak bunu hesaplıyor.

Her adım %99 doğru olsa da 50 adımlık zincirin tamamı yalnızca %60,5 olasılıkla doğru. %95 doğru adımlarla 20 adımlık zincir %35,8; %90’la 10 adımlık zincir %34,9. Adımları %99,9’a çıkarırsan 50 adım yine de %95,1. Çarpım acımasızdır: küçük hatalar uzun zincirlerde birikir. Bu, bir modelin ölçümü değil, bir varsayımın sonucudur; gerçek hatalar ilişkili olabilir ve bir hata çoğu zaman sonraki adımları da bozar.

Bu yüzden akıl yürütme yazan modellerde şu soru önemli hâle gelir: zincirin tek bir denemesine güvenmek yerine ne yapılabilir?

02Çok kez dene, çoğunluğa bak#

Wang ve arkadaşlarının öz tutarlılık (self-consistency) yöntemi şudur: tek bir açgözlü cevap yerine, modelden farklı akıl yürütme zincirleri örneklemesini iste (örnekleme yazısındaki sıcaklık sayesinde her seferinde farklı bir yol çıkar) ve en tutarlı nihai cevabı seç. Yazarlar düşünce zinciri istemine göre şu artışları bildirdi: GSM8K’de +%17,9, SVAMP’ta +%11,0, AQuA’da +%12,2, StrategyQA’da +%6,4, ARC-challenge’da +%3,9. Self-Consistency Improves Chain of Thought Reasoning in Language Models ↗

Bu kazancın hangi koşulda geldiğini aşağıda hesapla. Modelin her sorudaki cevabı bir dağılımdan geliyor: bir doğru cevap ve dört yanlış. Çoğunluk oyunun doğruluğu tam olarak hesaplanıyor.

Tek örnek doğruluğu 0,4 iken (varsayılan ayar):

• Yanlışlar dağınıksa (dört yanlış cevap 0,15’er): 5 örnekte %54,9, 11 örnekte %70,8, 25 örnekte %88,8. Oylama işe yarıyor, çünkü yanlışlar birbirini götürüyor.
• Bir yanlış ağır basıyorsa (yanlış kütlenin %60’ı tek cevapta, 0,36): 5 örnekte %48,9, 25 örnekte %59,0. Doğru cevap hâlâ en olası (0,40 > 0,36), bu yüzden oylama doğruya yaklaşıyor ama çok yavaş.
• Hepsi aynı yanlışa gidiyorsa (0,60): 3 örnekte %35,2, 11 örnekte %24,7, 25 örnekte %15,4. Oylama tek örnekten daha kötü: yanlış cevabı büyütüyor.

Kural: örnek sayısı büyüdükçe çoğunluk oyu en olası cevaba yaklaşır. Doğru cevabın olasılığı her bir yanlışınkinden büyükse oylama doğruya, küçükse yanlışa gider. Doğruluğu 0,3’e indirip “bir yanlış ağır basıyor”u seçersen, 25 örnekte oylama %23,7 olur; tek örnekten (%30) daha kötü. Oylama bir güçlendiricidir: eğilimin yönünü değiştirmez, büyütür.

Bu demodaki dağılım ve doğruluk ayarlardır, bir modelden ölçülmedi. Gerçek bir görevde yanlış cevapların ne kadar dağınık olduğu göreve ve modele göre değişir; makalenin ölçtüğü kazançlar o ölçümlerdir, bu demo ise kazancın hangi mekanizmaya dayandığını gösterir. Oylama ayrıca, cevapların birbiriyle karşılaştırılabildiği (bir sayı, bir seçenek) görevlerde doğrudan uygulanır; serbest metinlerde “aynı cevap” demek ayrı bir sorundur.

03Oy yerine doğrulayıcı#

Cevabın doğruluğunu kontrol edebiliyorsan (bir birim testi, bir matematik denetleyicisi, bir ispat denetleyicisi) oya gerek kalmaz: n örneğin en az biri doğruysa ve kontrolcü onu tanıyorsa başarılısın. Olasılık 1 − (1 − p)ⁿ. Tek örnek doğruluğu 0,4 iken 5 örnekte %92,2, 11 örnekte %99,6. Demodaki kırmızı kesikli eğri bu. Ama dikkat: bu eğri kusursuz bir doğrulayıcıyı varsayar; gerçek doğrulayıcılar da yanılır, bu yüzden bu bir üst sınırdır.

Snell ve arkadaşları, test anında ayrılan hesabı iki yolla ölçeklemeyi inceledi: yoğun, süreç tabanlı doğrulayıcı ödül modellerine karşı arama yapmak ve modelin cevap dağılımını test anında uyarlamak. Bildirdiklerine göre bu yöntemlerin etkisi sorunun zorluğuna bağlı; hesabı soru başına uyarlayan bir strateji, en iyi-n tabanına göre verimliliği 4 kattan fazla artırdı. FLOPs eşleşmiş karşılaştırmada ise test anı hesabı, daha küçük bir modelin 14 kat büyük bir modeli geçmesine izin verebildi; ama bu yalnızca küçük modelin sorularda anlamlı bir başarıyla başladığı durumlarda geçerli. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters ↗

Bir bedel de var: her örnek bir üretimdir. Demoda n = 25 örnek, tek örneğin 25 katı üretim demek; her tokenın nasıl pahalı olduğunu hız ve bellek yazısında gördün. Daha çok hesap, getirisi sorunun zorluğuna ve doğrulayıcının kalitesine bağlı bir yatırımdır.

04Akıl yürütmeyi eğitmek#

Şimdiye kadar hepsi kullanım anında yapılan şeylerdi. Başka bir yol, akıl yürütmeyi eğitimle öğretmektir. DeepSeek-R1 makalesinin yazarları, akıl yürütme becerisinin insan etiketli akıl yürütme izlerine gerek kalmadan, saf pekiştirmeli öğrenmeyle teşvik edilebildiğini bildirdi. Öz-yansıtma ve doğrulama gibi gelişmiş akıl yürütme örüntülerinin kendiliğinden ortaya çıktığını, matematik, kodlama yarışmaları ve STEM gibi doğrulanabilir görevlerde üstün performans elde ettiklerini yazdılar. DeepSeek-R1 ↗ Makale Nature’da yayımlandı (cilt 645, s. 633–638, 2025).

Burada “doğrulanabilir” sözü önemli: ödül, cevabın doğruluğunun otomatik kontrol edilebildiği görevlerden gelir; bu, pekiştirmeli öğrenme yazısındaki “ödül tasarımı zordur” uyarısıyla birlikte okunmalıdır. Yazarların raporu, yöntemin doğrulanabilir alanlarda işe yaradığını söyler; serbest görevlerde ne olacağı ayrı bir sorudur.

05Neyi çıkarmamalı?#

• Daha çok hesap her zaman daha iyi cevap değildir. Yanlışlar tek bir noktada toplanıyorsa oylama yanlışı büyütür.
• Yazılan zincir, kanıt değildir. Modelin yazdığı adımlar doğru cevabı destekleyebilir, ama kararın gerçek nedenini yansıtmak zorunda değildir; ayrıntı için prompt yazısındaki uyarıya bak.
• Doğrulayıcı olmadan en iyi-n eğrisi bir hayaldir. O eğri, doğruyu her zaman tanıyan bir kontrolcü varsayar.
• Bedel gerçektir. Örnek sayısı kadar üretim, gecikme ve maliyet demek.

Sıradaki yazıda modelin neyi, nerede “hatırladığını” ayırıyoruz: Modelin hafızası nerede?