Bir modelin iyi olduğunu nasıl anlarız?

01Kıyaslama: tekrarlanabilir ama dar#

Bir modelin “iyi” olması tek bir sayıya sığmaz; ama sayıya ihtiyaç duyarız, çünkü modelleri karşılaştırmak ve ilerlemeyi izlemek isteriz. Kıyaslama (benchmark), sabit bir soru kümesi ve sabit bir puanlama kuralıdır. Örnek: MMLU, 57 konuyu (temel matematik, ABD tarihi, bilgisayar bilimi, hukuk…) kapsayan çok görevli bir doğruluk testidir. Yayımlandığı dönemde çoğu model rastgele şansa yakın puan aldı; en büyük GPT-3 modeli rastgele şansın yaklaşık 20 puan üzerine çıktı. Aynı makale, başarının konular arasında dengesiz olduğunu ve modellerin yanıldıklarını çoğu zaman bilmediğini de bildirdi. Hendrycks ve diğerleri ↗

Kıyaslamanın gücü, ucuz ve tekrarlanabilir olmasıdır. Zayıflığı, ölçtüğü şeyin dar olmasıdır: sabit sorular, gerçek kullanımın küçük bir örneğidir. TruthfulQA gibi bir kıyaslama doğruluğa, MMLU bilgi genişliğine bakar; ikisi aynı şeyi ölçmez.

02İnsan tercihi ve “yapay zekâ hakem”#

Sorusu ve doğru cevabı baştan belli olmayan açık uçlu işlerde, kıyaslama yerine insana sormak gerekir. Chatbot Arena, bunun açık bir örneğidir: kullanıcı bir soru yazar, anonim iki modelin cevabını görür ve tercihini oylar; modellerin kimliği oylamadan sonra açıklanır. Sıralama, ikili karşılaştırmalardan Bradley–Terry gibi istatistiksel modellerle çıkarılır; makale yayımlandığında 240 binin üzerinde oy toplanmıştı. Chiang ve diğerleri ↗

İnsan değerlendirmesi pahalı ve yavaştır; bu yüzden güçlü bir modeli hakem olarak kullanmak yaygınlaştı. Zheng ve arkadaşları, yanlılıkları giderildiğinde GPT-4’ün bir hakem olarak insan tercihleriyle %80’in üzerinde uyum gösterdiğini bildirdi. Aynı çalışma yanlılıkları da açıkça sıralar: konum yanlılığı (ilk ya da son cevabı tercih etme), ayrıntı yanlılığı (daha uzun cevabı tercih etme) ve kendini kayırma (kendi model ailesinin cevabını tercih etme). Önerilen önlemlerden biri, iki cevabın yerini değiştirip yalnızca ikisinde de aynı sonuç çıkarsa kazananı ilan etmektir. Zheng ve diğerleri ↗

03Sınav sorusu eğitim kitabında ise#

Bir model, test sorularını eğitim sırasında zaten gördüyse, aldığı puan genelleme değil ezber ölçer. Buna veri kirlenmesi (contamination) ya da sızıntı denir (bkz. ezberleme–genelleme). Büyük modeller geniş ölçüde web verisiyle eğitildiğinden, ve kıyaslamalar da web’de yayımlandığından, bu risk gerçektir.

Sainz ve arkadaşlarının görüş yazısı, bir modelin bir kıyaslamanın test bölümüyle eğitilip sonra aynı kıyaslamada değerlendirilmesini, en ciddi durum olarak tarif eder ve bunun ne ölçüde yaşandığını ölçmenin zor olduğunu, yani sorunun boyutunun bilinmediğini vurgular. Önerileri: kirlenme vakalarını sessizce atlamak yerine, hangi model ve hangi kıyaslama için hangi kanıtla belgelendiğini kayıt altına almak. Sainz ve diğerleri ↗

04Aynı model, farklı skor#

Puanlar, modelden ve sorulardan bağımsız bir şeye de duyarlıdır: soruyu nasıl biçimlendirdiğine. Sclar ve arkadaşları, birkaç yaygın açık kaynaklı modelde, few-shot istemde yapılan küçük biçim değişikliklerinin (örneğin ayırıcı karakter ya da büyük/küçük harf) doğrulukta 76 puana kadar fark yaratabildiğini gösterdi; bu duyarlılık model boyutu, örnek sayısı ya da talimat ayarıyla da yok olmuyordu. Önerdikleri: tek bir biçim yerine makul biçimlerin aralığını raporlamak. Sclar ve diğerleri ↗

Bir de Goodhart yasası gibi bilinen bir kural var: bir ölçüt hedefe dönüştüğünde iyi bir ölçüt olmaktan çıkar. Modeller bir kıyaslamaya göre geliştirilirse, o kıyaslamadaki puan, genel yeteneğin iyi bir göstergesi olmayı bırakabilir.

05Bir skoru okurken beş adım#

Bir skorun nasıl hesaplandığı da en az skor kadar önemli: nadir olaylarda “%99 doğruluk” neden hiçbir şey söylemeyebilir? Doğruluk yetmez: kesinlik, yakalama ve nadir olaylar