01Model, verinin aynasıdır#
Bir modelin bildiği her şey, doğrudan ya da dolaylı olarak, eğitim verisinden gelir. Bu, iki sonuç doğurur. Birincisi: veride olmayanı model iyi bilmez. İkincisi: veride eşitsiz ya da çarpık bulunan her şey, modelin davranışına da eşitsiz ya da çarpık yansıyabilir. Genelleme yazısında gördüğün gibi bir model, eğitim dağılımına benzeyen girdilerde başarılıdır; dağılımın dışında ne yapacağı belli değildir.
Bu yazıdaki sayısal örneğimiz bir dil modelinden değil, görüntü sınıflandırmadan geliyor, çünkü orada ölçüm net ve yayımlanmış durumda. Aynı mantığın dil için de geçerli olabileceğini unutma; ama o durumda kendi ölçümünü yapman gerekir.
02Ölçülmüş bir örnek: Gender Shades#
Buolamwini ve Gebru, iki yaygın yüz analizi kıyaslama veri kümesinin (IJB-A ve Adience) ağırlıklı olarak açık tenli kişilerden oluştuğunu buldu: sırasıyla %79,6 ve %86,2. Sonra cinsiyet ve ten rengi bakımından dengeli yeni bir veri kümesi kurdular ve üç ticari cinsiyet sınıflandırma sisteminin hata oranlarını bu kümede ölçtüler. Sonuç: en kötü performans, koyu tenli kadınlarda; hata oranı %34,7’ye kadar çıkarken, açık tenli erkeklerde en yüksek hata oranı %0,8 oldu. Buolamwini ve Gebru ↗
Burada kritik ders şu: bir sistemin ortalama başarısı yüksek olabilir ve yine de belirli gruplara karşı çok kötü çalışıyor olabilir. Bu yüzden değerlendirmeyi alt gruplara ayırmak gerekir (bkz. değerlendirme yazısı). Tek bir ortalama, eşitsizliği saklayabilir.
03Veri sızabilir#
Veri yalnızca “temsil” sorunu değil, bir gizlilik sorunudur. Ezberleme yazısında Carlini ve arkadaşlarının, GPT-2’den yalnızca sorgulayarak yüzlerce eğitim dizisini çıkardığını görmüştük. Aynı ekip, difüzyon modelleri için de bunu gösterdi: son teknoloji modellerden bireylerin fotoğrafları ve ticari marka logoları dahil binden fazla eğitim örneği yeniden üretilebildi (bkz. görüntü yazısı). Bu, kişisel bilginin eğitim verisine girmesinin, sonradan modelden çıkarılabilir olabileceği anlamına gelir.
04Veriyi belgelemek#
Elektronik bileşenlerin her biri bir veri sayfasıyla (datasheet) gelir: ne işe yaradığı, hangi koşulda çalıştığı, sınırları. Gebru ve arkadaşları, aynı alışkanlığın veri kümeleri için de gerektiğini savundu: her veri kümesi, amacını, bileşimini, toplanma sürecini ve önerilen kullanımlarını belgeleyen bir veri sayfasıyla gelmeli. Amaç, hem veri kümesini üretenleri daha dikkatli düşünmeye, hem de kullananları, o veri kümesinin kendi işlerine uygun olup olmadığına karar verecek bilgiyle donatmaya yöneltmek. Gebru ve diğerleri ↗
| Soru | Neden önemli |
|---|---|
| Veriyi kim, neden topladı? | Amaç, neyin kapsam dışı kaldığını belirler |
| Kimler temsil ediliyor, kimler eksik? | Eksik gruplarda model beklenmedik biçimde davranabilir |
| Etiketleri kim, hangi yönergeyle koydu? | Etiket, nesnel bir gerçek değil, bir karardır |
| Kişisel bilgi var mı, rıza alındı mı? | Model, gördüğü bazı örnekleri geri verebilir |
| Test verisi eğitime karıştı mı? | Sızıntı, sonuçları iyimser gösterir |
Veri sorunlarının çoğu, modelin çıktısında görünürleşir. Çıktıyı yorumlamak için önce yaygın yanılgıları ayıklayalım: Sekiz yaygın yanlış anlama
Bu yazıyı bitirdiğinde:
- Bir modelin verinin aynası olduğunu somut bir örnekle anlatabilirsin.
- Gender Shades çalışmasının neyi ölçtüğünü özetleyebilirsin.
- Verinin sızabileceğini ve veriyi belgelemenin neden önemli olduğunu açıklayabilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Sekiz yaygın yanlış anlama
Başlangıç · 7 dk okuma