Birlikte değişmek, neden olmak mıdır?

01Birlikte artıyorlar, ama biri diğerini artırmıyor#

“Dondurma satışları arttığında güneş yanığı başvuruları da artıyor.” Bu cümle veride doğru olabilir; ama dondurma yemek yanığa yol açmaz. İkisini de sıcak günler artırır. Sıcaklık, ikisinin ortak nedenidir; istatistikte böyle bir değişkene karıştırıcı denir.

Korelasyon, iki değişkenin birlikte değişme eğilimini −1 ile +1 arasında bir sayıyla özetler. Bir ilişkinin varlığını söyler; nedenini söylemez. Aşağıdaki veri öğretim için üretilmiş: sıcaklık hem dondurmayı hem güneş yanığını artırıyor, ikisi arasında doğrudan bir etki yok. Günleri sıcaklığa göre bantlara böldükçe ne olduğuna bak.

Hepsi bir arada bakıldığında korelasyon yaklaşık 0,88: çok güçlü. Ama günleri sıcaklığa göre iki banda böldüğünde bile bu değer yaklaşık 0,66’ya, dört banda böldüğünde 0,24’e, sekiz banda böldüğünde sıfıra yakın bir değere (−0,02) iniyor. Yani aynı sıcaklıktaki günlere bakınca “dondurma ↔ yanık” ilişkisi neredeyse kayboluyor. Karıştırıcıyı sabit tuttuğunda ilişki çözülüyor.

Bir uyarı: bantlar daraldıkça her banda daha az gün düşer ve korelasyon daha gürültülü ölçülür; bu yüzden çok ince bölmek de güvenilir sonuç vermez. Gerçek veride ortak neden çoğu zaman bilinmez ya da ölçülmemiştir; bu yüzden böyle bir düzeltme her zaman yapılamaz.

02Toplam ile parça ters şeyler söyleyebilir#

1973 sonbaharında Berkeley’deki lisansüstü başvuruların toplamına bakıldığında erkek başvuranların yaklaşık %44’ü, kadın başvuranların ise yaklaşık %35’i kabul edilmişti (8.442 erkek, 4.321 kadın başvuru). Bu, kadınlara karşı bir ayrımcılık gibi görünüyordu. Ancak Bickel, Hammel ve O’Connell, bölümlere ayrı ayrı baktıklarında kadınlar aleyhine tutarlı bir fark bulamadılar: kadınlar, kabul oranı daha düşük olan bölümlere daha çok başvurmuştu. Bickel ve diğerleri, Science, 1975 ↗

Bu duruma Simpson paradoksu denir: bir ilişki, veri alt gruplara bölündüğünde zayıflayabilir, kaybolabilir ya da yön değiştirebilir. Burada “bölüm” bir karıştırıcıydı: hem başvuranın cinsiyetiyle hem de kabul olasılığıyla ilişkiliydi.

Ders şu: bir tablonun toplamı ile parçaları farklı hikâyeler anlatabilir; hangisinin doğru olduğu, veriye değil gerçek dünyadaki neden–sonuç yapısına bağlıdır. Aynı veri, farklı nedensel varsayımlarla farklı sonuca götürebilir. Bu yüzden “verinin kendisi konuşur” demek her zaman güvenli değildir.

03Üç basamak: görmek, yapmak, hayal etmek#

Judea Pearl, nedensel soruları bir merdiven olarak anlatır:

Ayrıntılar için: Pearl, Causality; Pearl ve Mackenzie, The Book of Why. Basamaklar kendiliğinden birbirine çevrilmez: yalnızca birinci basamağın verisiyle ikinci basamağın sorusunu yanıtlamak için ek varsayımlar ya da bir deney gerekir. Rastgele atamayla yapılan deneyler (A/B testi, klinik çalışma) bu yüzden güçlüdür: katılımcıları rastgele gruplara ayırmak, karıştırıcıların her iki gruba da eşit dağılmasını sağlar.

04Modeller de ipucuna takılır#

Bir sinir ağı, eğitim verisindeki en kolay işe yarayan ilişkiyi öğrenir; o ilişkinin nedensel olup olmadığını sormaz. Geirhos ve arkadaşlarının kısayol öğrenme dediği şey budur: model, eğitim ölçütlerinde başarılı ama gerçek koşullarda çöken bir karar kuralı benimser. Shortcut Learning in Deep Neural Networks ↗

Bir örnek, yaban hayatı kamera tuzaklarıyla ilgili: Beery ve arkadaşlarının çalışmasında, eğitimde görülen kamera konumlarında iyi çalışan sınıflandırıcıların yeni konumlarda zayıf kaldığı görüldü; yazarlar, mevcut algoritmaların yeni ortamlara genellemesinin özellikle sınıflandırmada kötü olduğunu bildirdi. Bunun bir açıklaması, modelin hayvanın kendisi yerine tanıdık bir arka plan ipucuna yaslanması olabilir; bu, eğitim ile gerçek kullanım arasındaki farkın bir türüdür. Recognition in Terra Incognita ↗

Bu, genelleme sorununun ve veri yanlılığının bir başka yüzüdür: eğitimde işe yarayan, ama gerçek dünyada değişen bir ilişkiye yaslanan model, dağılım değiştiğinde başarısız olur.

Veri kalitesinin başka bir yönü de, modele girmeden önce verinin nasıl temizlendiğidir: Eğitim verisi nasıl hazırlanır?