Bir yapay zekânın içine bakmak mümkün mü?

01Çalışıyor, ama neden?#

Bir sinir ağı milyarlarca sayıdan oluşur. Çıktısının neden öyle olduğunu sorduğunda, ağın içinde “şu kural uygulandı” diye okunabilecek bir şey yoktur; yalnızca ağırlıklar ve aktivasyonlar vardır. Yorumlanabilirlik, bu sayıların arkasındaki mekanizmayı insanın anlayabileceği bir biçimde ortaya çıkarma çabasıdır.

Neden önemli? Bir modelin hangi gerekçeyle karar verdiğini bilmek, güveni, hata ayıklamayı ve güvenliği etkiler. Bir model doğru cevabı doğru nedenle mi buldu, yoksa tesadüfi bir ipucuyla mı (kısayol öğrenme)? Doğru göründüğü bir durumda neden çöktüğünü anlamak için de içine bakmak gerekir.

02Bakmak değil, müdahale etmek#

Yorumlama araştırmasında en güçlü fikir müdahaledir: bir parçayı değiştirip çıktının ne olduğunu gözlemek. Bu, nedensellik yazısındaki “merdivenin” ikinci basamağıdır: yalnızca bir nöronun bir şeyle birlikte etkinleştiğini görmek ilişkidir; onu kapatıp davranışın bozulduğunu görmek neden olduğuna işaret eder.

Bunu en küçük bir ağda deneyelim: iki gizli nöronlu, XOR’u çözen, elle kurulmuş bir ağ. Bir gizli nöronu kapat ve dört girdi çifti için çıktıya bak.

h₂’yi kapattığında yalnızca (1, 1) durumu bozuluyor (çıktı 0 yerine 2 oluyor): h₂, “iki girdi de açıksa fren yap” işini görüyordu. h₁’i kapattığında ise üç durum bozuluyor: ağ, girdilerden birinin açık olduğunu artık hiçbir yerden öğrenemiyor. Yani hangi nöronun hangi iş için gerekli olduğunu, içindeki sayılara bakarak değil, müdahale ederek bulduk. Bu en küçük örnek, büyük ağları açıklamaz; ama yöntemin mantığını taşır.

03Bir nöron, bir kavram değildir#

Ağlarda bir nöronun tek bir anlamı olduğunu umarız: “köpek nöronu”, “Fransızca nöronu”. Gerçekte bir nöron çoğu zaman birbirinden ilgisiz birçok şeyle etkinleşir; buna polisemantiklik denir. Elhage ve arkadaşları, bunu tam olarak analiz edilebilen bir oyuncak modelde incelediler: ağ, bir nörondan fazla sayıda seyrek özelliği süperpozisyon içinde depoluyor. Yani nöron sayısından daha çok kavram, birbirinin üzerine bindirilmiş hâlde saklanıyor. Yazarlar, bu davranışın bir faz değişimi ve düzgün çokyüzlülerin geometrisiyle ilişkisi olduğunu, ayrıca çekişmeli örneklerle bağlantılı olabileceğini bildirdi. Toy Models of Superposition ↗

Bunun pratik sonucu şu: tek tek nöronlara bakmak çoğu zaman yanıltır. Anthropic araştırmacıları, tek katmanlı bir dönüştürücünün 512 nöronluk bir katmanını seyrek bir otokodlayıcıyla ayrıştırdığında 4.000’den fazla yorumlanabilir özellik bulduklarını bildirdi (örneğin DNA dizileri, hukuki dil, İbranice metin); bunların çoğu tek tek nöronlara bakınca görünmüyordu. Bricken ve diğerleri, 2023 ↗ Bu, küçük bir modelde elde edilmiş bir sonuçtur; aynı yöntemin büyük modellerde ne kadar tam çalıştığı ayrı bir araştırma konusudur.

04Açıklama gibi görünen şeyler#

Bir modelin yanında bir “açıklama” görmek, onu anladığımız anlamına gelmez. İki yaygın tuzak:

• Dikkat ağırlıkları açıklama mıdır? Jain ve Wallace, öğrenilmiş dikkat ağırlıklarının, özelliklerin önemini ölçen gradyan tabanlı yöntemlerle çoğu zaman ilişkili olmadığını ve farklı dikkat dağılımlarının aynı tahmini verebildiğini göstererek, standart dikkat modüllerinden anlamlı açıklama beklenmemesi gerektiği sonucuna vardı. Attention is not Explanation ↗ (Konunun tartışması bununla bitmedi; ama ders açık: görsel olarak etkileyici bir harita, gerekçe değildir.)
• Modelin kendi anlattığı gerekçe. Bir dil modeline “adım adım düşün” dediğinde yazdığı akıl yürütme (düşünce zinciri), kararı gerçekten belirleyen şey olmayabilir. Turpin ve arkadaşları, girdiye yanlı ipuçları eklediklerinde (örneğin çoktan seçmeli seçenekleri hep “(A)” doğru olacak biçimde dizmek) modelin cevaplarının değiştiğini, ama gerekçelerin bu ipucundan hiç bahsetmediğini; modeller yanlış cevaba yönlendirildiğinde çoğu zaman bunu haklı çıkaran gerekçeler ürettiğini gösterdi. Language Models Don’t Always Say What They Think ↗

Dili farklı yönden zorlayan bir soruyla kapatalım: modeller Türkçe gibi eklemeli bir dili nasıl görür? Türkçe, yapay zekâ için neden zor (ve pahalı)?