Etiketsiz veride yapı bulmak: kümeleme ve PCA

01Doğru cevap verilmediğinde#

Şimdiye kadarki öğrenme biçimlerinin çoğunda her örneğin doğru cevabı vardı (bir sonraki kelime, bir sınıf). Gözetimsiz öğrenmede ise yalnızca verinin kendisi var; amaç, içindeki yapıyı bulmaktır. İki klasik soru: “Bu noktalar kendiliğinden gruplara ayrılıyor mu?” (kümeleme) ve “Çok boyutlu bu veri, daha az sayıda sayıyla özetlenebilir mi?” (boyut indirgeme). İlki için k-means, ikincisi için PCA en yaygın başlangıç noktalarıdır.

02k-means: ortalamaya taşı, yeniden ata#

k-means’in fikri iki adımlık bir döngüdür. Önce k tane merkez seç. Sonra tekrarla: (1) her noktayı en yakın merkeze ata; (2) her merkezi kendi noktalarının ortalamasına taşı. Atamalar değişmeyi bıraktığında dur. Aşağıda 90 noktalık, üç gevşek gruplu yapay bir veri var; k’yı, başlangıç yöntemini ve tohumu değiştir, yinelemeleri ilerlet.

Demoda üç şey görürsün.

• Hata hiç artmaz. Her adım toplam uzaklığı azaltır ya da aynı bırakır; bu yüzden algoritma durur. Örneğin k = 3 için rastgele başlangıçta 1. tohum, hatayı 681,5’ten 115,6’ya ve oradan 84,3’e indirip iki yinelemede durur.
• k’yı sen seçersin. k büyüdükçe hata her zaman düşer; “en az hata” k’yı seçmenin ölçütü olamaz. Dirsek yöntemi, hatanın düşüşünün aniden yavaşladığı yeri arar: bu veride k = 1’den 2’ye hata 778,7’den 395,7’ye, 3’e 84,3’e iner; 4’te yalnızca 68,7’ye. Dirsek, üçte.
• Başlangıç önemlidir. Algoritma yerel bir çözümde durur. Her iki başlangıç yöntemini 40’ar tohumda denediğimizde, en iyi hataya ulaşan koşu sayısı (rastgele / k-means++): k = 3 için 38 / 40; k = 4 için 10 / 7; k = 5 için 2 / 0. Yani bu kolay veride k = 3’te fark küçük, ama k büyüdükçe en iyi çözümü bulmak hızla zorlaşıyor. Bu yüzden pratikte algoritma birçok başlangıçla çalıştırılıp en iyi sonuç tutulur.

k-means++, ilk merkezi rastgele seçer, sonraki merkezleri mevcut merkezlere uzak olan noktalara daha yüksek olasılık vererek seçer. Arthur ve Vassilvitskii, bu özenli başlatmanın beklenen hatasının en iyi kümelemeden en fazla O(log k) kat kötü olduğunu gösterdi. (“k-means++: The Advantages of Careful Seeding”, SODA 2007) Bu garanti, her veri kümesinde rastgele başlatmadan iyi olacağı anlamına gelmez: demoda k = 4’te k-means++ (7/40), rastgele başlangıçtan (10/40) daha az başarılı oldu. Bu tek veri kümesinin sonucudur.

03PCA: hangi çizgi en çok bilgiyi taşır?#

İkinci soru: iki boyutlu bir bulutu bir boyuta indirsen, hangi doğruya düşürmek en az bilgi kaybettirir? Temel bileşen analizi (PCA) “bilgi”yi varyans (yayılma) olarak tanımlar ve noktaları, izdüşümlerinin yayılmasını en büyük yapan doğruya düşürür. Aşağıda eğik, uzun bir bulut var. Doğrunun açısını değiştir.

Bu bulutta ana eksen yaklaşık 27°’de ve toplam varyansın yaklaşık %92’sini taşıyor. Ona dik doğruya düşürürsen yalnızca yaklaşık %8’i kalır. İki boyutu bire indirmek bu bulutta çok az şey yitirir; bunun nedeni verinin zaten neredeyse tek bir doğru boyunca uzanmasıdır.

Gerçek veride bu çok yüksek boyutlarda yapılır: yüzlerce özelliği birkaç bileşene sıkıştırmak ya da bir embedding uzayını çizmek için iki bileşene indirmek gibi.

04İkisinin de sınırları#

• k-means yuvarlak, benzer büyüklükte gruplar varsayar. Uzun, iç içe geçmiş ya da çok farklı boyutlardaki gruplarda “merkeze uzaklık” iyi bir ölçüt değildir. Ayrıca k’yı sen vermek zorundasın.
• Küme, anlam değildir. Algoritma noktaları gruplar; grupların anlamlı olup olmadığına sen bakarsın. Yapay bir veri bile k = 5 ile beş gruba bölünür.
• PCA doğrusaldır. Veri eğri bir yüzey üzerinde yatıyorsa, düz bir doğru onu iyi özetlemez.
• Varyans, önem demek değildir. PCA en çok yayılan yönü bulur; ama ilgilendiğin etiketi ayıran bilgi, düşük varyanslı bir yönde saklı olabilir. Büyük yayılma bazen yalnızca gürültüdür.
• Hepsi ölçeğe duyarlıdır. Bir özelliği metre yerine milimetreyle yazarsan, uzaklıklar ve varyanslar değişir. Bu yüzden özellikler genellikle önce aynı ölçeğe getirilir.

Bu derslerle ana hattın yapı taşları tamamlandı. Araştırma tarafında merak edeceğin bir yerden devam edebilirsin: Mamba: dikkat yerine seçici bir durum, ya da Keşfet sayfasında bütün deneyleri bir arada gör.