Diferansiyel mahremiyet: bir kişiyi saklayan gürültü

01“Anonimleştirme” neden yetmez?#

Bir veri kümesinden isimleri silmek, gizliliği garanti etmez: kalan alanların birleşimi (yaş, posta kodu, meslek) kişiyi yeniden tanıtabilir. Daha derin bir sorun, istatistiklerin kendisinin bilgi sızdırabilmesidir: “bu hastanedeki ortalama yaş” sorusunun cevabı, bir kişi eklendiğinde ya da çıktığında değişir; iki cevabı karşılaştıran biri, o kişi hakkında bir şey öğrenir.

Diferansiyel mahremiyet (DM) bu sorunu sayısal olarak tanımlar: bir algoritma, tek bir kişinin verisi değiştiğinde çıktısının dağılımının çok az değişmesi koşuluyla “mahremiyet koruyucu” sayılır. Kabaca, algoritmanın cevabına bakarak “bu kişi veri kümesinde miydi?” sorusuna iyi bir cevap veremezsin. Formül: komşu iki veri kümesi (biri diğerinden tek bir kişiyle farklı) için, her çıktı kümesi S’de, olasılıkların oranı en fazla e^ε’dir. ε küçüldükçe koruma güçlenir. Kavramın standart kaynağı Dwork ve Roth’un “The Algorithmic Foundations of Differential Privacy” monografisidir (Foundations and Trends in Theoretical Computer Science, 2014).

02Laplace mekanizması: duyarlılığa göre gürültü#

Bir ortalamayı korumanın en yalın yolu, cevaba rastgele gürültü eklemektir. Gürültünün büyüklüğü, bir kişinin cevabı en fazla ne kadar değiştirebileceğine (duyarlılık) bağlıdır. Burada 200 kişinin yaşı 0–100 arasında; tek bir kişi ortalamayı en fazla 100 / 200 = 0,5 yıl oynatabilir. Laplace mekanizması, ölçeği duyarlılık / ε olan Laplace gürültüsü ekler.

Burada ortalama yaş 46,5 civarında. Gizlilik bütçesine göre beklenen mutlak hata, ölçeğe eşittir:

İki uç arasında bir dengedir: ε küçükken tek bir kişiyi çıkarsan bile iki dağılım neredeyse üst üste biner (güçlü gizlilik) ama yayımlanan sayı bulanıktır; ε büyükken sayı doğru olur ama bir kişinin varlığı daha çok sezilebilir. Burada kişi sayısı 200’dür; veri kümesi büyüdükçe aynı ε için gereken gürültü küçülür (duyarlılık 100/n azalır). Büyük kümelerde gizliliği korumak daha ucuzdur.

03Her sorgu bütçeden yer#

Önemli ve sık atlanan nokta: gürültü her yanıta yeniden çekilir. Aynı soruyu 400 kez sorup yanıtları ortalarsan, bağımsız gürültüler birbirini götürür; ortalamanın hatası kabaca √400 = 20 kat küçülür ve gerçek değere çok yaklaşırsın. Bu, DM’nin sağlam bir özelliğini gösterir: sorular birikir. Temel bileşim kuralına göre, her biri ε harcayan 400 sorgunun toplam gizlilik kaybı en fazla 400 × ε olur; ε = 0,05 ile 400 sorgu yaparsan toplam bütçe 20’ye çıkar, yani koruma ciddi biçimde zayıflar. Bu yüzden gerçek sistemlerde, toplam bütçe önceden belirlenir ve tükenince sorgu reddedilir.

04Model eğitiminde: gradyana gürültü#

Aynı fikir, bir sinir ağının eğitimine de uygulanır. Abadi ve arkadaşları, derin ağları mütevazı bir gizlilik bütçesiyle eğitmeyi sağlayan yöntemler ve harcanan bütçeyi daha dar hesaplayan bir analiz önerdi; yazarlar, bunun yazılım karmaşıklığı, eğitim verimliliği ve model kalitesi açısından yönetilebilir bir maliyetle yapılabildiğini bildirdi. Deep Learning with Differential Privacy ↗ Yöntemin özü: her örneğin gradyanının büyüklüğünü sınırla (kırp), bunların toplamına gürültü ekle ve harcanan ε’yi izle. Bu, tek bir örneğin modeli ne kadar değiştirebileceğini sınırlar.

Son nota geçelim: bütün bu hesapların ve modellerin bir de birleştirilmesi meselesi var. Model çorbası