01Veri ile talimat aynı kanalda#
Klasik yazılımda veri ile kod ayrı kavramlardır: bir metin kutusuna yazılan şey, program olarak çalıştırılmaz. Bir dil modeli için ise talimat, soru, belge ve araç sonucu hep aynı şeydir: bağlama giren bir token dizisi. Modelin, “bu metin okuyacağım içerik” ile “bu metin uyacağım talimat” arasındaki ayrımı yalnızca öğrenilmiş davranışla yapması beklenir; bu ayrım donanım düzeyinde zorunlu bir sınır değildir.
Greshake ve arkadaşlarının makalesi tam olarak bunu sorgular: dil modeliyle bütünleşik uygulamalar veri ile talimat arasındaki çizgiyi bulanıklaştırır. Makale ↗
02Saldırgan modelle konuşmak zorunda değil#
Doğrudan istem enjeksiyonunda kullanıcı, modele kötü niyetli bir talimat yazar. Makalenin odağı dolaylı olanıdır: saldırgan, uygulamanın getirmesi muhtemel içeriğe (bir web sayfası, bir belge, bir e-posta) talimat gömer. Kullanıcı sıradan bir istek yapar; model o içeriği okurken gömülü talimatı da bağlamına alır. Saldırganın uygulamaya doğrudan erişimine gerek yoktur.
Yazarlar bu yaklaşımı, Bing’in GPT-4 destekli sohbetinde, kod tamamlama motorlarında ve GPT-4 üzerine kurulmuş sentetik uygulamalarda denedi. Güvenlik odaklı bir sınıflandırma çıkardılar: veri hırsızlığı, solucan benzeri yayılma, bilgi ekosisteminin kirletilmesi ve başka yeni riskler.
03Kolay çözüm yok, ama ilkeler var#
Bu sorun, tek bir filtreyle “kapatılan” bir hata sınıfı değil; modelin girdiyi nasıl işlediğinden doğan bir tasarım gerilimidir. Mühendislikte yaygın, riski azaltan ilkeler şunlardır; hiçbiri tam bir garanti sağlamaz:
- Getirilen içeriğe güvenme: Dış içeriği talimat değil, güvenilmeyen veri olarak ele al ve ayrı işaretle.
- En az yetki: Ajana yalnızca görevin gerektirdiği araçları ver.
- Kritik eylemlerde insan onayı: Geri alınamayan işlemleri (gönderme, silme, ödeme) otomatik yapma.
- Çıktıyı izle: Beklenmedik araç çağrılarını ve veri akışlarını kaydet ve denetle.
Bir sistemin güvenilirliğini değerlendirirken “model ne kadar akıllı” sorusundan çok, “model kötü niyetli bir içerikle karşılaştığında en kötü ne olabilir” sorusuna bakmak daha öğreticidir.
Bu yazıyı bitirdiğinde:
- Veri ile talimatın aynı kanalda olmasının neden sorun olduğunu anlatabilirsin.
- Dolaylı enjeksiyonun saldırganın modelle konuşmasını gerektirmediğini ve riski azaltan ilkeleri söyleyebilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Mamba: dikkat yerine seçici bir durum
İleri · 7 dk okuma