Yapay zekâ resmi nasıl görür, nasıl çizer?

01Bir görüntü de bir dizidir#

Dil modelleri bir metni token dizisi olarak okur. Görüntüyü aynı mimariyle okumanın yolu, onu da bir diziye çevirmektir. Vision Transformer (ViT) bunu şöyle yapar: görüntü sabit boyutlu yamalara (örneğin 16×16 piksel) bölünür, her yama düzleştirilip doğrusal bir dönüşümle bir vektöre çevrilir ve bu vektörler, Transformer bloklarına tıpkı token embedding’leri gibi verilir. Makalenin başlığı bu fikri özetler: “Bir görüntü, 16×16 kelimeye bedeldir.”

Bu sonuç bir ders de içerir: yazarlar, ViT’nin büyük veriyle ön eğitildiğinde evrişimli ağlarla (CNN) yarışır veya onları geçer hale geldiğini, küçük veri kümelerinde ise CNN’lerin görüntülere dair yerleşik varsayımlarının avantaj sağladığını bildirir. Dosovitskiy ve diğerleri ↗ Yani mimari tek başına yetmez; ölçek ve veri belirleyicidir. CNN’lerin pencere ve ağırlık paylaşımı fikrini kendin denemek için Evrişimli ağlar dersine bak.

02Metni ve görüntüyü aynı uzaya koy#

2021’de OpenAI’ın CLIP modeli, internetten toplanmış 400 milyon (görüntü, metin) çifti üzerinde basit bir görevle eğitildi: hangi alt yazı hangi görüntüye ait? Görüntü ve metin ayrı kodlayıcılardan geçirilir; eşleşen çiftlerin vektörleri birbirine yaklaştırılır, eşleşmeyenler uzaklaştırılır. Sonuçta, görüntü ve metin aynı vektör uzayında karşılaştırılabilir hâle gelir. Radford ve diğerleri ↗

Sonucun bir yararı sıfır örnekle (zero-shot) sınıflandırmadır. “Bir kedi fotoğrafı”, “bir köpek fotoğrafı” gibi metinleri vektöre çevirip görüntü vektörüne en yakın olanı seçmek, önceden o sınıflar için etiketli veriyle eğitilmeden sınıflandırma yapabilir. Makale, bu yöntemin ImageNet’te orijinal ResNet-50’nin doğruluğuna, onun 1,28 milyon eğitim örneğinden hiçbirini kullanmadan ulaştığını bildirir. Karşılaştırma, vektörlerin yönünün yakınlığına bakan kosinüs benzerliği fikrine dayanır.

03Gürültüden resim: difüzyon#

Görüntü üretmek için yaygın bir aile difüzyon modelleridir. Fikir tersine çevrilmiş bir bozulmadır: bir görüntüye adım adım gürültü eklersen sonunda saf gürültü kalır. Bir model, her adımdaki gürültüyü tahmin edip geri almayı öğrenirse, saf gürültüden başlayıp adım adım anlamlı bir görüntüye ulaşabilir. Ho, Jain ve Abbeel’in 2020 tarihli çalışması bu yaklaşımı, parametrelenmiş Markov zincirleri olarak gürültüyü adım adım temizleyen modellerle yüksek kaliteli görüntü sentezi için gösterdi. DDPM ↗

Metinden görüntü üretiminde, metnin vektör temsili temizleme adımlarını yönlendirir: model her adımda gürültüyü, “bu metne uyan bir görüntüye daha yakın” olacak şekilde azaltır. Gürültüden görüntü yazısında bu süreci bir deneyle adım adım izleyebilirsin. Bu, sonraki tokenı seçen bir dil modelinden farklı bir üretim mantığıdır: orada metin soldan sağa, tek tek tokenlarla oluşur; burada bütün görüntü, adım adım belirginleşir.

04Hepsini birleştirmek: çok kipli modeller#

Çok kipli (multimodal) modeller, metin, görüntü, ses gibi birden fazla veri türünü birlikte işler. Genel tasarım fikri, her türü bir kodlayıcıyla vektör dizisine çevirip aynı Transformer’ın okuyabileceği tek bir dizide birleştirmektir. Ayrıntılar modelden modele çok değişir; aşağıdaki tablo yalnızca tipik eşleşmeleri gösterir.

Bu modeller de halüsinasyon üretebilir: görüntüde olmayan bir nesneyi anlatmak gibi. Üretilen bir görüntünün gerçek bir fotoğraf olmadığını, gösterdiği şeyin gerçekle örtüşmesi gerekmediğini de unutma.

Görüntü üretiminin nasıl işlediğini deneyle görmek için Gürültüden görüntü nasıl çıkar? yazısına geç. Modelin dışarıya uzanıp araç kullanması ise Yapay zekâ ajanı nedir? yazısında.