Yapay zekâ videoyu nasıl üretir?

01Bir video, birbirine bağlı kareler dizisidir#

Bir görüntü üreten modelin işi, tek bir ızgarayı doldurmaktır. Video ise bu ızgaranın zaman boyunca tekrarıdır ve kareler birbirinden bağımsız olamaz: bir top bir karede soldaysa sonrakinde biraz daha sağdadır; bir yüz bir karede gülümsüyorsa bir sonrakinde aynı yüzdür. Üretimin asıl zorluğu da buradadır: her kare tek başına inandırıcı olabilir, ama kareler arası uyum bozulursa video titrer, nesneler şekil değiştirir ya da kaybolur. Buna zamansal tutarlılık sorunu denir.

Ölçek de büyüktür. Sıkıştırılmamış, 1920×1080 çözünürlüklü, saniyede 24 kareli 10 saniyelik bir videoda: her kare 1920 × 1080 × 3 = 6.220.800 bayt; 240 kare, toplamda yaklaşık 1,5 milyar bayt eder. Bir model, böyle bir veriyi doğrudan işleyemez; bu yüzden önce sıkıştırılması gerekir.

02Önce sıkıştır, sonra orada üret#

Görüntü difüzyonunda gördüğümüz hile (gürültüden görüntü yazısı) videoya da taşındı. Ho ve arkadaşları, video için standart görüntü difüzyon mimarisinin doğal bir uzantısını önerdi; görüntü ve video verisiyle birlikte eğitmenin, mini yığın gradyanlarının varyansını azalttığını ve eğitimi hızlandırdığını bildirdi. Daha uzun ve yüksek çözünürlüklü videolar için, önceden üretilmiş kısımlara dayalı koşullu bir örnekleme tekniği de önerdiler. Video Diffusion Models ↗

Daha yeni yaklaşımların ortak noktası, videoyu önce küçük bir iç temsile çevirmek, üretimi bu küçük uzayda yapmak ve sonunda piksellere geri çevirmektir. OpenAI’ın Sora teknik raporu bunu şöyle anlatır: ham video, hem zamanda hem uzayda sıkıştırılmış bir gizli temsile çevrilir; model bu gizli uzayda çalışır ve ayrı bir çözücü ağ üretilen gizli kodları yeniden piksele çevirir. OpenAI, Video generation models as world simulators ↗

03Videonun parçaları da bir “token”dır#

Raporun anlattığı sistemde gizli temsil, zaman–uzay yamalarına bölünür; her yama, bir dil modelindeki token gibi işlev görür ve bir Transformer, bu yamalar üzerinde difüzyon yapar. Rapora göre bu temsil, farklı süre, çözünürlük ve en–boy oranındaki video ve görüntülerle birlikte eğitime izin veriyor; en büyük model yaklaşık bir dakikalık video üretebiliyor. Bu, görüntüyü de bir dizi olarak okuyan fikrin zamana uzatılmış hâlidir. Rapor niteldir: parametre sayısı, eğitim verisi ve hesaplama miktarı gibi ayrıntıları paylaşmaz.

Bu tasarımın bir bedeli var: yama sayısı, dikkat hesabının maliyetini hızla büyütür (dikkatin kare maliyetine bak). Aşağıdaki sayılar yalnızca bir aritmetik örnektir, gerçek bir modelin değerleri değildir: her kare 256 yamaya dönüşürse ve 240 karenin hepsi bir arada işlenirse, token sayısı 61.440 olur. Tam dikkat, her token çifti için bir puan hesaplar: 61.440² ≈ 3,77 milyar çift. Bu, 4.096 tokenlık bir metin bağlamındaki 16,8 milyon çiftin 225 katıdır. Bu yüzden video modellerinde sıkıştırma ve dikkat hesabını ucuzlatan yöntemler önemlidir (FlashAttention notuna bak).

04Çıktıya ne kadar güvenmeli?#

• Fizik öğrenilmiş bir örüntüdür, kural değildir. Sora raporunun yazarları da modelin bir simülatör olarak birçok sınırlılığı olduğunu belirtiyor; örneğin cam kırılması gibi basit etkileşimlerin fiziğini doğru modellemiyor. Video inandırıcı görünür, ama doğru olması gerekmez.
• Tutarlılık uzun sürelerde zayıflar. Karakterlerin ve nesnelerin kareler boyunca aynı kalması hâlâ zor bir problemdir.
• Gerçekliğin kanıtı olarak videonun değeri düşüyor. Üretilmiş video, bir olayın yaşandığının kanıtı olarak kullanılabilir; bu yüzden kaynak, bağlam ve doğrulama, içeriğin kendisinden daha önemli hâle geliyor (görüntü ve ses için de aynısı geçerli).
• Hesaplama maliyeti. Bir saniyelik görüntü üretmek, bir cümle üretmekten çok daha pahalıdır; bu, hem enerji hem de erişilebilirlik sorunudur.

Bir modeli dışarıdan değerlendirdik; peki içinde ne olup bittiğine bakabilir miyiz? Bir yapay zekânın içine bakmak mümkün mü?