Yapay ses nasıl üretilir?

01Metin sese tek adımda dönüşmez#

Önceki yazıda sesin bir dalga biçimi, onun da bir spektrogram olarak gösterilebileceğini gördün. Ses üretmek bu yolun tersidir; ama ikisi arasında bir bilgi eksikliği vardır: yazı, nasıl söylendiğini taşımaz. Bu yüzden yaygın sistemler üretimi iki aşamaya böler:

1. Metinden akustik özelliğe: Karakter ya da ses birimlerinden, zamana göre bir spektrogram (mel) tahmin edilir.
2. Spektrogramdan dalgaya: Bir vokoder, bu tabloyu gerçek ses dalgasına çevirir.

Tacotron 2 bu iki aşamalı tasarımın tanınmış bir örneğidir: karakter gömmelerinden mel spektrogramlarına giden bir dizi–dizi ağı, ardından spektrogramı dalgaya çeviren değiştirilmiş bir WaveNet. Yazarlar, dinleyici değerlendirmesinde 4,53’lük bir ortalama görüş puanı (MOS) bildirdi; profesyonel kayıtlar için bu 4,58’di. Bu, makalenin kendi dinleme testlerindeki sonuçtur. Tacotron 2 ↗

02Aynı yazı, birçok geçerli ses#

“Ayşe mi geldi?” cümlesinde vurgu “Ayşe”ye ya da “geldi”ye düşebilir ve anlam değişir. Yazıda bu fark yoktur; konuşmada telaffuz, vurgu, ritim ve ses tonu (prozodi) bu bilgiyi taşır. Bir ses sentez modeli, tek bir metin için birçok geçerli çıktı arasından seçim yapmak zorundadır. Bu, dil modellerindeki örneklemeyle aynı türden bir sorundur: aynı girdi için farklı, ama hepsi makul sonuçlar olabilir.

Bu yüzden iyi bir ses sentezi, yalnızca “doğru kelimeleri” değil, o bağlamda doğal görünen bir tonlamayı da seçmelidir. Yanlış vurgu, doğru kelimelerle bile anlamı kaydırabilir.

03Vokoder: saniyede on binlerce adım#

Bir ses dalgası saniyede on binlerce örnekten oluşur; 16.000 örnek/sn’lik bir kayıtta bir saniye 16.000 sayıdır. WaveNet, ham ses dalgasını örnek örnek, her örneği öncekilere bağlı olarak üreten bir otoregresif modeldir: dil modelinin token tahminiyle aynı mantık, ama kelime yerine ses örneği. Yazarlar, sinir ağının saniyede on binlerce örnek içeren verilerle verimli eğitilebildiğini ve genişletilmiş nedensel evrişimlerle çok uzun bağlama bakabildiğini bildirdi. WaveNet ↗

Spektrogramın bu iki aşamalı tasarımda ara temsil olması bir kolaylıktır: spektrogram, dalga biçiminden çok daha küçük ve düzgündür, bu yüzden iki parça ayrı ayrı eğitilebilir. Bu fikir, metni vektöre çevirmenin ses karşılığıdır.

04Sentez ile klonlama aynı şey değildir#

VALL-E, sesi ayrık kodlar üzerinde bir dil modeli olarak ele alır: bir ses sıkıştırma modelinin ürettiği kodları, tıpkı token dizisi gibi tahmin eder. Girdi, yazıdan çıkarılmış ses birimleri ve konuşmacının kısa bir kaydıdır (akustik istem). Yazarlar, 60 bin saatlik İngilizce konuşmayla eğitilen modelin, yalnızca 3 saniyelik bir kayıttan o kişinin sesine benzeyen konuşma üretebildiğini bildirdi. VALL-E ↗ Bu, bağlam içi öğrenmenin ses karşılığıdır: model, kısa örnekten hızla uyum sağlıyor.

05Yetenek arttıkça, güven sorunu da artar#

Kısa bir kayıtla bir kişinin sesini taklit edebilmek, kimlik taklidi, dolandırıcılık ve yanlış bilgi için kullanılabilecek bir yetenektir. Bir sesin gerçek olduğunu yalnızca kulakla anlamak giderek zorlaşabilir. Sorumlu kullanımın yaygın ilkeleri:

• Rıza: Bir kişinin sesini yalnızca onun açık izniyle kullanmak.
• Açıklık: Üretilmiş sesi, dinleyiciye üretilmiş olarak bildirmek.
• Doğrulama: Önemli bir talepte (para, kimlik, güvenlik) yalnızca sese güvenmemek; ikinci bir kanalla doğrulamak.

Seslerden bir başka veri türüne geçelim: bir platformda sana bir film ya da şarkı neden önerildi? Öneri algoritmaları seni nasıl tanır?