Türkçe, yapay zekâ için neden zor ve pahalı?

01Bir kökten bir cümle çıkar#

Türkçe eklemeli bir dildir: kelimeler, köke art arda eklenen eklerle türer ve bir kelime, başka dillerde birkaç kelimeyle anlatılan şeyi taşıyabilir. Bir örnek:

Hepsi birleşince evlerimdekiler kelimesi çıkar: “benim evlerimde olanlar”. Bu tek kelime, İngilizcede “the ones in my houses” gibi beş altı kelimeyle karşılanır.

Bunun dil modelleri için sonucu: bir kök, çok sayıda biçime dönüşür. Eğitim verisinde “evlerimdekiler” hiç geçmemiş olabilir, ama model onu parçalarından anlayabilir ve üretebilir; ancak bu, kelimelerin nasıl parçalara ayrıldığına bağlıdır.

02Tokenizer, Türkçeyi nasıl bölüyor?#

Tokenizasyon yazısında gördüğümüz gibi, yaygın bölme yöntemleri sık geçen karakter dizilerini birleştirir; bu, İngilizce gibi bol veri bulunan dillerde sık kelimeleri tek parça, Türkçe gibi daha az temsil edilen dillerde ise aynı kelimeleri daha çok parçaya bölebilir. Parça sınırları ise çoğu zaman dil bilgisel ek sınırlarıyla örtüşmez: “evlerimdekiler” gibi bir kelime, anlamlı eklerine (ev|ler|im|de|ki|ler) değil, istatistiksel olarak sık görülen karakter gruplarına bölünebilir.

Bir de bayt meselesi var. Metin, bilgisayarda UTF-8 ile saklanır: İngilizce harflerin her biri 1 bayttır; ç, ğ, ı, ö, ş, ü, İ gibi Türkçeye özgü harfler 2 bayt tutar. Bayt düzeyinde başlayan tokenizerlar için bu, daha uzun bir başlangıç dizisi demektir:

Bu bir başlangıç noktasıdır, nihai token sayısı değildir: iyi eğitilmiş bir tokenizer, sık Türkçe harf ve hece gruplarını da birleştirir. Gerçek token sayısı, her modelin tokenizer’ına göre değişir; bunu kendi kullandığın sistemin tokenizer aracında aynı cümle için iki dilde ölçerek görebilirsin.

03Aynı cümle, farklı fatura#

Ticari API’ler token sayısına göre ücretlendirilir ve bağlam penceresi de token ile sınırlıdır. Aynı metin bir dilde daha çok token tutuyorsa, o dili kullanan kişi daha çok öder ve aynı pencereye daha az metin sığdırır. Bu fark hayal ürünü değil, ölçülmüştür:

• Ahia ve arkadaşları, OpenAI’ın API’sini 22 farklı dilde incelediler ve birçok dilin konuşurlarının fazla ücretlendirildiğini, üstelik daha zayıf sonuç aldığını bildirdi; bu kişilerin çoğunun, API’nin zaten daha az erişilebilir olduğu bölgelerden geldiğini de ekledi. Do All Languages Cost the Same? ↗
• Petrov ve arkadaşları, aynı metnin farklı dillere çevrilmiş hâllerinin tokenlaştırılmış uzunluklarının bazı durumlarda 15 kata kadar farklılaşabildiğini ve çok dilli olarak tasarlanmış tokenizer’larda bile bu farkların sürdüğünü gösterdi. Language Model Tokenizers Introduce Unfairness Between Languages ↗

Bu sayılar Türkçeye özgü değildir ve Türkçenin kaç kat pahalı olduğunu söylemez; o, tokenizer’a ve modele göre değişir. Önemli olan, “bir dil daha pahalı olabilir” gerçeğinin ölçülebilir ve yaygın bir sorun olmasıdır.

04Türkçe için özel olarak ne biliniyor?#

Toraman ve arkadaşları, Türkçe için tokenizasyonun etkisini sistematik olarak inceledi: karakter düzeyinden kelime düzeyine uzanan beş farklı tokenizer karşılaştırıldı; bunların arasında bir de morfolojik (ek ve kök temelli) tokenizer vardı. Yazarlar, morfolojik tokenizer’ın yaygın yöntemler (WordPiece, BPE) ile yarışabilir başarı gösterdiğini; sözlük boyutunu büyütmenin morfolojik ve kelime düzeyi tokenizer’lara, yaygın yöntemlere göre daha çok yaradığını bildirdi. Impact of Tokenization on Language Models: An Analysis for Turkish ↗

Bu, “Türkçe için doğru tokenizer budur” demek değildir: sonuçlar o çalışmadaki modellere, görevlere ve veriye bağlıdır.

05Pratikte ne yapmalı?#

• Maliyet ve bağlam hesabı yaparken token say. Aynı iş İngilizce ve Türkçe için farklı token tutabilir; ikisini kendi sisteminde ölç.
• Ölçümleri dile göre ayır. Bir modelin “%90 başarısı”, Türkçe için de geçerli olmayabilir (değerlendirme yazısına bak). Türkçe sorular üzerinde ayrı test yap.
• Veri payı bir önyargıdır. Eğitim verisinde Türkçe, İngilizceden çok daha az yer tutar; bu, özellikle alan terimleri, yerel bilgi ve resmî dil gibi konularda hataya yol açabilir (veri ve önyargı yazısına bak).
• Kritik çıktıyı doğrula. Akıcı bir Türkçe cümle, doğru olduğunu garanti etmez (halüsinasyon yazısı).

Ana derslerin son durağı yapı taşları: önce eğitimin motoru. Gradyan inişi nasıl akıllanır: momentum ve Adam Araştırma notları ise Mamba ile başlıyor.