01Modelin kalitesi, verinin kalitesinin gölgesidir#
Bir dil modelinin okuyacağı metin, internetten olduğu gibi gelmez: menü yazıları, çerez uyarıları, tekrar eden reklamlar, yarım kalmış sayfalar, kod parçaları ve birebir kopyalar içerir. Bu ham yığına doğrudan eğitim yapmak, modele de bu gürültüyü öğretmek demektir. Bu yüzden büyük modellerin eğitiminden önce uzun bir veri hazırlama hattı vardır: dil belirleme, kalite filtreleri, kopya ayıklama, zararlı içeriğin ayıklanması.
Bu hattın ayrıntıları çoğu zaman kamuya açık değildir; ama açık bir örnek vardır: T5 modelinin eğitimi için hazırlanan C4 derlemi. Aşağıdaki kurallar, yazarların makalesinde tarif edilen filtrelerdir. Raffel ve diğerleri, T5 makalesi ↗
02Somut kurallar: C4 örneği#
C4, Common Crawl adlı genel bir web arşivinden üretildi. Yazarlar, ham metne şu türden basit, elle yazılmış kurallar uyguladı:
| Kural | Neyi ayıklar |
|---|---|
| Yalnızca bir noktalama işaretiyle biten satırlar kalır | Menü ve başlık kırıntıları |
| En az 5 kelimeli satırlar kalır | Çok kısa satırlar |
| En az 3 cümlesi olmayan sayfalar atılır | Yarım ya da boş sayfalar |
| “Lorem ipsum” geçen sayfalar atılır | Yer tutucu metin |
{ işareti içeren sayfalar atılır | Programlama kodu |
| Kötü sözcük listesinde yer alan sayfalar atılır | Uygunsuz içerik |
| Üç cümlelik aynı bölümlerden yalnızca biri tutulur | Tekrar eden metin |
| Dil tespiti en az %99 olasılıkla İngilizce olanlar kalır | Başka dillerdeki sayfalar |
Bu listeden iki ders çıkar. Birincisi, hazırlama kural ve ölçüt meselesidir: kuralları kim, neye göre seçer? Örneğin bir kötü sözcük listesi, bir tıp ya da dil bilgisi sayfasını da yanlışlıkla eleyebilir; “kod içeren sayfayı at” kuralı, kod öğretmek isteyen bir model için sorun olur. İkincisi, filtrelenen metin hiçbir zaman “tarafsız” değildir: neyi atacağın, modelin dünyasını biçimlendirir. Bu, veri ve önyargı yazısının bir devamıdır.
03Tekrarlar neden sorun?#
Webde aynı metin sayısız yerde bulunur: bir haber, yüzlerce sitede; bir lisans metni, binlerce depoda. Tekrar eden belgeler üç soruna yol açar:
- Ezberleme: Çok kez gördüğü metni model kelimesi kelimesine ezberleyebilir.
- Ölçüm bozulması: Eğitim verisindeki kopyalar, sınav verisinde de bulunuyorsa, test sonucu şişer (veri sızıntısı).
- Boşa harcanan hesaplama: Aynı şeyi tekrar tekrar okumak, yeni bir şey öğretmez.
Lee ve arkadaşları bunu ölçtü: üzerinde çalıştıkları derlemlerde, modellerin koşulsuz ürettiği metnin %1’inden fazlası eğitim verisinden birebir kopyalanmıştı; C4’te 61 kelimelik tek bir cümle 60.000’den fazla kez geçiyordu. Tekrarlar ayıklandığında modeller, ezberlenmiş metni yaklaşık 10 kat daha seyrek üretti; ayrıca standart derlemlerin doğrulama kümelerinin %4’ten fazlasında eğitim–test örtüşmesi bulundu. Lee ve diğerleri, ACL 2022 ↗
Yinelenenleri bul
Eşiği düşürdükçe “neredeyse aynı” belgelerin de aynı gruba girdiğini gör. Çok yüksek eşik, küçük farklı kopyaları kaçırır; çok düşük eşik, farklı belgeleri birleştirebilir.
- 1Yapay zekâ modelleri büyük metin derlemleriyle eğitilir ve bu derlemlerin önce temizlenmesi gerekir.
- 2Yapay zekâ modelleri büyük metin derlemleriyle eğitilir ve bu derlemlerin önce temizlenmesi şarttır.
- 3Fırını 180 dereceye ısıtın, hamuru tepsiye yayın ve yirmi dakika pişirin.
- 4Fırını 180 dereceye ısıtın, hamuru tepsiye yayın ve yirmi dakika pişirin.
- 5Çerezleri kabul ediyorsanız devam edin. Gizlilik politikası ve kullanım koşulları geçerlidir.
- 6Çerezleri kabul ediyorsanız devam edin. Gizlilik politikası ve kullanım koşulları geçerlidir. Anasayfa
- 7Bir deprem sırasında sakin kalmak, masanın altına girmek ve düşebilecek eşyalardan uzaklaşmak önemlidir.
{1} {2} {3, 4} {5} {6} {7}Benzerlik tablosu
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|
| 1 | · | 0,83 | 0,00 | 0,00 | 0,00 | 0,00 | 0,00 |
| 2 | 0,83 | · | 0,00 | 0,00 | 0,00 | 0,00 | 0,00 |
| 3 | 0,00 | 0,00 | · | 1,00 | 0,00 | 0,00 | 0,00 |
| 4 | 0,00 | 0,00 | 1,00 | · | 0,00 | 0,00 | 0,00 |
| 5 | 0,00 | 0,00 | 0,00 | 0,00 | · | 0,90 | 0,00 |
| 6 | 0,00 | 0,00 | 0,00 | 0,00 | 0,90 | · | 0,00 |
| 7 | 0,00 | 0,00 | 0,00 | 0,00 | 0,00 | 0,00 | · |
Demo, yedi kısa metinde iki yöntemi gösteriyor. Metinler 3 kelimelik örtüşen parçalara ayrılır ve iki metin arasındaki Jaccard benzerliği, ortak parçaların toplam farklı parçalara oranıdır. Eşik 0,80 ve altında dört grup oluşur (7 metinden 4’ü kalır): 1–2 numaralı belgeler birbirinin neredeyse aynısı (benzerlik 0,83), 3–4 birebir aynı (1,00), 5–6 ise aynı çerez uyarısının biri fazladan bir sözcükle (0,90). Eşiği 0,90’a çıkardığında 1–2 numaralıları ayırıyorsun; 1,00’a çıkardığında yalnızca birebir kopyalar birleşiyor.
Gerçek sistemler bunu milyarlarca belge için yapmak zorundadır; her çifti karşılaştırmak imkânsızdır. Bu yüzden yaklaşık yöntemler (örneğin MinHash ile benzerliği tahmin etmek) ve birebir tekrarlayan uzun bölümleri bulan dizin yapıları kullanılır. Demodaki hesap gerçek ama yöntemin yalnızca fikrini taşır.
04Temizlemenin sınırları#
- Aşırı temizlik riskli olabilir. Kaliteli saydığın şeyi tanımlarken, bir tür dili (örneğin resmî yazı dili) ödüllendirip diğerlerini (gündelik konuşma, lehçeler) azaltabilirsin.
- Her kopya zararlı değildir. Bir atasözü ya da bir yasa maddesi çok kez geçebilir; bunları tamamen silmek de bilgi kaybıdır.
- Filtreleri ölçmek zordur. Hangi kuralın modeli iyileştirdiği ancak ayrı eğitim denemeleriyle anlaşılır; bu, pahalıdır.
- Kişisel veri. Web’de kişisel bilgiler de bulunur; bunların ayıklanması ayrı bir iştir (gizlilik bölümüne bak).
Veri hazırlama bitti; peki ya eğitim verisini bir model üretirse? Yapay zekâ kendi ürettiği veriyle eğitilirse ne olur?
Bu yazıyı bitirdiğinde:
- Ham web metninin neden modele doğrudan verilmediğini anlatabilirsin.
- Tekrar ayıklamanın ezberlemeye ve ölçüme etkisini açıklayabilirsin.
- Bir modelin “neyle eğitildi?” sorusunda hangi ayrıntıların sorulacağını söyleyebilirsin.
Cümlelerden birini kendi sözlerinle anlatamıyorsan, ilgili bölüme dön ve demoyu yeniden dene.
Yapay zekâ kendi verisiyle eğitilirse ne olur?
Orta · 8 dk okuma