RLAIF ile Fine-Tuning ve Pre-Training'de İnsan Darboğazını Kaldırmak

Klasik RLHF hattında üç insan adımı var: örnek cevap yazmak (SFT verisi), iki cevaptan hangisinin daha iyi olduğunu seçmek (tercih verisi) ve sonuçları değerlendirmek. Her birinin hızı etiketçi sayısıyla sınırlı. Walmart'ın e-ticaret arama çalışmasında üçüncü taraf etiketçilerin sorgu-ürün alaka etiketini teslim süresi 2-3 hafta; en iyi LLM yapılandırması aynı işi üç saatin biraz üzerinde bitirmiş ve yazarların hesabıyla kayıt başına yaklaşık 500 kat daha ucuz.

Türkçe ve dar alanlarda sorun büyüyor. Bir sermaye piyasası metninin ya da bir zafiyet raporunun doğru cevabını yazabilecek uzman sayısı az, saatleri pahalı ve tutarlılıkları değişken. Model her yeni sürümde yeni etiket istediği için eğitim döngüsü etiketçilerin takvimine bağlanıyor. RLAIF'in vaadi bu bağı koparmak: etiketi bir judge model üretsin, insan yalnızca ölçütü ve kalibrasyonu sağlasın, döngü gece gündüz dönebilsin.

Son on iki ayda post-training'in ağırlık merkezi kaydı. DeepSeek-R1'in Eylül 2025'te Nature'da yayımlanan çalışması, akıl yürütmenin insan örneği olmadan, doğrulanabilir ödüllerle (RLVR) pekiştirmeli öğrenmeyle teşvik edilebildiğini gösterdi; Tülu 3 ve Kasım 2025'te çıkan OLMo 3 da hatlarını bir RLVR aşamasıyla bitiriyor. Haziran 2026'daki sektör değerlendirmelerine göre DPO öncü tariflerden büyük ölçüde çekildi; OLMo 3 hâlâ kullanıyor ama tercih çiftlerini aynı ailenin büyük ve küçük modelinin cevaplarını karşılaştırarak sentetik üretiyor. 2026'nın yükselen deseni çok öğretmenli on-policy distillation: alan uzmanı birkaç teacher, öğrencinin kendi çıktıları üzerinden tek modele damıtılıyor.

Doğrulanamayan alanlar için rubrik tabanlı ödüller öne çıktı; Rubrics as Rewards çalışması tek bir Likert puanı veren judge'a göre HealthBench'te yüzde 31'e varan göreli iyileşme raporladı. Türkçe tarafta EACL 2026'da yayımlanan Cetvel benchmark'ı, 33 açık modelde Türkçeye özel instruction-tuned modellerin çoğu zaman çok dilli genel modellerin gerisinde kaldığını buldu. Nathan Lambert'in RLHF kitabı Temmuz 2026'da basıldı.

RLAIF hattı dört parçadan oluşuyor. Policy, yani eğitilen model, bir prompt için bir ya da birkaç cevap üretir. Judge, daha güçlü bir model, bu cevapları bir ölçüt metnine (Anthropic'in Constitutional AI çalışmasında 'anayasa', bugün daha çok 'rubrik') göre karşılaştırır ya da puanlar. Bu puanlar ya bir reward model eğitmek için kullanılır ya da doğrudan ödül olarak verilir. Son olarak policy, PPO ya da GRPO gibi bir RL algoritmasıyla veya DPO gibi tercih tabanlı bir yöntemle güncellenir.

Google'ın 2023 karşılaştırmasında özetleme görevinde SFT'ye karşı kazanma oranı RLAIF için yüzde 71, RLHF için yüzde 73; zararsızlıkta RLAIF yüzde 88 ile RLHF'in yüzde 76'sını geçti. Aynı çalışma, judge policy ile aynı boyutta, hatta aynı checkpoint olsa bile RLAIF'in SFT'yi geçtiğini ve reward model eğitmeden ödülü doğrudan judge'dan almanın (d-RLAIF) daha iyi sonuç verdiğini gösterdi. AI etiketinin maliyeti insan etiketinin onda birinin altında hesaplandı.

Pratikte RLAIF tek başına değil, bir distillation zinciri içinde çalışıyor. Güçlü ve pahalı bir model öğretmen, küçük ve ucuz bir model öğrenci. Öğretmen SFT için örnek cevap üretir, tercih çiftlerini etiketler, öğrencinin çıktısını puanlar; öğrenci bu sinyalle eğitilir ve üretimde çalışır.

Etsy'nin Ocak 2026'da anlattığı arama alaka hattı bunun iyi bir örneği. En üstte pahalı bir LLM annotator insan altın etiketleriyle doğrulanıyor. Onun ürettiği veriyle 4 milyar parametrelik bir teacher fine-tune ediliyor ve günde milyonlarca sorgu-ürün çiftini etiketliyor. Teacher'dan da gerçek zamanlı aramada 10 milisaniyenin altında ek gecikmeyle çalışan BERT tabanlı bir student damıtılıyor. İnsanlar ne kaybolmuş ne de her örneği etiketliyor: iki kişi altın seti etiketliyor, anlaşmazlık oranları izleniyor, kılavuz zamanla güncelleniyor. Ev laboratuvarında ya da sınırlı GPU ile çalışan ekipler için de mantık aynı: pahalı judge az ve seçici çağrılır, ucuz öğrenci sürekli eğitilir.

Her görev judge gerektirmez. Cevabın doğruluğu kodla kontrol edilebiliyorsa (JSON şeması geçerli mi, çıkarılan ürün özelliği katalogdaki gerçek değerle eşleşiyor mu, SQL çalışıyor mu, birim testi geçiyor mu) ödülü kural verir. Buna RLVR deniyor ve ikili kural ödülü reward hacking'e karşı en dayanıklı sinyal; dezavantajı seyrek olması.

Doğrulanamayan görevlerde (bir ürün açıklamasının ikna edici ve doğru olması, bir hukuki özetin eksiksizliği) rubrik devreye girer. Rubrik iyi bir cevabı ağırlıklı, kontrol listesi tarzı ölçütlere böler: doğruluk, alaka, üslup, talimata uyum. Judge her ölçütü ayrı puanlar, puanlar sabit ağırlıklarla birleştirilir. RLVR aslında tek ölçütlü, ağırlığı 1 olan bir rubrik. 2025-2026 çalışmalarından çıkan ders: rubrik ne kadar spesifik ve uzman referansına ne kadar dayalıysa o kadar iyi; genel, hazır rubrikler zayıf kalıyor. Anti-pattern: tek bir '1-10 arası puan ver' prompt'u ile RL yapmak; model bu puanı kısa sürede kandırmayı öğrenir.

AI judge bedava bir hakem değil. 2023'teki MT-Bench çalışması güçlü bir judge'ın insan tercihleriyle yüzde 80'in üzerinde uyuştuğunu, yani insanların kendi aralarındaki uyuşmaya yakın olduğunu gösterdi; ama aynı çalışma üç sistematik yanlılık buldu: önce gelen cevabı kayırma (position bias), uzun cevabı kayırma (verbosity bias) ve kendi ürettiğine benzeyeni kayırma (self-enhancement bias). Bing ekibinin çalışması da judge performansının prompt'un basit bir yeniden yazımıyla bile öngörülemez biçimde değiştiğini not ediyor.

Daha derin risk model collapse. Nature'da 2024'te yayımlanan çalışma, modelin kendi ürettiği veriyle gelişigüzel eğitildiğinde dağılımın kuyruklarının kaybolduğunu ve hasarın kalıcı olduğunu gösterdi. Türkçe için kuyruk tam da değerli kısım: nadir ürün kategorileri, yöresel kullanım, uzman terminolojisi. Önlemler: cevap sırasını değiştirip iki kez puanlamak, uzunluğu normalize etmek, policy'den farklı aileden judge seçmek, her turda gerçek veriyi karışımda tutmak ve judge'ı düzenli olarak insan altın setine karşı ölçmek.

E-ticaret RLAIF için doğal bir saha, çünkü etiket ihtiyacı devasa ve sürekli. Arama alaka etiketi, katalog özellik çıkarımı (renk, beden, malzeme), ürün başlığı ve açıklaması üretimi, yorum özetleme, müşteri sorusu cevaplama: hepsi milyonlarca örnek ve her sezon değişen bir dağılım demek. Walmart'ın çalışmasında LLM etiketleri bazı durumlarda insan etiketinden daha doğru bulunmuş; Etsy'de LLM destekli alaka hattından sonra tamamen alakalı ilanların payı Ağustos-Ekim 2025 arasında yüzde 58'den 62'ye çıkmış.

Türkiye'de Trendyol, Hugging Face üzerinde Qwen 3-8B tabanlı e-ticaret modeli, Gemma 3-12B tabanlı yeni nesil Trendyol LLM, katalog görsel ve metin embedding modelleri ile bir siber güvenlik modeli ve veri setleri yayımlıyor; yani alan modeli üretimi şirket içi bir hat olarak işliyor. Bu sektörde ödül tasarımı karışık olmalı: özellik çıkarımında katalogdaki gerçek değer doğrulanabilir ödül, açıklama kalitesinde rubrik, arama alakasında insan altın seti ve tıklama sinyali kalibrasyon kaynağı.

'İnsan darboğazını kaldırmak' en iyi şöyle okunuyor: insanı her örnekten çıkarıp kalibrasyon noktalarına taşımak. Beş nokta yeterli. Rubrik yazımı: iyi cevabın ne olduğunu alan uzmanı tanımlar. Altın set: birkaç yüz ile birkaç bin arası, iki kişinin etiketlediği ve anlaşmazlığın çözüldüğü örnek. Judge kalibrasyonu: judge her sürümde altın sete karşı ölçülür, uyum eşiğin altına düşerse döngü durur. Örneklem kontrolü: belli adım aralıklarıyla rastgele örnekler judge puanıyla birlikte insana gösterilir. Yayın kapısı: model, otomatik eval'lerin yanı sıra insan değerlendirmesinden geçmeden üretime çıkmaz.

Bu düzen 7/24 eğitimi mümkün kılıyor ama bir bedeli var: her şeyi kaydetmek. Prompt, cevap, judge'ın ham çıktısı, ölçüt bazlı puanlar, ortalama ödül ve model sürümü izlenebilir olmalı; aksi halde ödül yükselirken kalitenin düştüğü an görünmez. İyi bir sinyal: judge puanı artarken insan örneklem puanı yerinde sayıyorsa, model judge'ı kandırmayı öğreniyordur.