Mimari ve Dağıtık Sistemler
TabiBERT: Türkçe İçin Büyük Ölçekli ModernBERT Foundation Model
TabiBERT: A Large-Scale ModernBERT Foundation Model for Turkish
Türkçe metni sınıflandırmak ve aramak için LLM değil, Türkçeye özel eğitilmiş modern bir encoder gerekir; TabiBERT bu temeli açık ağırlık ve ortak benchmark ile kurdu.
Türkçe sınıflandırma ve retrieval için doğru temel LLM değil, Türkçeye özel eğitilmiş modern bir encoder'dır; TabiBERT bunu açık ağırlık ve ortak benchmark'la ölçülebilir kıldı.
Encoder'ın bu görevlerdeki yeri kabul görüyor; dile özel modelin çok dilli modele üstünlüğü ise tartışmalı, mmBERT TabiBench'te önde.
Zihinsel model
LLM her işi bilen pahalı bir danışman, encoder aynı işi binlerce kez hatasız yapan uzman bir memurdur.
Neden
- Encoder metni çift yönlü okur ve sabit görevlerde aynı girdiye aynı çıktıyı, LLM'in maliyetinin küçük bir kısmıyla verir.
- Türkçeye göre eğitilmiş tokenizer ekli kelimeleri daha az parçaya böler; aynı bağlama daha çok metin ve daha anlamlı birim sığar.
- Ortak benchmark olmadan model iddiaları karşılaştırılamaz; TabiBench sonraki Türkçe encoder'ların da kendini ölçtüğü cetvel oldu.
Kanıt
TabiBERT, 28 veri setlik TabiBench'te BERTurk'ü 1,62 puan geçerek Türkçe encoder'lar arasında en yüksek skoru aldı.
TabiBERT, arXiv 2025BERT ile veri filtrelemenin maliyeti, aynı işi decoder modelle yapmanın on altıda birinden az olarak hesaplandı.
Answer.AI ModernBERT duyurusu, 20242026'da çıkan MoganBert-TR ve ModernBERT-TR sonuçlarını TabiBench üzerinde raporladı.
MoganBert-TR, arXiv 2026Karşı görüş
Çok dilli mmBERT iki kat parametreyle TabiBench'te daha yüksek skor alıyor; tek kalite metriği önemliyse dile özel model gereksiz kalabilir. Benchmark'ın bir kısmı makine çevirisi olduğu için skor farkları doğal Türkçeyi tam yansıtmayabilir.
Kavramlar
Pratikte
- Yüksek hacimli sabit metin görevlerini LLM'den çıkarıp ince ayarlı encoder'a taşı.
- LLM'i etiketleyici olarak kullan, encoder'ı o etiketlerle eğit ve iki modeli aynı metrikle karşılaştır.
- Model seçerken makro skora değil, kendi görev kategorinin satırına ve gecikmeye bak.
Üretken modeller gündemi kaplarken, e-ticaret yorumlarını etiketleyen, destek taleplerini yönlendiren ya da RAG için belge getiren sistemlerin çoğu hâlâ BERT ailesinden encoder modellerle çalışıyor. Türkçede bu işin varsayılanı yıllarca 2020 tarihli BERTurk oldu: 512 token bağlam, eski mimari. Boğaziçi Üniversitesi TABILAB ekibinin Aralık 2025'te yayımladığı TabiBERT, ModernBERT mimarisini Türkçe ağırlıklı yaklaşık 86 milyar tokenlık bir derlemle sıfırdan eğitti; 149M parametre, 8.192 token bağlam ve Apache 2.0 lisansıyla geldi. Asıl katkısı yalnızca model değil: 28 veri setini tek skorda toplayan TabiBench, 2026'da çıkan diğer Türkçe encoder'ların da kendini ölçtüğü ortak cetvele dönüştü. Ekim 2026 itibarıyla Türkçe encoder alanında üç ayrı ekip aynı mimariyle yarışıyor ve soru artık 'Türkçe encoder var mı' değil, 'hangi işe hangisi'.
Çıkarımlar
- Sınıflandırma, NER ve retrieval gibi sabit görevlerde encoder, LLM'e göre hem çok daha ucuz hem deterministiktir.
- TabiBERT Türkçede BERTurk'ün yerini alacak açık bir temel: 149M parametre, 8.192 token bağlam, Apache 2.0.
- Dile özel model her zaman kazanmaz: çok dilli mmBERT TabiBench'te önde, ama iki kat büyük.
- TabiBench'in değeri ortak cetvel olması; 2026'daki rakip Türkçe encoder'lar sonuçlarını bu benchmark'la raporladı.
- Base encoder doğrudan embedding modeli değildir; retrieval için contrastive ince ayar ya da hazır bir Türkçe embedding modeli gerekir.
- Makro ortalama skora değil, kendi görev kategorinizin satırına bakın.
Alt başlıklar
LLM çağında encoder neden hâlâ iş görüyor
Decoder modeller (GPT, Claude, Llama) metin üretir; encoder modeller metni okuyup anlamlı bir vektöre çevirir. Sınıflandırma, varlık çıkarma (NER), duygu analizi, kopya tespiti ve RAG'deki retrieval adımı bu ikinci türün işidir. Encoder çift yönlü baktığı için bir kelimeyi hem solundaki hem sağındaki bağlamla değerlendirir ve bu işlerde aynı boyuttaki decoder'dan verimlidir.
Maliyet farkı büyük. ModernBERT'i duyuran Answer.AI yazısı, FineWeb-Edu veri setini BERT tabanlı bir sınıflandırıcıyla filtrelemenin yaklaşık 60 bin dolara mal olduğunu, aynı işi decoder bir modelle yapmanın 1 milyon doları aşacağını hesaplıyor. Aynı yazıya göre Hugging Face'te encoder modellerin aylık indirmesi decoder'ları geride bırakıyor.
Senaryo: günde bir milyon ürün yorumunu 'kargo', 'beden', 'kalite' gibi etiketlere ayıran bir sistem. Her yorumu bir LLM API'sine göndermek hem gecikme hem fatura üretir. 149M parametrelik ince ayarlı bir encoder aynı işi tek bir GPU'da, hatta CPU'da yapar ve her seferinde aynı girdiye aynı cevabı verir.
Ekim 2026 itibarıyla durum
Son on iki ayda Türkçe encoder alanı tek modelden bir yarışa döndü. TabiBERT'in makalesi 28 Aralık 2025'te arXiv'e girdi; ağırlıklar, eğitim konfigürasyonları ve değerlendirme kodu Apache 2.0 ile Hugging Face ve GitHub'da açık. Model kartı transformers 4.48 ve üstünü istiyor.
Aynı mimari üzerinde iki rakip daha çıktı. Temmuz 2026'da hakem sürecine giren ön baskı ModernBERT-TR, 144,4 milyar Türkçe token ve özel bir tokenizer ile TabiBench'te 77,28 aldı. Ağustos 2026'da arXiv'e giren MoganBert-TR, 237,3 milyar token ve önce CLM sonra MLM eğitimiyle 77,73 bildirdi. İkisi de kendini TabiBERT'in benchmark'ıyla ölçtü.
Alana özel tarafta NewmindAI Ocak 2026'da hukuk metinleriyle sıfırdan eğitilmiş ModernBERT tabanlı Mecellem encoder'larını yayımladı. Embedding ölçümü için de iki benchmark var: Boğaziçi'nin EMNLP 2025'te sunduğu TR-MTEB ve LREC 2026'da yayımlanan, 45 modeli karşılaştıran TR-TEB. Çok dilli tarafta 1.800'den fazla dili kapsayan mmBERT (Eylül 2025) referans rakip olarak duruyor. Bugünkü pratik tablo: genel amaçlı Türkçe encoder için üç açık aday, hukuk gibi dar alanlar için alana özel modeller ve embedding seçimi için iki ayrı sıralama.
ModernBERT mimarisi ne değiştirdi
2018 tarihli BERT'in tasarımı yıllarca neredeyse hiç değişmedi. Answer.AI ve LightOn'un Aralık 2024'te yayımladığı ModernBERT, decoder dünyasında olgunlaşan teknikleri encoder'a taşıdı.
Başlıcaları şunlar: konum bilgisi için RoPE (rotary positional embeddings), aktivasyonda GeGLU, gereksiz bias terimlerinin kaldırılması ve alternating attention. Son madde en çok kazandıran: her üç katmandan biri tüm metne bakan global attention, diğerleri yalnızca 128 tokenlık kayan pencereye bakan local attention kullanır. Bu sayede bağlam 512'den 8.192 tokena çıkarken hesap patlamaz. Unpadding ise farklı uzunluktaki metinleri doldurma tokenlarıyla eşitlemek yerine paketleyip boşa hesap yapmayı önler; FlashAttention bellek erişimini hızlandırır.
Eğitim tarafında next-sentence prediction çıkarıldı, maskeleme oranı yüzde 15'ten 30'a çıkarıldı. Pratik sonuç: bir sözleşmenin tamamı ya da uzun bir destek talebi tek parçada encoder'a girebiliyor; 512 token sınırı yüzünden metni kesip parçalara bölme zorunluluğu kalkıyor.
TabiBERT'in tarifi: veri, eğitim, tokenizer
TabiBERT, ModernBERT-base yapısını birebir alıyor: 22 katman, 768 gizli boyut, 12 attention head, yaklaşık 149M parametre. Fark verinin ve tokenizer'ın Türkçe olması.
Derlem yaklaşık 86 milyar token ve dört alandan geliyor: web yüzde 73, bilimsel metin yüzde 20, kod yüzde 6, matematik yüzde 0,3. Yaklaşık yüzde 13'ü Türkçe dışı. Model eğitim boyunca toplam 1 trilyon token gördü; yani derlem birkaç tur dolaşıldı. Eğitim üç fazdan oluşuyor (850 milyar, 125 milyar ve 25 milyar token) ve 8 adet H100 üzerinde yaklaşık 117 saat sürdü. Önce 1.024 token bağlamla başlanıp sonra 8.192'ye genişletildi.
Tokenizer sıfırdan eğitilmedi; VNGRS'nin Türkçe LLM'i Kumru'nun 50.176 kelimelik BPE tokenizer'ı alınıp encoder için gereken [CLS] ve [SEP] tokenlarıyla uyarlandı. Bu, bir ekibin başka bir açık Türkçe projenin çıktısını yeniden kullanarak maliyet düşürdüğü iyi bir örnek. Veri kesitine dikkat: web verisi Nisan 2024, Vikipedi dökümü Ağustos 2024 tarihli.
Türkçe neden ayrı model istiyor
Türkçe eklemeli bir dil: 'evlerimizdekilerden' tek kelime ama içinde kök, çoğul, iyelik, bulunma ve ayrılma ekleri var. Çok dilli bir tokenizer bu kelimeyi Türkçeye göre eğitilmiş bir tokenizer'dan daha fazla parçaya böler. Sonuç iki yönlü: aynı bağlam penceresine daha az metin sığar ve model ekleri anlamlı birimler yerine rastgele parçalar olarak görür.
İkinci sorun veri payı. Çok dilli modellerde Türkçe, eğitim verisinin küçük bir dilimidir; model kapasitesini yüzlerce dil arasında paylaşır. Dile özel model aynı parametre bütçesini tek dile harcar.
Ama bu kesin bir kazanç değil. TabiBench sonuçlarında 307M parametreli çok dilli mmBERT 79,26 ile TabiBERT'in 77,58'inin önünde. Yani 'dile özel her zaman iyidir' iddiası tutmuyor; doğru karşılaştırma boyut ve hız ile birlikte yapılmalı. TabiBERT yarı boyutta 1,7 puan geride kalıyor ve uzun metinde daha hızlı. Üretimde bu çoğu zaman kabul edilebilir bir takas.
TabiBench: tek skorla ölçmenin faydası ve sınırı
TabiBERT ile birlikte yayımlanan TabiBench, 8 görev kategorisinde 28 veri setini topluyor: metin sınıflandırma, token sınıflandırma (NER, POS), soru cevaplama, bilgi getirme, akademik metin anlama, kod getirme ve benzerleri. 21'i mevcut Türkçe veri setleri, 7'si makine çevirisiyle üretilmiş. Sonuçlar GLUE tarzı bir makro ortalamada birleşiyor.
Bu ortalamada TabiBERT 77,58, BERTurk 75,96, ytu-cosmos-BERT 72,26 alıyor. Türkçe encoder'lar arasında sekiz kategorinin beşinde önde; en büyük fark soru cevaplamada 9,55 puan. Her görevde önceki en iyi sonuca göre ortalama iyileşme 1,47 puan.
Sınır iki yerde. Birincisi makro ortalama zayıf kategoriyi gizler: sizin işiniz NER ise genel skordan çok o satıra bakmalısınız. İkincisi çeviri veri setleri Türkçenin doğal kullanımını tam yansıtmaz. Yine de ortak bir cetvelin varlığı alanı değiştirdi: 2026'da çıkan ModernBERT-TR ve MoganBert-TR kendini aynı benchmark'la raporladı; sonuçlar 77,3 ile 77,9 arasında sıkıştı.
Ürüne nasıl girer: fine-tune, embedding, hız
TabiBERT bir base model, yani masked language modeling ile eğitilmiş ham bir encoder. Kutudan çıktığı haliyle cümle benzerliği için hazır bir embedding modeli değil. Üç yaygın kullanım yolu var.
Birincisi sınıflandırma: üstüne bir sınıflandırma katmanı ekleyip birkaç bin etiketli örnekle fine-tune etmek. Repo bunun için hazır script içeriyor. İkincisi retrieval: modeli contrastive öğrenmeyle cümle çiftleri üzerinde eğitip bi-encoder'a çevirmek; TR-MTEB ekibinin 34,2 milyon Türkçe cümle çiftiyle yaptığı iş bu yolun örneği. Üçüncüsü reranker: getirilen 50 belgeyi soruyla birlikte okuyup sıralamak.
Hız tarafında makale 8.192 tokenlık girdilerde 2,65 kata kadar daha hızlı inference ve yaklaşık iki kat batch boyutu bildiriyor; 512 tokenda hız rakiplerle benzer. Anti-pattern: LLM ile prototip kurup üretimde de aynı API'yi milyonlarca kısa metin için çağırmaya devam etmek. Görev sabitleştiğinde LLM'i etiketleyici olarak kullanıp encoder'ı o etiketlerle eğitmek çoğu zaman daha ucuz yoldur.
Son gelişmeler
Ekim 2026 itibarıyla
Önce kendi cevabını düşün, sonra aç.
LLM'ler her şeyi yapabiliyorken neden 149M parametrelik bir modelle uğraşayım?
Görev sabitse ve hacim yüksekse fark maliyette ve gecikmede ortaya çıkıyor. Encoder aynı girdiye aynı cevabı verir, tek GPU'da ya da CPU'da milisaniyeler içinde çalışır, veriniz dışarı çıkmaz. LLM'i keşif ve etiketleme için kullanıp üretim yükünü encoder'a devretmek yaygın ve mantıklı bir düzen.
mmBERT TabiBench'te daha yüksek skor alıyor. Neden dile özel modeli seçeyim?
mmBERT yaklaşık iki kat parametreyle 1,7 puan önde. Gecikme, bellek ve maliyet sınırınız varsa TabiBERT daha iyi bir takas olabilir; tek bir kalite puanı istiyorsanız mmBERT. Karar kendi veri setinizde iki modeli de ince ayarlayıp aynı metrikle ölçmekle verilmeli.
TabiBERT'i doğrudan RAG için embedding modeli olarak kullanabilir miyim?
Doğrudan değil. Base model MLM ile eğitildi; cümle düzeyinde anlamlı vektör üretmesi için cümle çiftleriyle contrastive eğitim gerekir. Hazır çözüm istiyorsanız TR-MTEB ya da TR-TEB sıralamalarındaki Türkçe embedding modellerine bakmak daha hızlı yol.
Ticari üründe kullanmak hukuken sorun olur mu?
Model ağırlıkları ve eğitim kodu Apache 2.0 lisanslı; ticari kullanıma açık. Yine de ince ayar verinizdeki kişisel veriler için KVKK yükümlülükleri sizde kalır ve modelin eğitim verisindeki önyargılar için kendi testinizi yapmanız gerekir.
Benchmark'ın bir kısmı makine çevirisi. Sonuçlara güvenebilir miyiz?
Yön olarak evet, kesinlik olarak dikkatli olmak gerek. 28 veri setinin 7'si çeviri; çeviri metin doğal Türkçeden farklı kalıplar taşır. Kendi alanınızdan birkaç yüz gerçek örnekle küçük bir iç test seti kurmak benchmark'tan daha güvenilir sinyal verir.
Notun kaynakları
Sunum stili
11 slayt. Tıklarsan sunum o slayttan başlar.
Slayt notları
Herkes üretken modelleri konuşurken, ürünlerdeki metin işlerinin çoğu sessizce encoder'larla dönüyor. Türkçede bu alan 2026'da yeniden hareketlendi.
Prototipte LLM doğru seçim. Görev sabitlendiğinde aynı API'yi milyonlarca kısa metin için çağırmak hem pahalı hem tutarsız.
Answer.AI'ın hesabına göre FineWeb-Edu filtrelemesi BERT ile yaklaşık 60 bin dolar; decoder ile 1 milyon doları aşardı.
Bu katmanlar sayesinde uzun Türkçe belgeyi kesip biçmeden tek parçada işlemek mümkün.
8 adet H100 üzerinde yaklaşık 117 saat. Başka bir açık Türkçe projenin tokenizer'ını yeniden kullanmak ekosistemin nasıl birikebileceğini gösteriyor.
TabiBERT Türkçe encoder'lar arasında önde, çok dilli mmBERT'in ise 1,7 puan gerisinde. mmBERT iki kat parametre taşıyor.
Model bir yıl sonra geçilir. Herkesin kendini ölçtüğü benchmark ise alanın dilini belirler.
Bir yılda Türkçe encoder alanı tek modelden üç ekipli bir yarışa döndü; skorlar 77-78 bandında.
Sol üst tam encoder alanı. Sağ alt LLM alanı. Sağ üstte en verimli düzen ikisini birlikte kullanmak.
Base model doğrudan embedding değildir. RAG için cümle çiftleriyle contrastive eğitim ya da hazır Türkçe embedding modeli gerekir.
İlk adım: en yüksek hacimli metin görevinizi seçin, LLM ile birkaç bin etiket üretin, bir encoder'ı ince ayarlayıp ikisini aynı metrikle karşılaştırın.