Kritik Sistemlerde AI Modeli Geliştirmek ve Çalıştırmak: Açıklanabilir, Denetlenebilir ve Güvenilir Model Tasarımı

Kritik bir sistemde model çıktısı operasyonel bir sinyaldir. Bir sınıflandırıcının 'tehdit' etiketi bir alarmı tetikler, bir anomali skorunun eşiği aşması bakım ekibini sahaya gönderir, bir risk skoru bir operatörün önündeki listeyi sıralar. Bu yüzden modelin offline test setindeki accuracy, precision ve recall değerleri ile p95 gecikmesi yalnızca başlangıç koşuludur.

Model test ortamından karar zincirine taşındığında tipik bir bozulma sırası görülür. Önce veri dağılımı kayar: yeni bir sensör, farklı bir mevsim, farklı bir coğrafya. Ardından güven skorları belirli girdi segmentlerinde kalibrasyonunu kaybeder; model yüzde 95 emin olduğunu söylediği vakalarda çok daha sık yanılmaya başlar. Benzer vakalar için üretilen açıklamalar birbirinden ayrışır. Operatörler modeli daha sık geçersiz kılar ve sistem düşük güvenli çıktılar üzerinde de aksiyon almaya devam eder. Bunların hiçbiri test setindeki skoru değiştirmez; hepsi karar zincirinin tasarımıyla ilgilidir.

Son on iki ayda kritik sistemlerde AI için kural seti netleşmeye başladı, ama takvim uzadı. AB'de Digital Omnibus (Tüzük 2026/1744) 27 Temmuz 2026'da yürürlüğe girdi: Annex III'teki bağımsız high-risk sistemlerin yükümlülükleri 2 Aralık 2027'ye, ürünlere gömülü Annex I sistemleri 2 Ağustos 2028'e ertelendi; yükümlülüklerin içeriği ise değişmedi. AI Act yalnızca askeri, savunma ve ulusal güvenlik amacıyla kullanılan sistemleri kapsam dışı bırakıyor; çift kullanımlı sistemlerin sivil kullanımı kapsamda kalıyor.

Havacılıkta EASA, Kasım 2025'te Level 1 ve Level 2 uygulamalar için ilk düzenleme taslağını (NPA 2025-07) açtı; 3 Haziran 2026'da da reinforcement learning, sembolik AI ve insanın sahada olmadığı Level 3 uygulamaları kapsayan Concept Paper Issue 03 taslağını görüşe sundu. ABD'de NIST, 7 Nisan 2026'da kritik altyapı için bir AI RMF profili konsept notu yayımladı; Senato Silahlı Hizmetler Komitesi'nin Haziran 2026'daki FY2027 NDAA taslağı otonom sistemler için müdahale yöntemi, izleme verisi ve olay deposu şartı getiriyor. Türkiye'de 71 eylemlik 2024-2025 Ulusal Yapay Zeka Stratejisi Eylem Planı 'Güvenilir Yapay Zeka Damgası' öngörüyor; TBMM'deki kanun teklifleri ise Ekim 2026 itibarıyla yasalaşmış değil.

Güvenilirliği modelin içine değil, modelin etrafındaki zincire yerleştirmek gerekiyor. Pratikte işleyen bir sıra şöyle: data validation, feature pipeline, model inference, confidence ve uncertainty tahmini, explanation katmanı, context check, risk gate, insan incelemesi ya da fallback, monitoring ve audit trail.

Her halkanın sorduğu soru farklı. Data validation 'bu girdi modelin eğitildiği veri rejiminde mi' diye sorar; sensör değeri fiziksel olarak imkânsızsa çıktı hiç üretilmez. Uncertainty katmanı güven skorunun kalibre olup olmadığını kontrol eder. Context check, model çıktısını görev bağlamıyla karşılaştırır: tatbikat modunda mıyız, bölgede sivil trafik var mı. Risk gate bu sinyalleri birleştirip üç çıkıştan birini seçer: otomatik devam, insana devret ya da dur. Audit trail ise girdinin hash'ini, model sürümünü, güven skorunu, açıklamayı, risk gate kararını ve insanın ne yaptığını tek kayıtta tutar. Fallback ve abstention bu zincirin içinde tasarlanmalı; modelin dışında, sonradan eklenmiş bir 'acil durum butonu' yeterli değildir.

Bir modelin güven skoru, ancak kalibre ise anlamlıdır: yüzde 80 güvenle verilen kararların yaklaşık yüzde 80'i doğru çıkmalıdır. 2017'de ICML'de yayımlanan bir çalışma, modern derin ağların eski ağlara göre belirgin biçimde kötü kalibre olduğunu, derinlik, genişlik, weight decay ve batch normalization gibi tercihlerin bunu etkilediğini ve tek parametreli temperature scaling'in çoğu veri setinde şaşırtıcı ölçüde iyi düzelttiğini gösterdi.

Kalibrasyon bir kez yapılıp unutulmaz. Expected calibration error (ECE) segment bazında izlenmeli; genel ortalama iyi görünürken gece görüntülerinde ya da belirli bir sensör tipinde bozulmuş olabilir. Daha güçlü bir araç conformal prediction: tek bir etiket yerine, belirlenen bir olasılıkla doğru cevabı içeren bir küme üretir. Küme tek elemanlıysa sistem otomatik ilerleyebilir; iki veya daha fazla eleman içeriyorsa karar insana gider. Abstention da bir sonuçtur: 'bilmiyorum' diyebilen model, her girdiye cevap üreten modelden kritik sistemde daha değerlidir. Abstention oranı da izlenir; ani artış, veri rejiminin değiştiğinin erken işaretidir.

Açıklanabilirlik çoğu projede ekrana eklenen bir ısı haritası olarak başlar. Kritik sistemde açıklamanın asıl işi, modelin sınırlarını sisteme bildirmektir. İyi bir açıklama katmanı şu sorulara cevap üretir: model bu veri rejimini tanıyor mu, güveni güvenilir mi, açıklama benzer vakalarda tutarlı mı, operatörler modeli geçersiz kılıyor mu, sistem otomatik karar vermeyi bırakmalı mı?

Buradan pratik bir kural çıkar: açıklamanın kendisi de izlenir. 2018'de yayımlanan bir çalışma, yaygın yorumlanabilirlik yöntemlerinin benzer girdilere benzer açıklama üretme konusunda zayıf kaldığını ölçtü. Explanation drift, yani aynı tip vakada öne çıkan özelliklerin zamanla değişmesi, accuracy düşmeden önce görülebilen bir uyarıdır. Bir görüntü sınıflandırıcısı hedef yerine arka plandaki bir işarete dayanmaya başladıysa, bu açıklamadan okunur. Karşı görüş de ciddiye alınmalı: yüksek riskli kararlarda kara kutuyu sonradan açıklamaya çalışmak yerine baştan yorumlanabilir model kullanmayı savunan güçlü bir akım var. Tablo verisinde bu çoğu zaman mümkündür.

Birçok sistemde insan denetimi, modelin önerisini 'Onayla' düğmesiyle sunan bir ekrandan ibarettir. Bu tasarım iki yönden başarısız olur. Operatör yüzlerce öneriyi art arda onayladıkça automation bias devreye girer ve onay bir refleks haline gelir. Ya da operatör modele güvenmez, her öneriyi elle yeniden yapar ve sistemin değeri kaybolur.

Gerçek bir human-in-the-loop tasarımı üç şey verir. Bağlam: modelin güveni, belirsizlik kümesi, açıklama ve benzer geçmiş vakalar aynı ekranda. Zaman ve yetki: operatörün kararı geciktirme, reddetme ya da sistemi durdurma hakkı ve bunun için yeterli süre. Geri bildirim: her override kaydedilir ve modelin değerlendirme setine döner. Override oranı da bir metriktir. Sıfıra yakın bir oran, insanın gerçekten bakmadığını gösterebilir; hızla artan bir oran, modelin yeni bir rejimde çalıştığını. EASA'nın Level 2 için kullandığı human-AI teaming kavramı da bu ayrımı yapıyor: insan, sistemin içinde tanımlı rolü olan bir ekip üyesidir.

Savunmada kural seti büyük ölçüde soft law. NATO'nun 2021'de benimsediği altı Principles of Responsible Use içinde explainability and traceability, reliability ve governability var; Temmuz 2024'teki revize strateji bu ilkeleri ittifak çapında test, değerlendirme, doğrulama ve validasyon (TEV&V) altyapısına bağlamayı hedefliyor. ABD Senatosu'nun FY2027 NDAA taslağı ise somut mühendislik şartlarına iniyor: müdahale ve durdurma yöntemi, manuel fail-safe, izleme verisi, hedef seçim kaydı ve arıza ile ramak kala olaylarını toplayan bir olay deposu.

AB tarafında AI Act yalnızca münhasıran askeri amaçlı sistemleri kapsam dışı bırakıyor; aynı görüntü işleme modeli sınır güvenliği ya da afet yönetimi gibi sivil bir amaçla kullanılırsa high-risk kurallarına girer. Kamuda Annex III kapsamındaki kullanımlar, örneğin kamu hizmetine erişim veya göç ve sınır yönetimi, 2 Aralık 2027'den itibaren risk yönetimi, kayıt tutma ve insan denetimi şartlarını karşılamak zorunda. Savunma verisinin sınıflandırılmış ve çoğu zaman ağdan yalıtılmış olması, audit trail ve monitoring'in de aynı yalıtılmış ortamda çalışmasını gerektiriyor; dış bir gözlem servisine log göndermek seçenek değil.

Kritik sistemin dashboard'unda accuracy, precision, recall, p95 latency ve istek başına maliyet kalır; ama güvenilirliği gösteren metrikler başka. Expected calibration error, güven skorunun gerçekle ne kadar örtüştüğünü söyler. Confidence drift ve uncertainty dağılımı, modelin aynı tip girdide giderek daha az ya da yersiz biçimde daha çok emin olup olmadığını gösterir. Explanation drift ve stabilite, gerekçenin kaydığını erkenden yakalar.

İnsan ve sistem davranışı için human override rate, abstention rate ve fallback activation rate izlenir. Regression rate, her yeni model sürümünün önceki sürümün doğru bildiği vakalarda ne kadar geri gittiğini ölçer; ortalama skor artarken kritik bir alt grupta gerileme olabilir. Audit completeness ise en az konuşulan ama denetimde ilk sorulan metriktir: kararların yüzde kaçında girdi, model sürümü, güven, açıklama ve insan aksiyonu eksiksiz kayıtlı? Eksik kayıtlı karar, sonradan savunulamayan karardır. Bu metriklerin her biri için önceden yazılmış bir eşik ve eşik aşılınca ne olacağı (ör. otomatik modu kapatıp tüm kararları insana yönlendirmek) tanımlanmalı.