Yazılım Kalitesinin Geleceği Zaten Burada

Google'ın DORA 2025 raporu (2025 verisi; DORA 2026'da yeni bir State of AI-assisted raporu yerine bir ROI raporu yayımladı) yaklaşık 5.000 teknoloji profesyoneliyle yapılan ankete dayanıyor ve yanıt verenlerin yaklaşık yüzde 90'ı işinde AI kullanıyor. Rapor, AI benimsemesinin artık teslimat hızıyla olumlu ilişkili olduğunu, ama teslimat istikrarsızlığının da yükselmeye devam ettiğini söylüyor. 'Hızlı kır, hızlı düzelt' yaklaşımı bu ek istikrarsızlığı telafi etmemiş.

Raporun ana mesajı AI'ın bir yükseltici olduğu: güçlü mühendislik pratikleri olan ekipleri daha güçlü, zayıf olanları daha görünür kılıyor. DORA'nın önerdiği yedi yetkinlik arasında küçük partilerle çalışma ve güçlü sürüm kontrolü pratikleri var; ikisi de doğrudan kaliteyle ilgili.

Pratik anlamı şu: kod üretim hızı arttığında test, inceleme ve dağıtım güvenliği aynı hızda büyümezse, hata oranı artar. Bir ekip haftada 20 PR'dan 60 PR'a çıktıysa ama inceleme kapasitesi aynı kaldıysa, kalitenin nerede delineceği bellidir.

Son 12 ayda kalite tartışmasına bir isim eklendi: verification tax. DORA'nın Mart 2026 analizi ve 2026 ROI raporu, AI ile kod yazarken kazanılan zamanın önemli kısmının inceleme ve denetime gittiğini, AI benimseyen kuruluşların çoğunun kalıcı kazançtan önce geçici bir verim düşüşü yaşadığını vurguluyor. DORA 2026'da yeni bir yıllık State of AI-assisted raporu yerine bu ROI raporunu yayımladı; istikrarsızlık bulgusunun dayanağı hâlâ 2025 verisi. Stack Overflow'un Ekim 2026 anketinde ise geliştiricilerin yüzde 48'i AI'a ancak çıktıyı kolayca doğrulayabildiğinde güveniyor, önemli kararlarda güvenenler yüzde 6,6.

Araç tarafında test ajanları ürünleşti. Playwright 1.56'da tanıttığı Planner, Generator ve Healer ajanlarını 2026'da genişletti: ajanların yaptığı işi videoya kaydetme, CLI üzerinden test ayıklama ve paketle gelen MCP sunucusu eklendi. Eval tarafında Anthropic Ocak 2026'da Agent eval rehberini yayımladı. Mutasyon testi, Meta'nın ACH çalışmasıyla birlikte AI'ın yazdığı testleri ölçmenin kabul gören yolu olmaya devam ediyor; satır kapsamı ise tek başına güvenilir bir kalite sinyali sayılmıyor.

Test otomasyonunda en somut yenilik, test yaşam döngüsünün farklı aşamalarını üstlenen ajanlar. Playwright bunu 1.56 sürümünde üç ajanla tanımladı: Planner uygulamayı keşfedip Markdown formatında bir test planı çıkarıyor, Generator bu planı çalışan test dosyalarına çevirirken seçicileri canlı doğruluyor, Healer da başarısız testleri yeniden oynatıp arayüzü inceleyerek onarım öneriyor. Bu ajanlar VS Code, Claude Code, Codex ve OpenCode ile çalışabiliyor. 2026 sürümleri bunu genişletti: 1.59 ajanların yaptığı işi insan incelemesi için videoya kaydetmesini ve CLI üzerinden test ayıklamasını, 1.62 Playwright MCP sunucusunu ve playwright-cli'yi pakete dahil etmeyi getirdi.

Bu, test mühendisinin işini ortadan kaldırmıyor; işin ağırlık merkezini kaydırıyor. Seçici yazmak ve kırılan testi düzeltmek ucuzladı. Pahalı olan, neyin test edilmesi gerektiğine karar vermek ve ajanın 'onardığı' testin hâlâ doğru şeyi kontrol ettiğinden emin olmak.

Anti-pattern: Healer'ın her önerisini otomatik kabul etmek. Bir buton yanlışlıkla kaybolduysa, iyi bir test başarısız olmalı. Onarıcı ajan testi yeni arayüze uydurursa, hatayı gizlemiş olur. Kural: onarım PR'ları her zaman bir insan incelemesinden geçer.

AI ile test yazdırmak kolay; zor olan, bu testlerin gerçekten hata yakalayıp yakalamadığını bilmek. Satır kapsamı (line coverage) burada yanıltıcı bir metrik: bir test bir satırı çalıştırıp hiçbir şey doğrulamadan geçebilir. Mutasyon testi, koda kasıtlı küçük hatalar (mutant) ekleyip testlerin bunları yakalayıp yakalamadığına bakar. Yakalanmayan mutant, testlerdeki bir boşluğu gösterir.

Meta'nın 2025 başında yayımladığı ACH çalışması bu fikri LLM'lerle birleştiriyor. Araç önce belirli bir endişeye, örneğin gizliliğe, dair mevcut testlerin yakalamadığı mutantlar üretiyor, sonra bu mutantları yakalayan testler yazıyor. Yayımlanan sonuçlarda Messenger ve WhatsApp ekiplerindeki mühendisler üretilen testlerin yüzde 73'ünü kabul etmiş, kabul edilenlerin yüzde 36'sını da doğrudan gizlilikle ilgili bulmuş ve üretilen testlerin önemli bir kısmı yalnızca satır kapsamına bakılsaydı gereksiz sayılacakmış.

Ekip için çıkarım: AI'ın yazdığı test setini bir mutasyon testi aracıyla, örneğin JavaScript için Stryker ile, en az kritik modüllerde düzenli ölçmek, kapsam yüzdesinden çok daha dürüst bir kalite sinyali verir.

Ürününe bir LLM özelliği eklediğinde, klasik test varsayımı bozulur: aynı girdi her seferinde aynı çıktıyı vermez. 'Bu fonksiyon 42 döndürmeli' yerine 'bu özet, kaynak metinde olmayan bir bilgi içermemeli' gibi özellikler test etmen gerekir.

Bunun için kullanılan yöntem eval'dir (evaluation): gerçekçi girdilerden oluşan bir veri seti, her çıktı için ölçüt ve bu ölçütü uygulayan bir değerlendirici. Değerlendirici kural tabanlı olabilir (JSON şemasına uyuyor mu), bir insan olabilir ya da başka bir model olabilir (LLM-as-judge). Model değerlendirici kullanılıyorsa, onun da bir insan etiketli örnek kümesine karşı ne kadar tutarlı olduğu ölçülmeli.

Anthropic'in Ocak 2026'da yayımladığı Agent eval rehberi pratik bir başlangıç öneriyor: gerçek hatalardan derlenmiş 20-50 görevle başla, yetenek eval'lerini regresyon eval'lerinden ayır, tek seferlik başarı yerine tutarlılık önemliyse pass^k ölç. Somut bir eşik: bir prompt ya da model değişikliğini, en az birkaç düzine temsili örnekten oluşan bir eval setinde önceki sürümle karşılaştırmadan üretime alma. Bu set, ürünün regresyon testi gibi CI'da çalışmalı. Eval'i olmayan bir AI özelliği, testi olmayan bir ödeme modülü kadar risklidir.

Kalite çoğu ekipte 'bug yok' ile eşanlamlı kullanılır. Oysa kalite modelleri çok daha geniş bir alanı tanımlar. ISO/IEC 25010 ürün kalitesi standardı 2023'te güncellendi ve bu güncellemede güvenlik anlamında emniyet (safety) üst düzey bir karakteristik olarak eklendi. Kullanılabilirlik 'etkileşim yeteneği', taşınabilirlik ise 'esneklik' olarak yeniden adlandırıldı; erişilebilirlik kapsayıcılık ve kullanıcı yardımı olarak ikiye ayrıldı, ölçeklenebilirlik esneklik altına alt karakteristik olarak girdi.

Bu değişiklikler AI çağı için anlamlı. Bir AI asistanı yanlış bir tıbbi ya da finansal yönlendirme yaparsa, bu bir fonksiyonel hata değil, emniyet sorunu. Kapsayıcılık da artık ayrı bir kalite boyutu olarak ölçülmesi gereken bir şey.

Pratik öneri: ekibin kalite tanımını bir sayfada yaz ve hangi karakteristikleri ölçtüğünü listele. Çoğu ekip bunu yaptığında, test setinin neredeyse tamamen fonksiyonel doğruluğa odaklandığını, emniyet, erişilebilirlik ve performansın ise hiç ölçülmediğini görür.

Shift-left, kalite kontrolünü geliştirme sürecinin başına çekmek demektir: spec yazarken kabul kriterlerini netleştirmek, PR aşamasında statik analiz ve testleri çalıştırmak. AI ajanları burada güçlü bir yardımcı: bir spec'ten test iskeleti üretebilir, PR'da riskli değişiklikleri işaretleyebilir.

Shift-right ise kaliteyi üretimde de ölçmek demektir: feature flag ile kademeli açılış, canary dağıtım, gerçek kullanıcı izleme ve hata bütçeleri. AI ile hız arttığında, ön taraftaki kontroller her hatayı yakalayamaz; üretimdeki gözlem ikinci savunma hattıdır.

Somut bir yapı: yeni bir özellik önce iç kullanıcılara, sonra trafiğin yüzde 5'ine, hata oranı belirlenen eşiğin altında kalırsa tamamına açılır. Eşik aşılırsa otomatik geri alma devreye girer. DORA'nın 'küçük partiler' vurgusu da buraya bağlanır: küçük değişiklik, küçük patlama alanı ve hızlı geri dönüş demek.

Test yazmak ve kırılan testleri düzeltmek gibi tekrarlayan işler ajanlara kaydıkça, kalite mühendisinin değeri başka yerlere taşınıyor. Birincisi risk modellemesi: hangi akış kırılırsa en çok zarar verir, test yatırımı nereye yapılmalı. İkincisi test stratejisi: hangi katmanda ne test edilecek, hangi testi ajan yazacak, hangisini insan inceleyecek. Üçüncüsü ajan çıktısının denetimi: ajanın ürettiği test setini mutasyon skoru ve gerçek hata yakalama oranıyla ölçmek.

Dördüncüsü AI özelliklerinin eval tasarımı. Bir özetleme özelliği için hangi hata türleri kabul edilemez, değerlendirici nasıl kalibre edilir: bunlar alan bilgisi ve test disiplini birleşimi isteyen işler.

Anti-pattern: kalite ekibini 'AI testleri yazıyor artık' diyerek küçültmek. Rakamlar tersini söylüyor: üretim hızı arttıkça doğrulama talebi de artıyor. Kalite ekibi küçülmüyor, işinin içeriği değişiyor.