Kalite, Test ve Operasyon
Tamamen Otonom Pull Request'ler Standardı Düşürmedi
Fully Autonomous Pull Requests Didn't Lower the Standard
Otonom Pull Request'i güvenli kılan şey insan onayı değil; riskli değişikliği ayıran sınıflandırma, deterministik kapılar ve revert'ü ölçen geri bildirim döngüsüdür.
Otonom PR standardı kendiliğinden düşürmez; standart insan onayından risk sınıflandırma, deterministik kapı ve revert ölçümüne taşınırsa kalite korunur.
Vercel ve OpenAI gibi şirketlerin yayımladığı veri tezi destekliyor; AIDev tabanlı akademik çalışmalar ise agent-only review'da düşük merge oranı ve gürültü buluyor.
Zihinsel model
İnsan onayı kapıdaki bekçidir, deterministik kontroller turnikedir: bekçi yorulur, turnike yorulmaz; bekçiyi yalnızca şüpheli yolcuya ayırırsın.
Neden
- İnsan onayı yük arttıkça alışkanlığa döner; yorumsuz ve dakikalar içinde verilen onay hatayı yakalamaz.
- Deterministik kontroller yorulmaz ve her PR'da aynı çalışır; kesin kuralları onlar taşıdığında insan yalnızca belirsiz kararlara kalır.
- Risk sınıflandırma yüksek etkili değişiklikleri insana yönlendirir; revert ölçümü de kapının bozulup bozulmadığını erken gösterir.
Kanıt
Vercel'in monorepo'sunda review'suz geçen 671 düşük riskli PR'ın hiçbiri revert edilmedi.
Vercel Blog, 2026AI agent PR'larına bakan tekrarlayan reviewer'larda onay oranı yükselirken inline yorumlar yüzde 22 azaldı.
Habituation at the Gate, arXiv 2026GitHub, Copilot'un onayının required approvals'a sayılmasını varsayılan kapalı tutuyor ve yeni commit gelince onayı düşürüyor.
GitHub Changelog, 2026Karşı görüş
Akademik veride yalnızca agent'ın review ettiği PR'lar belirgin biçimde daha az merge ediliyor ve review agent'larının çoğu gürültülü. Şirket raporları kendi telemetrisine dayanıyor, düşük riskli UI ağırlıklı repolarda toplanıyor ve küçük örneklemde sıfır revert risksizlik anlamına gelmiyor.
Kavramlar
Pratikte
- Auto-merge'i açmadan önce kendi baz revert ve rollback oranını çıkar, kill switch eşiklerini yaz.
- Auth, ödeme, veri bütünlüğü, güvenlik ve altyapı PR'larını kural olarak insan review'unda tut.
- Agent'ın yazdığı PR'ı agent onaylıyorsa test, static analysis ve Quality Gate'i zorunlu kapı yap.
Agent'lar Pull Request yazmayı ucuzlattıkça darboğaz review kuyruğuna kaydı ve ekipler şunu sormaya başladı: hiçbir insanın bakmadan merge ettiği bir PR standardı düşürür mü? 2026'da bu soru teoriden çıktı: Vercel en büyük monorepo'sunda PR'ların yüzde 58'ini insan reviewer olmadan merge ettiğini ve review'suz düşük riskli PR'larda revert görmediğini yayımladı, GitHub Eylül'de Copilot code review'un required approvals kuralına sayılan onay verebilmesini public preview olarak açtı. Akademik çalışmalar ise daha temkinli: yalnızca review agent'ının baktığı PR'lar daha az merge ediliyor ve insan reviewer'lar AI PR'larında zamanla daha az yorum yapıp daha çok onay veriyor. Buradan çıkan fikir şu: standart insan onayının kendisinde değil, hangi değişikliğin insana gideceğine karar veren kurallarda, deterministik kontrollerde ve merge sonrası ölçümde yaşar. Bunlar yoksa otonom PR standardı düşürür; varsa insan onayı da çoğu PR için bir ritüelden ibarettir.
Çıkarımlar
- Otonom PR'da standart insan onayından risk sınıflandırma, deterministik kapılar ve merge sonrası ölçüme taşınır; bu üçü yoksa standart gerçekten düşer.
- İnsan onayı tek başına güvence değil: yorumsuz ve dakikalar içinde verilen onaylar, AI PR'larında zamanla artan rubber-stamping verisiyle birlikte okunmalı.
- Agent'ın yazdığı PR'ı agent onaylıyorsa bağımsız okuma sayısı sıfırdır; kapıyı test, static analysis ve Quality Gate ile doldur.
- Kimlik doğrulama, ödeme, veri bütünlüğü, güvenlik ve altyapı değişiklikleri insana gitmeli; dosya yolu allowlist'i risk ölçümü yerine geçmez.
- Kill switch eşiklerini otomasyonu açmadan önce yaz: baz revert ve rollback oranının katı aşılırsa akış insan review'una döner.
- GitHub Eylül 2026'dan beri Copilot onayının required approvals'a sayılmasına izin veriyor; özelliği org genelinde değil, koşulları uygun repolarda tek tek aç.
Alt başlıklar
Ekim 2026 itibarıyla durum
Son on iki ayda otonom PR üç cepheden olgunlaştı. Platform tarafında GitHub, 1 Eylül 2026'da Copilot code review'a onay yetkisi verdi: her review artık bir approval assessment içeriyor, admin açarsa Copilot'un onayı required approvals kuralına sayılıyor. Ayar enterprise, organizasyon ve repo düzeyinde yönetiliyor, repo düzeyinde dosya yoluna göre sınırlanabiliyor ve onaydan sonra yeni commit gelirse onay düşüyor. Özellik public preview ve varsayılan olarak kapalı.
Pazar tarafında review araçları konsolide oluyor: Cursor Aralık 2025'te Graphite'ı, Sonar Mayıs 2026'da PR içinde review yapıp CI hatalarını düzelten Gitar'ı satın aldı; CodeRabbit gibi bağımsız oyuncular da aynı alanda. Veri tarafında ilk şirket raporları geldi: Vercel Nisan 2026'da en büyük monorepo'sunda PR'ların yüzde 58'inin insan reviewer olmadan merge edildiğini ve ortalama merge süresinin 29 saatten 10,9 saate indiğini yazdı. OpenAI'ın Şubat 2026 tarihli harness engineering yazısı, insanın hiç kod yazmadığı ve review'un çoğunun agent'lar arasında yapıldığı bir repoda yaklaşık 1.500 PR'ı anlatıyor. AIDev veri setine dayanan akademik çalışmalar ise tabloyu dengeliyor: yalnızca review agent'ının baktığı PR'lar insan review'lu olanlardan belirgin biçimde daha az merge ediliyor.
Eski standart: insan onayı gerçekte neyi ölçüyordu
Otonom PR tartışması çoğunlukla 'insan bakmazsa kalite düşer' varsayımıyla başlıyor. Bu varsayımı sınamak için önce insan review'unun pratikte ne yaptığına bakmak gerekiyor. Vercel'in kendi monorepo analizinde insan onaylarının yarısından fazlası tek bir yorum içermiyordu ve yüzde 18'i beş dakikadan kısa sürede veriliyordu. Bu tabloda onay bir kontrol değil, branch protection'ı geçmek için atılan bir imza.
Haziran 2026 tarihli 'Habituation at the Gate' çalışması aynı eğilimi AI PR'larında ölçüyor: yedi ayda 11.429 review yazan 400 tekrarlayan reviewer'da AI agent PR'larının onay oranı yüzde 30,1'den 36,8'e çıktı, inline yorum sayısı yüzde 22 düştü, bekleme süresi ise 3,5 kat uzadı. Yazarlar bunu güven kalibrasyonundan çok artan iş yükü altında alışmaya bağlıyor.
Anti-pattern burada beliriyor: PR hacmi agent'larla katlanırken her PR'a zorunlu bir insan onayı koymak, review'u hem yavaşlatıyor hem yüzeyselleştiriyor. Standardı korumak için önce hangi kontrolün gerçekten hata yakaladığını ölçmek gerekiyor.
Otonominin basamakları: yorum, onay, merge
'Otonom PR' tek bir şey değil, dört basamaklı bir merdiven. Birinci basamakta agent yalnızca yorum yazar, karar insandadır. İkincisinde agent bir approval assessment verir; GitHub'ın Eylül 2026 modelinde bu değerlendirme tek başına merge şartını karşılamıyor. Üçüncüsünde agent'ın onayı required approvals kuralına sayılır ve agent merge yolunun üzerine çıkar. Dördüncüsünde agent hem onaylar hem auto-merge'i tetikler; Gitar gibi araçlarda bu, doğal dilde yazılan onay kriterlerine ve bir blocking severity eşiğine bağlanıyor.
Her basamakta sorulacak soru bağımsızlık. Kodu yazan agent ile onaylayan agent aynı model, aynı context ve aynı kurallarla çalışıyorsa bu onay ikinci bir göz değil, aynı gözün ikinci kez bakması olur. GitHub'ın yapılandırma seviyeleri kapsam ve dosya yoluna göre çalışıyor, PR'ı kimin yazdığına göre ayrım yapmıyor. Pratik kural: agent'ın yazdığı PR'ı agent onaylıyorsa bağımsız okuma sayısını sıfır kabul et ve kapıyı deterministik kontrollerle doldur. Bir basamaktan diğerine geçişi de takvime değil, ölçülen revert ve rollback verisine bağla.
Hangi PR insana gitmeli: risk sınıflandırma
Otonom merge'i mümkün kılan çekirdek parça risk sınıflandırma. Vercel'in kurgusunda bir LLM her PR'ın diff'ini, başlığını ve açıklamasını okuyup iki etiketten birini veriyor. HIGH sınıfı kimlik doğrulama, ödeme, veri bütünlüğü, güvenlik ve altyapı değişikliklerini kapsıyor ve her zaman insan review'u istiyor. LOW sınıfı UI, stil, test, doküman, refactor ve kapalı Feature Flag arkasındaki kodu kapsıyor ve otomatik onaylanabiliyor. Model karar vermeden önce diff'ten birebir kanıt göstermek zorunda ve bilerek fazla işaretleyecek biçimde ayarlanmış.
LLM'in önünde deterministik kurallar duruyor: 100 ve üzeri dosyaya dokunan PR doğrudan HIGH sayılıyor, CODEOWNERS korumalı yollar her zaman insana gidiyor, ilk kez katkı veren hesapların PR'ları değerlendirilse bile otomatik onaylanmıyor. Buradan çıkan ders: risk dosya yoluyla tam ölçülmez. 'Stil' etiketli bir PR middleware'deki bir yönlendirmeyi değiştirebilir. Yol bazlı allowlist iyi bir başlangıçtır, ama sınıflandırıcı içeriği okumalı ve belirsiz durumda PR'ı insana düşürmeli. Sınıflandırıcının hatası da ölçülmeli: yanlış etiketlenen her PR eval setine yeni vaka olarak girer.
Standardı taşıyan katman: deterministik kapılar
İnsan onayı kalkınca boşluğu dolduran şey daha akıllı bir agent değil, tekrarlanabilir kontroller. Test suite, tip kontrolü, static analysis, güvenlik taraması, merge queue ve Quality Gate her PR'da aynı biçimde çalışır ve yorulmaz. OpenAI'ın harness engineering yazısındaki repo bunun uç bir örneği: özel linter'lar structured logging, isimlendirme ve dosya boyutu kurallarını uyguluyor ve hata mesajlarında agent'a nasıl düzelteceğini söylüyor; structural test'ler domain katmanları arasındaki bağımlılık yönünü kilitliyor; arka planda çalışan agent'lar kurallardan sapmaları bulup küçük refactor PR'ları açıyor.
Araç pazarı da bu ayrımı yansıtıyor. Kural tabanlı tarafta SonarQube, Semgrep ve CodeQL gibi motorlar; LLM tabanlı review tarafında Copilot code review, CodeRabbit, Cursor'ın Bugbot'u ve Graphite'ı, Sonar'ın Gitar'ı var. Katmanlı düşünmek işe yarıyor: deterministik katman kesin kuralları, LLM katmanı mantık ve niyet hatalarını, insan ise yalnızca yüksek riskli ve belirsiz kararları üstleniyor. Kapıda yalnızca LLM review varsa standardı bir olasılık dağılımına bağlamış olursunuz.
Standart düştü mü: nasıl ölçülür
'Standardı düşürmedi' iddiası ancak önceden tanımlanmış metriklerle savunulabilir. Temel metrik revert rate: merge edilen PR'ların ne kadarının geri alındığı. Yanına haftalık rollback sayısı, merge sonrası açılan bug, CHANGES_REQUESTED oranı ve agent bulgularının geliştirici tarafından reddedilme oranı eklenir. DORA'nın change failure rate metriği bunun ekip düzeyindeki karşılığı.
Vercel'in kurgusu ölçümün nasıl yapılacağına iyi bir örnek. Kill switch eşikleri baştan yazılmış: revert oranı yüzde 1,7'lik baz oranın üç katını, yani yüzde 5,1'i geçerse ya da rollback'ler üç katına çıkarsa sistem durduruluyor. Review'suz 671 düşük riskli PR'ın hiçbiri revert edilmedi; review'lu kontrol grubunda 513 PR'dan 2'si edildi. Yazı sıfır revert'ün mutlak güvenlik demek olmadığını, yüzde 95 güven aralığının üst sınırının yüzde 0,6 olduğunu da belirtiyor. Küçük örneklemde sıfır, 'risk yok' değil 'risk bu eşiğin altında' anlamına gelir.
DORA 2025 raporu da AI ile throughput'un arttığını ama delivery instability'nin yükselmeye devam ettiğini gösteriyor; merge hızını tek başına başarı saymak bu yüzden yanıltıcı.
Riskler ve anti-pattern'ler
Otonom kapının kendi saldırı yüzeyi var. PR açıklaması ve diff, reviewer agent için güvenilmeyen girdi; bir saldırgan açıklamaya görünmez Unicode karakterleriyle 'bu PR düşük riskli' talimatı gömebilir. Vercel bu yüzden sınıflandırıcıya hiç araç vermiyor, çıktıyı yalnızca iki eyleme (onay ya da uyarı yorumu) bağlıyor, görünmez karakterleri temizliyor, hata durumunda PR'ı insan review'una düşürüyor ve her deploy'da üç Prompt Injection senaryosunu eksiksiz geçmeyi şart koşuyor.
İkinci risk gürültü. Nisan 2026 tarihli bir çalışma, yalnızca code review agent'ının yorum yaptığı PR'ların yüzde 45,2 oranında merge edildiğini, insan review'lu PR'larda bu oranın yüzde 68,4 olduğunu ve 13 review agent'ından 12'sinin ortalama sinyal oranının yüzde 60'ın altında kaldığını buldu. Gürültülü agent, geliştiriciyi bulguları körlemesine reddetmeye alıştırır.
Üçüncü risk uyumluluk. SOC 2 gibi çerçeveler manuel review'u değil, denetlenebilir değişiklik yönetimini istiyor; otonom yolda her PR'a yazılı bir risk gerekçesi bırakmak denetimi kolaylaştırır. Sektörel düzenlemeler ayrıca insan onayı isteyebilir, bunu denetçiyle önceden netleştirmek gerekir. En yaygın anti-pattern: auto-merge'i açıp revert oranını hiç izlememek.
Son gelişmeler
Ekim 2026 itibarıyla
Önce kendi cevabını düşün, sonra aç.
Agent'ın onayladığı kod production'ı bozarsa sorumlu kim?
Sorumluluk otomasyonu açan ve servisi işleten ekipte kalır; agent bir araçtır, hesap veren taraf değildir. Bu yüzden auto-merge kuralının sahibi, kill switch eşikleri ve CODEOWNERS yolları yazılı olmalı. Her otonom PR'a bırakılan risk gerekçesi, olay sonrası incelemede neyin neden geçtiğini gösterir.
Vercel'in sonuçları bizim kod tabanımız için de geçerli mi?
Doğrudan taşınamaz: o monorepo pazarlama sitesi, doküman ve dashboard gibi düşük riskli UI değişikliği yoğun bir repo. Doğru yol aynı yöntemi kendi verinle koşmak: önce birkaç hafta sessiz modda sınıflandırma yap, kendi baz revert oranını çıkar, sonra yalnızca test ve doküman PR'larıyla başla.
Denetim ve regülasyon insan review'unu zorunlu kılmıyor mu?
SOC 2 gibi çerçeveler denetlenebilir değişiklik yönetimi istiyor, her satıra insan bakmasını değil; yazılı risk gerekçesi ve onay kaydı bu ihtiyacı çoğu zaman manuel onaydan daha iyi karşılıyor. Bankacılık gibi sektörlerde düzenleyici ayrıca insan onayı isteyebilir, bunu denetçiyle önceden netleştirip yüksek riskli yolları insan onayında tutmak gerekir.
Review agent'ları gürültülüyse neden onlara güvenelim?
Güvenmeyelim, ölçelim. Bulguların kabul ve reddedilme oranını takip et; sinyal oranı düşük bir agent'ı merge yoluna koyma. Kesin kuralları deterministik araçlara bırak, LLM review'u mantık ve niyet hatalarına odakla.
Küçük bir ekip otonom merge'e nereden başlamalı?
Önce kapıyı güçlendir: test, tip kontrolü ve static analysis her PR'da zorunlu olsun. Sonra yalnızca doküman, test ve kapalı Feature Flag arkasındaki değişiklikler için auto-merge aç, revert oranını haftalık izle. Kimlik doğrulama, ödeme ve migration PR'ları her zaman insanda kalsın.
Notun kaynakları
- 58% of PRs in our largest monorepo merge without human review (Vercel, Nisan 2026)
- Copilot code review can now approve pull requests (GitHub Changelog, 1 Eylül 2026)
- GitHub Puts Copilot in the Approval Seat for Pull Requests (DevOps.com, Eylül 2026)
- Welcoming Gitar to Sonar (Sonar Blog, Mayıs 2026)
- From Industry Claims to Empirical Reality: An Empirical Study of Code Review Agents in Pull Requests (arXiv 2604.03196)
- Cursor acquires AI code review startup Graphite (SiliconANGLE, Aralık 2025)
- DORA 2025 State of AI-assisted Software Development (InfoQ özeti)
Sunum stili
12 slayt. Tıklarsan sunum o slayttan başlar.
Slayt notları
Her PR'a insan onayı kuralını kalite standardı sayıyoruz. Agent'lar PR yazarken bu kuralın ne taşıdığına yeniden bakmak gerekiyor.
Vercel'in analizinde insan onaylarının yarısından fazlası tek yorum içermiyordu, yüzde 18'i beş dakikadan kısa sürede verilmişti.
Vercel monorepo verisi, Nisan 2026: PR'ların yüzde 58'i insan reviewer olmadan merge ediliyor. Hız tek başına başarı değil; asıl soru revert oranının ne olduğu.
Sağ taraf insanı kaldırmıyor; insanı yüksek riskli ve belirsiz kararlara taşıyor.
GitHub Eylül 2026'da üçüncü basamağı public preview olarak açtı. Her basamağa geçişi takvime değil, revert verisine bağlayın.
Dosya yolu tek başına risk ölçüsü değil. 'Stil' etiketli bir PR middleware'deki yönlendirmeyi değiştirebilir; sınıflandırıcı içeriği okumalı.
Hata durumunda hat insan review'una düşer. Güvenilmeyen hesapların PR'ları değerlendirilir ama hiç otomatik onaylanmaz.
Eşikleri otomasyonu açmadan yazın. Vercel'in kuralı: revert oranı baz oranın üç katını geçerse sistem durur.
Aynı dönemde akademik çalışmalar yalnızca agent review'lu PR'ların daha az merge edildiğini gösterdi. Şirket verisi ve akademik veri henüz aynı yönü göstermiyor.
Vercel önce yaklaşık üç hafta sessiz modda çalıştı. Her PR'daki 'yanlış mı?' bağlantısı, kapının kendi eval setini besliyor.
Bu durumda kapıyı deterministik kontroller taşımalı. GitHub'ın onay ayarları PR'ı kimin yazdığına göre ayrım yapmıyor; bu kontrol sizde.
Soru olarak bırak: insan onayı yarın kalksa, sizin kapınızda kaliteyi hangi kontrol taşırdı?