Yazılım Notları

Mimari ve Dağıtık Sistemler

Büyük Ölçekte Kendini Onaran GPU Filosu: Tespit, Drain, Remediation ve Otomasyonun Frenleri

Self-Healing a GPU Fleet at Scale

Binlerce GPU'da arıza istisna değil sabit bir orandır; kazanan ekip arızayı önleyen değil, tespit-boşalt-onar döngüsünü otomatikleştirip otomasyonu da frenleyen ekiptir.

Kabul görüyor

Büyük GPU filosunda arıza önlenecek bir olay değil sabit bir orandır; güvenilirlik, otomatik tespit-boşalt-onar döngüsünün hızından ve otomasyonun frenlerinden gelir.

Hiperölçekleyiciler ve GPU bulutları bu modeli ürünleştirdi; tartışma otomasyonun ne kadar özerk olacağında ve frenlerin nerede duracağında.

Zihinsel model

GPU filosu bir hastane acil servisi gibidir: triyaj hızlı ve otomatik, ama aynı anda kırk hasta gelirse önce salgının kaynağı aranır.

Neden

  • İş büyüdükçe kapsadığı donanım artar, ortalama arızasız süre saatlere iner; elle müdahale bu tempoya yetişemez.
  • Arızalar en büyük ve en uzun işleri vurduğu için az sayıda arıza, çalışma süresinin orantısız bir kısmını tüketir.
  • Ortak nedenli arızalarda tek tek node onarmak yedek havuzu tüketir; korelasyon freni olmayan otomasyon kesintiyi büyütür.

Kanıt

1.024 GPU'luk işlerin ortalama arızasız çalışma süresi yaklaşık 7,9 saat ölçüldü.

Meta, Revisiting Reliability in Large-Scale ML Research Clusters (2024)

Llama 3 eğitiminde yüzlerce kesintiye rağmen ciddi elle müdahale yalnızca üç kez gerekti; gerisini otomasyon karşıladı.

DCD, Llama 3 eğitim raporu (2024)

Kısa sürede çok sayıda node arızalanırsa otomasyonu durdurup insanı çağıran circuit breaker, yedek havuzun ortak nedenli arızada tükenmesini önlemek için canlıya alındı.

Crusoe AutoClusters (2026)

Karşı görüş

Otomasyon yanlış sinyalle sağlam node'ları da devreden çıkarabilir ve Diskerase gibi vakalarda arızadan büyük hasar üretir. Küçük filolarda bu döngüyü kurmanın maliyeti, elle müdahalenin maliyetini aşabilir.

Kavramlar

Cordon / DrainNode'a yeni iş vermeyi durdurmak ve mevcut işleri düzenli çıkarmak.
XidNVIDIA sürücüsünün GPU hata kodu; arıza ailesini ve aksiyonu belirler.
Lemon NodeTekrar tekrar arızalanan node; ayıklanmazsa büyük işleri orantısız düşürür.
GoodputSatın alınan GPU süresinin gerçekten ilerleme üreten kısmı.
Circuit BreakerBeklenmedik arıza dalgasında otomasyonu durdurup insana devreden fren.

Pratikte

  • Aynı anda onarımda olabilecek node sayısına üst sınır koyun; aşılırsa otomasyonu durdurun.
  • Node'u burn-in testinden geçmeden havuza döndürmeyin; tekrar arızalananı RMA'ya gönderin.
  • Boş ya da beklenmedik büyüklükteki hedef listesini otomasyonda doğrudan reddedin.
Önce bunu okuRevisiting Reliability in Large-Scale Machine Learning Research Clusters (Meta, 2024)Arızanın ölçekle nasıl orana dönüştüğünü gerçek veriyle gösteriyor.