Model İzleme & Erken Uyarı Sistemi · Veri Bilimi Yol Haritasi

Katman XI · Zaman, Drift & Monitoring · 31 / 32

Model İzleme & Erken Uyarı Sistemi

bu bölümün sorusu

Model deploy edildi. Nasıl anlarız ki hâlâ çalışıyor? Ve "çalışıyor" derken neyi kastediyoruz — rank order mu, kalibrasyon mu, PSI mı? Bunların hepsi farklı sorunları işaret eder ve birbirini tamamlar.

model izleme: üç bağımsız sinyal

Model izleme tek bir metriğe indirgenemez. Her metrik farklı bir bozulma türünü yakalar — ve biri normal görünürken diğeri alarm verebilir.

Diskriminasyon (AUC/KS): Model iyi müşteriyi kötüden hâlâ ayırt edebiliyor mu? Rank order bozulması, modelin temel öngörü gücünün çöktüğünü gösterir. Genellikle konsept drift ile bağlantılıdır — Y|X ilişkisi değişmiştir.

Popülasyon Stabilitesi (PSI): Giriş verisi değişti mi? PSI > 0.20 olduğunda model, eğitildiğinden farklı bir portföyü puanlıyor demektir. Bu, dağılım kayması (covariate shift) sinyalidir. AUC stabil görünse bile PSI alarm verebilir.

Kalibrasyon (tahmin/gerçek oranı): Modelin verdiği PD tahminleri gerçekleşen temerrüt oranıyla örtüşüyor mu? Kalibrasyon oranı = ortalama gerçek DR / ortalama tahmin PD. 1.0'dan sapma, modelin sistematik olarak iyimser veya kötümser olduğunu gösterir.

Bu üç sinyal birbirini tamamlar: PSI değişmeden AUC düşüyorsa konsept drift. PSI yüksekken AUC stabilse portföy değişti ama ilişki korunuyor. Üçü birlikte görülmeden "model çalışıyor" veya "model çalışmıyor" denemez.

artifact — model izleme dashboard

24 aylık simüle monitoring verisi. Üç senaryo: Stabil (hiç alarm yok), Yavaş Bozulma (PSI ve kalibrasyon kademeli sapıyor), Ani Şok (12. ayda portföy değişimi — tüm metrikler aynı anda alarm veriyor). Her panelde eşik bölgeleri ve alarm noktaları görünüyor.

interactive — 24 aylık model izleme dashboard

katman XI · bölüm 31

Senaryo:

Son Ay AUC

—

rank-order gücü

Son Ay PSI

—

popülasyon stabilitesi

Kalibrasyon

—

gerçek/tahmin oranı

Alarm Durumu

—

"Ani Şok" senaryosunda ay 12'deki alarm üç metriği eş zamanlı tetikler. Bu, operasyonel risk yönetimi açısından en kritik senaryo: ekonomik şok veya büyük politika değişikliği. Model yeniden kalibrasyonu veya kurulumu için zaman penceresi dardır.

eşik tablosu: sarı ve kırmızı alarm kriterleri

Metrik	Güvenli (Yeşil)	Dikkat (Sarı ⚑)	Alarm (Kırmızı ✗)	Aksiyon
AUC (Gini)	> 0.76	0.72 – 0.76	< 0.72	Sarı: izleme sıklığı artır. Kırmızı: model incelemesi.
PSI (Skor)	< 0.10	0.10 – 0.20	> 0.20	Sarı: neden araştır. Kırmızı: yeniden kalibrasyon / inceleme.
Kalibrasyon oranı	0.85 – 1.20	0.75–0.85 / 1.20–1.40	< 0.75 veya > 1.40	Sarı: PIT ayarı değerlendirmesi. Kırmızı: acil kalibrasyon.
CSI (özellik başına)	< 0.10	0.10 – 0.25	> 0.25	Hangi değişkenin saptığını tespit et, veri kalitesi kontrol.

EBA GL/2023/11 bağlantısı: EBA kılavuzu, IRB modellerinde düzenli backtest ve izleme zorunlu kılmaktadır. Alarm seviyelerine ulaşıldığında dokümante edilmiş eskalasyon protokolü ve Komite bildirimi beklenir. Eşik değerleri kurumdan kuruma farklılaşabilir — kritik olan tutarlı ve önceden tanımlanmış olmasıdır.

tipik hata

Yaygın yanılgı: "Aylık AUC hesaplıyoruz, izleme yapıyoruz." Tek metrik izleme kör nokta yaratır. PSI stabil kalırken kalibrasyon bozulabilir (konsept drift). AUC stabil kalırken PSI yükselebilir (covariate shift). Üç metriği bağımsız ve eş zamanlı izlemek — ve aralarındaki örüntüyü yorumlamak — izlemenin değerini belirler.

İkinci yanılgı: izleme raporunu okumadan onaylamak. Monitoring, MRM ekibinin rutin onay süreci değildir — aktif yorum gerektirir. "Bu ay PSI 0.12 — geçen ay 0.09'du, neden arttı?" sorusu sorulmazsa izleme dokümantasyon haline gelir, erken uyarı olmaz.

Katman XI'in son bölümü: stres testi — normal koşullar dışında modelin ne yaptığını anlamak.

Sıradaki bölüm · Katman XI · 32

Stres Testi & Senaryo Analizi

→