Banking Foundations · 17
Validasyonda Baktığımız Testler
Bu sayfanın sonunda metrik ile karar eşiğini, dağılım kayması ile model performansını ve replikasyon ile bağımsız yeniden geliştirmeyi ayırabilmelisin.
testler neyi garanti eder?
Validasyon testleri "model iyi mi?" sorusunu yanıtlamaya çalışır. Ama hiçbir test tek başına yeterli değildir. Her test modelin farklı bir boyutunu sorgular — biri discrimination'ı, diğeri kalibrasyonu, bir başkası stabilitesini.
Bu sayfadaki test kataloğu bir PD modeli için geçerlidir; LGD ve EAD modellerinde bazı testler farklılaşır. Genel prensip aynıdır: bağımsız, tekrarlanabilir, belgelenmiş.
Aşağıda her teste tıkla — ne sorar, ne arar, hangi metriği kullanır, red flag nedir ve validatörün o testte sorduğu sorular nelerdir.
backtesting simülatörü
Model PD tahmini ile gerçekleşen temerrüt oranını karşılaştırıyoruz. Sistematik sapmayı değiştir — kalibrasyon testinin nasıl tepki verdiğini gör.
Ort. Gerçekleşen DR
%2.00
Tahmin ve gerçekleşen yakın — kalibrasyon iyi. Bias çarpanını değiştir ve modelin sistematik sapmasını simüle et.
PSI — skor dağılımı kayıyor mu?
Population Stability Index (PSI), modelin geliştirme dönemindeki skor dağılımı ile canlı dönemdeki skor dağılımını karşılaştırır. Portföy bileşimi kayarsa PSI yükselir — bu modelin yeniden değerlendirilmesi gerektiğinin işareti.
PSI 0,08 — yaygın öğretim eşiğine göre düşük; neden ve performans ayrıca incelenmeli.
Yaygın örnek: PSI < 0,10 — düşük kayma sinyali.
0,10–0,25 — neden analizi ve yakın izleme.
>0,25 — politika tetikleyicisi olabilir; otomatik evrensel kural değildir.
validasyon checklist
Gerçek bir model validasyonunda tüm bu kontroller yapılır. Her satıra tıklayarak test sonucunu işaretle — özet otomatik güncelleniyor.
bu sayfadan götürülecekler
hiçbir test tek başına yeterli değil
Discrimination iyi ama kalibrasyon kötü, ya da kalibrasyon iyi ama stabil değil — her kombinasyon farklı bir risk. Testler birbirini tamamlar.
OoT backtesting gerçek sınav
Modelin görmediği dönem verisindeki performansı tek gerçekçi ölçüttür. IS sonucu iyi ama OoT kötüyse model overfit etmiştir.
PSI bir sinyaldir
Yeniden validasyon tetikleyicisi bankanın onaylı politikasında tanımlanır. PSI; performans, segment ve değişim nedeni ile birlikte okunur.
replikasyon kritik
Validatör aynı veriyle aynı sonuca ulaşabilmelidir. Replikasyon yapılamazsa ya veri ya kod paylaşılmamış demektir — bu başlı başına bir bulgudur.
Sıradaki adım: Model riski — yanlış model neden tehlikelidir, yönetişim eksikliği nasıl sorun yaratır, benchmark/challenger ne zaman yararlıdır?