Katman VIII · Performans, Genelleme & Validasyon · 23 / 23

PSI, Popülasyon Stabilitesi & Drift

bu bölümün sorusu

Model kurulan portföy ile bugünkü portföy aynı mı? Eğer değilse, model hâlâ geçerli mi? PSI dağılım kaymasını ölçer — ama dağılım sabit olsa bile model çürümüş olabilir. İkisini ayırt etmek validasyonun kör noktasıdır.

Bu bölümün sonunda

PSI formülünü bin katkıları üzerinden okumak
Covariate, concept ve prior drift türlerini ayırmak
PSI’ı performans ve kalibrasyon sinyalleriyle birleştirmek

PSI: popülasyon stabilite indeksi

PSI, bir değişkenin (tipik olarak model skoru veya önemli bir özellik) dağılımının referans dönem ile cari dönem arasında ne kadar değiştiğini ölçer. Formülü information theory'den gelir:

PSI = Σ (Cari% − Ref%) × ln(Cari% / Ref%)

Her bin için iki dağılım arasındaki rölatif fark hesaplanır. Sonuç [0, ∞) aralığında — dağılımlar özdeşse PSI=0, uzaklaştıkça artar.

Stabil

< 0.10

Örnek heuristik: diğer sinyallerle izlemeye devam.

Dikkat

0.10 – 0.25

Neden araştır. Kalibrasyon ve rank-order kontrol et.

Önemli Kayma

> 0.25

Örnek heuristik: neden ve önemlilik incelemesini yükselt.

PSI bir dağılım alarmıdır: portföy değişti mi? Ama dağılım stabil olsa bile, o dağılım ile temerrüt arasındaki ilişki değişmiş olabilir. Bunu PSI göremez. Kalibrasyon izleme ve back-testing bu kör noktayı kapatır.

artifact — PSI hesaplayıcı & drift dedektörü

Referans dönem dağılımı (teal) sabittir. Kaydırıcılarla cari dönemi değiştirin — PSI göstergesi ve bin bazlı katkılar canlı güncelleniyor. Hangi PSI değerinde alarm verilmeli?

interactive — PSI hesaplayıcı

katman VIII · bölüm 23

Ortalama Kayması (Δμ) 0.0

Dağılım Genişlemesi (σ) 1.5

PSI

0.000

tüm binler toplamı

Karar

Stabil

PSI < 0.10

Max Bin Katkı

—

hangi bin en çok katkı yapıyor

Referans μ / σ

5.0 / 1.5

sabit referans

PSI hesabı 10 eşit bin kullanıyor (skor 0–10). Her binin katkısı: (Cari% − Ref%) × ln(Cari%/Ref%). Ortalama kayması arttıkça bazı binlerde Cari% çok artarken bazılarında yok olur — bu asimetri PSI'yı hızla büyütür. Genişleme (σ artışı) da PSI üretir çünkü kuyrukları şişirir.

üç drift türü: PSI neyi görebilir, neyi göremez?

PSI, sadece giriş dağılımı kaymalarını yakalar. Modelin öğrendiği ilişki değiştiğinde — veya default davranışı yapısal olarak evrildiğinde — PSI alarm vermez. Bu üç drift türünü ayrı mekanizmalarla izlemek gerekir.

Drift Türü	Ne Değişiyor?	PSI Tespit Eder Mi?	Tespit Yöntemi	Bankacılık Örneği
Popülasyon Drift (Covariate Shift)	P(X) değişiyor, P(Y\|X) sabit	Evet — PSI tespit eder	PSI > 0.25 alarm	COVID sonrası gelir dağılımı kayması; farklı segment ağırlığı
Konsept Drift (Concept Drift)	P(Y\|X) değişiyor, P(X) sabit	Hayır — PSI göremez	Kalibrasyon izleme, back-testing, AUC OOT	DTI=70% post-pandemide daha az riskli (destek programları değişti)
Label Drift (Prior Shift)	P(Y) değişiyor (default oranı)	Kısmen — skor kaymasından tahmin	Tahmin PD vs gerçek DR karşılaştırması	Faiz artışı sonrası portföy bazlı temerrüt oranı yükseldi

Pratikte drift tespiti çok boyutlu bir izleme gerektirir: PSI (giriş), kalibrasyon izleme (tahmin vs gerçek), ve AUC/KS trend (rank-order). Bu üçü birlikte model sağlığını erken uyarı sistemi olarak kapsar.

Yeniden kalibrasyon mu, yeniden kurulum mu? Rank-order stabilken kalibrasyon bozulması yeniden kalibrasyonu aday çözüm yapar. Rank-order bozulması özellik, veri ve model yapısını kapsayan daha geniş inceleme gerektirir. PSI ile rank-order birlikte bozulduğunda öncelik yükselir; aksiyon kök neden ve önemlilik analizinden sonra seçilir. Validatörün görevi: hangi senaryoda olunduğunu kanıtlamak.

düzenleyici dayanak

EBA yıllık validasyon kuruma özgü PSI seviyeleri OOT / walk-forward

İstikrar izleme bir kerelik değil, süreklidir: EBA/ECB çerçevesi IRB modellerinin en az yıllık validasyonunu ve düzenli izlenmesini ister. PSI için <0,10 / 0,10–0,25 / >0,25 bantları yaygın sektör heuristikleridir; binleme ve örneklem büyüklüğüne duyarlı oldukları için kurum bazında doğrulanmış erken uyarı seviyeleri olarak kullanılmalıdır. Banka verisinde zamanı yok saymak ölümcüldür; bu yüzden k-fold yerine zaman-bilinçli OOT/walk-forward tercih edilir ve sonuçlar model izleme çerçevesinde raporlanır.

EBA/ECB yıllık validasyon & izleme · PSI eşikleri · OOT/walk-forward · BDDK İDD

tipik hata

Yaygın yanılgı: "PSI < 0.10, model stabil." PSI stabil olsa bile konsept drift var olabilir. 2020-2022 arasında pek çok bankanın PD modeli stabil PSI gösterdi — ama hükümet destek programları temerrüt dinamiğini köklü değiştirdi. Back-testing olmadan "stabil" demek eksik bir tanıdır.

İkinci yanılgı: PSI'ı yalnızca model skoru üzerinde hesaplamak. Skor stabil görünse de bireysel özellikler kaymış olabilir — ve birbirini dengeleyerek skoru stabil tutuyordur. CSI (Characteristic Stability Index), aynı formülü her değişken için ayrı hesaplayarak bu gizli kaymaları yakalar. EBA rehberi her iki seviyeyi de dokümante etmeyi bekler.

Katman VIII tamamlandı. Overfitting, cross-validation, PSI ve drift — modelin sağlık izleme çerçevesi kuruldu. Katman IX'da tahmin gücünün sınırlarına bakıyoruz: ağaçlar, ensemble yöntemler ve interpretability.

Sıradaki bölüm · Katman IX · 24

Karar Ağaçları & Ensemble Sezgisi

→