PSI, Popülasyon Stabilitesi & Drift · Veri Bilimi Yol Haritasi

Katman VIII · Performans, Genelleme & Validasyon · 23 / 23

PSI, Popülasyon Stabilitesi & Drift

bu bölümün sorusu

Model kurulan portföy ile bugünkü portföy aynı mı? Eğer değilse, model hâlâ geçerli mi? PSI dağılım kaymasını ölçer — ama dağılım sabit olsa bile model çürümüş olabilir. İkisini ayırt etmek validasyonun kör noktasıdır.

PSI: popülasyon stabilite indeksi

PSI, bir değişkenin (tipik olarak model skoru veya önemli bir özellik) dağılımının referans dönem ile cari dönem arasında ne kadar değiştiğini ölçer. Formülü information theory'den gelir:

PSI = Σ (Cari% − Ref%) × ln(Cari% / Ref%)

Her bin için iki dağılım arasındaki rölatif fark hesaplanır. Sonuç [0, ∞) aralığında — dağılımlar özdeşse PSI=0, uzaklaştıkça artar.

Stabil

< 0.10

İzlemeye devam. Model geçerliliği sürmekte.

Dikkat

0.10 – 0.20

Neden araştır. Kalibrasyon ve rank-order kontrol et.

Önemli Kayma

> 0.20

Model incelemesi başlat. Olası yeniden kurulum gerekir.

PSI bir dağılım alarmıdır: portföy değişti mi? Ama dağılım stabil olsa bile, o dağılım ile temerrüt arasındaki ilişki değişmiş olabilir. Bunu PSI göremez. Kalibrasyon izleme ve back-testing bu kör noktayı kapatır.

artifact — PSI hesaplayıcı & drift dedektörü

Referans dönem dağılımı (teal) sabittir. Kaydırıcılarla cari dönemi değiştirin — PSI göstergesi ve bin bazlı katkılar canlı güncelleniyor. Hangi PSI değerinde alarm verilmeli?

interactive — PSI hesaplayıcı

katman VIII · bölüm 23

Ortalama Kayması (Δμ) 0.0

Dağılım Genişlemesi (σ) 1.5

PSI

0.000

tüm binler toplamı

Karar

Stabil

PSI < 0.10

Max Bin Katkı

—

hangi bin en çok katkı yapıyor

Referans μ / σ

5.0 / 1.5

sabit referans

PSI hesabı 10 eşit bin kullanıyor (skor 0–10). Her binin katkısı: (Cari% − Ref%) × ln(Cari%/Ref%). Ortalama kayması arttıkça bazı binlerde Cari% çok artarken bazılarında yok olur — bu asimetri PSI'yı hızla büyütür. Genişleme (σ artışı) da PSI üretir çünkü kuyrukları şişirir.

üç drift türü: PSI neyi görebilir, neyi göremez?

PSI, sadece giriş dağılımı kaymalarını yakalar. Modelin öğrendiği ilişki değiştiğinde — veya default davranışı yapısal olarak evrildiğinde — PSI alarm vermez. Bu üç drift türünü ayrı mekanizmalarla izlemek gerekir.

Drift Türü	Ne Değişiyor?	PSI Tespit Eder Mi?	Tespit Yöntemi	Bankacılık Örneği
Popülasyon Drift (Covariate Shift)	P(X) değişiyor, P(Y\|X) sabit	Evet — PSI tespit eder	PSI > 0.20 alarm	COVID sonrası gelir dağılımı kayması; farklı segment ağırlığı
Konsept Drift (Concept Drift)	P(Y\|X) değişiyor, P(X) sabit	Hayır — PSI göremez	Kalibrasyon izleme, back-testing, AUC OOT	DTI=70% post-pandemide daha az riskli (destek programları değişti)
Label Drift (Prior Shift)	P(Y) değişiyor (default oranı)	Kısmen — skor kaymasından tahmin	Tahmin PD vs gerçek DR karşılaştırması	Faiz artışı sonrası portföy bazlı temerrüt oranı yükseldi

Pratikte drift tespiti çok boyutlu bir izleme gerektirir: PSI (giriş), kalibrasyon izleme (tahmin vs gerçek), ve AUC/KS trend (rank-order). Bu üçü birlikte model sağlığını erken uyarı sistemi olarak kapsar.

Yeniden kalibrasyon mu, yeniden kurulum mu? Rank-order (AUC/KS) stabil + kalibrasyon bozuldu → yeniden kalibrasyon yeterli (intercept ayarı veya multiplier). Rank-order bozuldu → yeniden kurulum gerekir. PSI > 0.20 + rank-order bozulması → en ciddi senaryo, acil müdahale. Validatörün görevi: hangi senaryoda olunduğunu kanıtlamak.

tipik hata

Yaygın yanılgı: "PSI < 0.10, model stabil." PSI stabil olsa bile konsept drift var olabilir. 2020-2022 arasında pek çok bankanın PD modeli stabil PSI gösterdi — ama hükümet destek programları temerrüt dinamiğini köklü değiştirdi. Back-testing olmadan "stabil" demek eksik bir tanıdır.

İkinci yanılgı: PSI'ı yalnızca model skoru üzerinde hesaplamak. Skor stabil görünse de bireysel özellikler kaymış olabilir — ve birbirini dengeleyerek skoru stabil tutuyordur. CSI (Characteristic Stability Index), aynı formülü her değişken için ayrı hesaplayarak bu gizli kaymaları yakalar. EBA rehberi her iki seviyeyi de dokümante etmeyi bekler.

Katman VIII tamamlandı. Overfitting, cross-validation, PSI ve drift — modelin sağlık izleme çerçevesi kuruldu. Katman IX'da tahmin gücünün sınırlarına bakıyoruz: ağaçlar, ensemble yöntemler ve interpretability.

Sıradaki bölüm · Katman IX · 24

Karar Ağaçları & Ensemble Sezgisi

→