Modül 36 — Ayrımcı Güç: ROC, AUC, Gini, KS, gAUC
temel fikir
Ayrımcı güç, modelin iyi ve kötü gözlemleri ne kadar doğru sıraladığını ölçer; model değerinin yalnızca bir boyutudur. ROC/AUC, Gini ve KS farklı özetler sunar. Kalibrasyon, istikrar, veri kalitesi ve kullanım amacı ayrıca değerlendirilir.
AUC sıralama ölçüsüdür; sınıf dengesizliği altında karar eşiğinin pratik maliyetini tek başına anlatmaz. Kesinlik–duyarlılık dengesi, temerrüt taban oranı ve yanlış karar maliyetleri ayrıca ele alınmalıdır.
Sol: iyi/kötü skor dağılımları + eşik (kesik çizgi). Sağ: ROC eğrisi + çalışma noktası. Ayrım arttıkça dağılımlar uzaklaşır, ROC sol-üst köşeye yaklaşır.
metriklerin birbiriyle ilişkisi
Eşit varyanslı iki normal skor dağılımında d=Δμ/σ için AUC=Φ(d/√2) ve KS=2Φ(d/2)−1’dir. Genel veride bu kapalı ilişki geçmez. İkili hedefte ve doğru skor yönünde Gini=2·AUC−1’dir. Hangi metriklerin zorunlu olduğu kurum ve çerçeveye göre kontrol edilir.
validasyon pratiğinde — denetçi neye bakar
Bir PD ya da derecelendirme modelini denetlerken ayrımcı güç raporun ilk sayfalarına girer; ama tek bir sayı asla yeterli değildir. Denetçinin sorduğu zincir şudur: ölçü doğru hesaplanmış mı, eşiği geçiyor mu, zaman içinde stabil mi, ve geliştirme ile validasyon örnekleminde tutarlı mı?
Hesaplama doğruluğu: Gini'nin geliştirici tarafından nasıl tanımlandığını kontrol et — bağlı skorların (ties) ele alınışı, ağırlıklandırma ve örneklem (in-sample / out-of-time) farkları sonucu %2-3 oynatabilir. Mann-Whitney U istatistiğinin AUC ile özdeşliği (AUC = U/(n₁·n₀)) bağımsız bir çapraz kontrol verir.
Eşik: Gini için 0,40 veya benzeri değerler bağlayıcı evrensel sınır değildir. Portföy, düşük temerrüt yapısı, maliyet ve örneklem belirsizliğiyle birlikte benchmark belirlenir. Çok yüksek değerlerde hedef sızıntısı ve zaman yolculuğu şüphesi ayrıca kontrol edilir.
Zaman içi stabilite (PSI): PSI bin seçimine ve sıfır hücre düzeltmesine duyarlıdır; 0,10/0,25 eşikleri geleneksel sezgilerdir, düzenleyici yasa değildir. Değişken/segment bazlı kayma, belirsizlik ve performans etkisiyle birlikte okunmalıdır.
PD/LGD/EAD'ye bağlanışı: Bu modülün araçları doğrudan PD ve davranışsal skor modellerine uygulanır. LGD ve EAD/CCF süreklilik gösteren (binary olmayan) hedeflerdir; orada ayrımcı güç AUC yerine sıralama korelasyonları (Spearman) ve tahmin-gözlem grafikleriyle ölçülür — ama mantık aynıdır: model gerçekten ayırt ediyor mu, yoksa sadece ortalamayı mı yakalıyor? Kalibrasyon tarafı bir sonraki modülün konusu.
Yöntemler ve birincil referanslar: Sözlük ve kaynaklar.