ROC, AUC & KS · Veri Bilimi Yol Haritasi

Katman VII · Sınıflandırma, Skor & Eşik · 19 / 20

ROC, AUC & KS: Ayırt Edicilik Ölçümü

bu bölümün sorusu

Bir modelin "iyi" olduğunu söylemek için tek bir sayıya ihtiyacımız var. ROC eğrisi, tüm olası eşik değerlerindeki performansı tek bir resimde gösterir. AUC bu resmin özeti, KS ise en geniş açıklığıdır.

ROC eğrisi: eşiğin hikâyesi

Önceki bölümde tek bir eşik değerinde (TPR, FPR) çiftini hesapladık. ROC (Receiver Operating Characteristic) eğrisi, tüm olası eşik değerleri için bu çiftlerin izlediği yolu gösterir. Her noktada: "Bu eşiği seçseydim, kaç default yakalardım (TPR) ve kaç iyi müşteriyi yanlış reddederdim (FPR)?"

AUC (Area Under the Curve), bu eğrinin altındaki alandan başka bir şey değildir. 0 ile 1 arasında bir sayı: 0.5 = rastgele sıralama, 1.0 = mükemmel ayrım. Kredi modellerinde pratikte anlamı: rastgele seçilen bir defaulter, rastgele seçilen bir iyi müşteriye kıyasla daha yüksek skor alıyor mu? AUC bu olasılığı ölçer.

KS (Kolmogorov-Smirnov), default ve non-default gruplarının kümülatif dağılımları arasındaki en büyük dikey mesafedir. "İki grubu birbirinden en iyi ayıran skordaki maksimum açıklık" olarak da okunabilir. Kredi scorecardlerde yaygın olarak kullanılır.

AUC, modelin tüm eşik değerleri boyunca ortalama ayırt ediciliğini özetler. KS, en iyi ayrım noktasındaki maksimum mesafeyi söyler. İkisi birbirini tamamlar ama aynı şeyi ölçmez.

artifact — ROC eğrisi & KS görselleştirici

Aynı model, iki farklı perspektif. ROC görünümünde: eşik kaydırıcısı mor noktayı ROC eğrisi boyunca hareket ettirir. KS görünümünde: iki kümülatif dağılım arasındaki maksimum açıklık vurgulanır. Eşik, KS maksimumunu zorunlu olarak kullanmak zorunda değildir.

interactive — ROC eğrisi & KS görselleştirici

katman VII · bölüm 19

Eşik (Skor) — ROC nok. hareket eder 5.5

AUC

—

P(score_bad > score_good)

Gini

—

2 × AUC − 1

—

maks. ayrışma

Eşik = 5.5

—

TPR / FPR

ROC eğrisi sol-üst köşeye ne kadar yakınsa model o kadar iyi. Diyagonal (y=x) çizgisi rastgele modelin referansıdır — AUC=0.5. Eğri diyagonalin altına düşerse (AUC < 0.5) model skorları ters çevirmek gerekir; kötüyü iyi olarak işaretliyor.

IRB modellerde ayırt edicilik beklentileri

Düzenleyici çerçevede mutlak bir AUC eşiği yoktur, ama bankacılık sektöründe yerleşik beklentiler mevcuttur. Bu değerler validatörün "model makul performans gösteriyor mu?" değerlendirmesinde başlangıç noktasıdır.

Model Türü	AUC Benchmark	KS Benchmark	Not
PD — Bireysel Kredi	> 0.70 yeterli, > 0.80 iyi	> 30% iyi	Davranışsal veri zengin
PD — KOBİ / Kurumsal	> 0.65 kabul, > 0.75 iyi	> 25%	Örneklem sınırlı, zor segment
Davranışsal Skorlama	> 0.75 beklenti	> 35%	Zengin işlem verisi avantaj
LGD Modeli	AUC daha az kriter	R² ve kalibrasyon önde	Regresyon modeli — farklı metrik

AUC > 0.95 gördüğünüzde ilk tepki şüphe olmalıdır. Bu değer genellikle look-ahead bias, label leakage veya veri sızıntısının işaretidir. İyi bir PD modeli "çok iyi" görünmez — temerrüdün doğasında indirgenemez gürültü vardır. Validatörün görevi bu işareti yakalamaktır.

tipik hata

Yaygın yanılgı: "Train AUC'u yüksek, model iyi." Kritik karşılaştırma: train AUC vs OOT AUC. İki değer arasındaki fark 0.03-0.05'ten fazlaysa overfitting sinyali var demektir. Train AUC'u sunmak yeterli değildir — validasyonun sorusu her zaman OOT performansıdır.

İkinci yanılgı: AUC'u tek başına kullanmak. AUC sadece sıralama kalitesini ölçer — kalibrasyonu ölçmez. AUC=0.82 olan ama tüm PD'leri 3x sistematik olarak aşan model, hem "iyi ayrım yapıyor" hem de "yanlış fiyatlama üretiyor" durumundadır. AUC ile Hosmer-Lemeshow kalibrasyonu birlikte değerlendirilmeli.

Katman VII'nin son adımı: Ayırt edicilik (AUC/KS) ve kalibrasyon — model kalitesinin iki ayrı boyutu. Sıradaki bölümde kalibrasyonu öğreniyoruz: model doğru sıralıyor mu, doğru fiyatlıyor mu?

Sıradaki bölüm · Katman VII · 20

Kalibrasyon & Cut-off Optimizasyonu

→