Katman VII · Sınıflandırma, Skor & Eşik · 19 / 20

ROC, AUC & KS: Ayırt Edicilik Ölçümü

bu bölümün sorusu

Bir modelin "iyi" olduğunu söylemek için tek bir sayıya ihtiyacımız var. ROC eğrisi, tüm olası eşik değerlerindeki performansı tek bir resimde gösterir. AUC bu resmin özeti, KS ise en geniş açıklığıdır.

Bu bölümün sonunda

ROC, AUC ve KS’nin hangi soruyu yanıtladığını ayırmak
Skor yönü ve eşik hareketini görsel olarak izlemek
Ayrıştırmayı kalibrasyon ve operasyonel değerle birlikte okumak

ROC eğrisi: eşiğin hikâyesi

Önceki bölümde tek bir eşik değerinde (TPR, FPR) çiftini hesapladık. ROC (Receiver Operating Characteristic) eğrisi, tüm olası eşik değerleri için bu çiftlerin izlediği yolu gösterir. Her noktada: "Bu eşiği seçseydim, kaç default yakalardım (TPR) ve kaç iyi müşteriyi yanlış reddederdim (FPR)?"

AUC (Area Under the Curve), bu eğrinin altındaki alandan başka bir şey değildir. 0 ile 1 arasında bir sayı: 0.5 = rastgele sıralama, 1.0 = mükemmel ayrım. Kredi modellerinde pratikte anlamı: rastgele seçilen bir defaulter, rastgele seçilen bir iyi müşteriye kıyasla daha yüksek skor alıyor mu? AUC bu olasılığı ölçer.

KS (Kolmogorov-Smirnov), default ve non-default gruplarının kümülatif dağılımları arasındaki en büyük dikey mesafedir. "İki grubu birbirinden en iyi ayıran skordaki maksimum açıklık" olarak da okunabilir. Kredi scorecardlerde yaygın olarak kullanılır.

AUC, modelin tüm eşik değerleri boyunca ortalama ayırt ediciliğini özetler. KS, en iyi ayrım noktasındaki maksimum mesafeyi söyler. İkisi birbirini tamamlar ama aynı şeyi ölçmez.

artifact — ROC eğrisi & KS görselleştirici

Aynı model, iki farklı perspektif. ROC görünümünde: eşik kaydırıcısı mor noktayı ROC eğrisi boyunca hareket ettirir. KS görünümünde: iki kümülatif dağılım arasındaki maksimum açıklık vurgulanır. Eşik, KS maksimumunu zorunlu olarak kullanmak zorunda değildir.

interactive — ROC eğrisi & KS görselleştirici

katman VII · bölüm 19

Eşik (Skor) — ROC nok. hareket eder 5.5

AUC

—

P(score_bad > score_good)

Gini

—

2 × AUC − 1

—

maks. ayrışma

Eşik = 5.5

—

TPR / FPR

ROC eğrisi sol-üst köşeye ne kadar yakınsa model o kadar iyi. Diyagonal (y=x) çizgisi rastgele modelin referansıdır — AUC=0.5. Eğri diyagonalin altına düşerse (AUC < 0.5) model skorları ters çevirmek gerekir; kötüyü iyi olarak işaretliyor.

IRB modellerde ayırt edicilik beklentileri

Düzenleyici çerçevede mutlak bir AUC eşiği yoktur, ama bankacılık sektöründe yerleşik beklentiler mevcuttur. Bu değerler validatörün "model makul performans gösteriyor mu?" değerlendirmesinde başlangıç noktasıdır.

Model Türü	AUC Benchmark	KS Benchmark	Not
PD — Bireysel Kredi	> 0.70 yeterli, > 0.80 iyi	> 30% iyi	Davranışsal veri zengin
PD — KOBİ / Kurumsal	> 0.65 kabul, > 0.75 iyi	> 25%	Örneklem sınırlı, zor segment
Davranışsal Skorlama	> 0.75 beklenti	> 35%	Zengin işlem verisi avantaj
LGD Modeli	AUC daha az kriter	R² ve kalibrasyon önde	Regresyon modeli — farklı metrik

Beklenenden çok yüksek AUC bir inceleme sinyalidir. Güçlü gerçek sinyalden de look-ahead/label leakage veya seçim yanlılığından da doğabilir. Validatör veri zaman çizgisini, örneklem seçimini ve OOT güven aralığını kontrol etmelidir.

düzenleyici dayanak

EBA ayrıştırma gücü AUC / Gini / KS izleme eşiği

Bu metriklerin tamamı ayrıştırma gücünü (rank-ordering) ölçer — kalibrasyonu değil. EBA/ECB validasyonu ayrıştırmayı (AUC/Gini, KS) ve istikrarını periyodik olarak izlemeyi; geliştirme döneminden anlamlı düşüş olduğunda gerekçe aramayı bekler. Tek başına yüksek Gini iyi model demek değildir: kalibrasyon ayrı bir eksendir (sonraki modül) ve bağlamına göre beklenmedik derecede yüksek AUC, leakage ve seçim yanlılığı açısından inceleme sinyalidir. Bu yüzden ayrıştırma metrikleri kalibrasyon ve istikrar testleriyle birlikte raporlanır.

EBA/ECB ayrıştırma gücü validasyonu · AUC/Gini/KS · SR 26-2 · BDDK İDD

tipik hata

Yaygın yanılgı: "Train AUC'u yüksek, model iyi." Kritik karşılaştırma: train AUC vs OOT AUC. Farkın büyüklüğü belirsizlik bandı, dönem kompozisyonu ve önceden tanımlı toleransla birlikte değerlendirilmelidir; 0,03–0,05 yalnızca bazı kurumlarda kullanılan bir heuristiktir. Train AUC'u sunmak yeterli değildir — validasyonun sorusu her zaman OOT performansıdır.

İkinci yanılgı: AUC'u tek başına kullanmak. AUC sadece sıralama kalitesini ölçer — kalibrasyonu ölçmez. AUC=0.82 olan ama tüm PD'leri 3x sistematik olarak aşan model, hem "iyi ayrım yapıyor" hem de "yanlış fiyatlama üretiyor" durumundadır. AUC ile Hosmer-Lemeshow kalibrasyonu birlikte değerlendirilmeli.

Katman VII'nin son adımı: Ayırt edicilik (AUC/KS) ve kalibrasyon — model kalitesinin iki ayrı boyutu. Sıradaki bölümde kalibrasyonu öğreniyoruz: model doğru sıralıyor mu, doğru fiyatlıyor mu?

Sıradaki bölüm · Katman VII · 20

Kalibrasyon & Cut-off Optimizasyonu

→