Katman III · Olasılık & Belirsizlik · 08 / 09
Koşullu Olasılık & Bayes Refleksi
bu bölümün sorusu
P(ödeme gecikmesi | temerrüt) = %72 — ama P(temerrüt | ödeme gecikmesi) ne kadardır? Bu iki sayı bambaşkadır. Ve aralarındaki farkı görmemek, model validasyonunun en sık düşülen tuzağıdır.

koşullu olasılık: P(A|B) ≠ P(B|A)

Koşullu olasılık P(A|B), "B gerçekleşti bilgisi verilmişken A'nın olasılığı" demektir. Bu, P(B|A)'dan — "A gerçekleşti bilgisi verilmişken B'nin olasılığı" — temel olarak farklıdır.

Kredi riskinde bu ayrım hayatidir. Temerrüde düşmüş müşterilerin büyük çoğunluğunun öncesinde ödeme gecikmesi yaşadığı bilinebilir — P(gecikme | temerrüt) yüksektir. Ama bu, ödeme gecikmesi yaşayan her müşterinin temerrüde gideceği anlamına gelmez — P(temerrüt | gecikme) çok daha düşük olabilir. İki sayı birbirinin tersi değildir; aralarında taban oranı yatar.

Bayes Teoremi
P(temerrüt | flag) = P(flag | temerrüt) × P(temerrüt) / P(flag)

Formülü kelimelerle: "Alarmlananların gerçekten temerrütlü olma ihtimali = modelin temerrütlüyü yakalama oranı × temerrüt taban oranı / toplam alarm oranı." Taban oranı (P(temerrüt)) küçükse, paydaki P(flag) baskın gelir ve P(temerrüt | flag) düşük çıkar — model ne kadar iyi olursa olsun.

Modelin duyarlılığı yüksek olabilir. Ama olay nadirse, alarmların çoğu yanlış olacaktır. Bu istatistiksel bir zorunluluktur — modelin başarısızlığı değil.

artifact — conditional probability console

10.000 müşterili bir portföyde temerrüt oranını, model hassasiyetini ve yanlış alarm oranını ayarlayın. Her 10.000 müşteriden kaçı flaglanıyor, bu flaglananların ne kadarı gerçekten temerrüt gösteriyor?

Üst çubuk: flaglanan müşterilerin içindeki gerçek / yanlış alarm dağılımı. Alt çubuk: flaglanmayanların içindeki kaçırılan / temiz dağılımı.

interactive — conditional probability console
katman III · bölüm 08
Temerrüt Taban Oranı %2.0
Model Hassasiyeti (Recall) %85
Yanlış Alarm Oranı (FPR) %5.0
Gerçek Temerrüt Gerçek İyi Toplam
Model Flagladı
Model Temiz
Toplam 10.000
P(temerrüt | flag) — PPV
Toplam flag (10k'da)
Kaçırılan temerrüt
10k müşteride FN
Bu tablonun "confusion matrix" ile farkı nedir? Confusion matrix modelin performansını ölçer; bu tablo ise operasyonel gerçeği gösterir. Model aynı kalsa bile taban oranı değişince PPV dramatik değişir. Validasyon sadece confusion matrix'e bakmak değildir — portföyün taban oranına göre PPV hesaplamak da validasyon sürecinin parçasıdır.

taban oranı yanılsaması: neden nadir olayları bulmak zordur

Modelinizin hassasiyeti %99, yanlış alarm oranı %1 olsun. Harika görünüyor. Ama işlediğiniz olayların taban oranı %0.1 ise — yani 1000 müşteriden 1'i — flaglananların yalnızca ~%9'u gerçek temerrüt olacaktır. Geri kalan %91 yanlış alarmdır.

Bu bir "model hatası" değil; olasılığın matematiksel zorunluluğudur. Nadir olay ne kadar nadirse, gerçek pozitif oranını yüksek tutmak için o kadar spesifik (düşük yanlış alarm oranı) olmak gerekir. Bu gerilim; fraud tespiti, kara para aklamayla mücadele (AML), erken temerrüt uyarısı gibi her nadir olay modelinin temel problemidir.

Validasyon perspektifi: AML modelinin "iyi çalışıyor" ifadesi ne anlama geliyor? Sensitivity yüksek mi? FPR düşük mü? Yoksa PPV yüksek mi? Bu üç şey aynı anda mükemmel olamaz — biri iyileşirken diğeri bozulur. Validasyon, kullanım amacına göre hangi metriğin öncelikli tutulduğunu sorgulamak demektir.

tipik hata

Yaygın yanılgı: "Modelimiz temerrütlerin %85'ini yakalıyor — bu çok iyi bir model." Evet, sensitivity bakımından. Ama PPV nedir? 1000 alarmdan kaçı gerçek? Taban oranı %2 ve FPR %5 ise PPV = %26. Her 4 alarmda 3'ü yanlış. Operasyonel olarak bu gerçekten "iyi" mi?

İkinci yanılgı daha derin: P(A|B) ile P(B|A)'yı karıştırmak. "Temerrüde düşenlerin %90'ı önceden gecikme yaşadı" → "Bu müşteri gecikme yaşadı, yani %90 ihtimalle temerrüde düşer" demek değildir. Aralarında portföyün taban oranı var. Bu refleks oturmadan validasyon yapılamaz.

Sıradaki adım: Olasılığı koşullu okumayı öğrendik. Şimdi birden fazla bağımsız olmayan olayı birleştirdiğimizde ne olur? Beklenen değer, risk ve bileşik olaylar.
Sıradaki bölüm · Katman III · 09
Beklenen Değer, Risk & Bileşik Olaylar