bias-variance tradeoff: modelin iki farklı başarısızlık modu
Her model iki tür hata üretir. Bias (sapma), modelin veriyi üretenin gerçek formundan sistematik olarak uzak olmasıdır — model çok basit, yanlış varsayım yapıyor. Variance (değişkenlik), modelin training verisine fazla uyarak gürültüyü öğrenmesi ve yeni veriye genelleme yapamamasıdır.
Toplam beklenen hata = Bias² + Variance + İndirgenemez Gürültü (ε²). Modeli daha karmaşık yapınca bias düşer ama variance artar. Daha basit yapınca tersi. Bias-variance tradeoff, bu karşıt hareketin yönetimidir.
| Durum | Bias | Variance | Görünüm | Bankacılık Örneği |
|---|---|---|---|---|
| Underfitting | Yüksek | Düşük | Train ve test hatası yüksek | Tek değişkenli PD modeli karmaşık portföyde |
| Sweet spot | Orta | Orta | Train ≈ Test, her ikisi kabul edilebilir | Lojistik regresyon, doğru feature seti |
| Overfitting | Düşük | Yüksek | Train hata çok düşük, test hata yüksek | Decision tree derin dallar, 2018 dönemi ezberler |
artifact — polinom kompleksite labı
Gerçek ilişki 2. derece bir paraboladır (gri kesikli). Mavi noktalar eğitim verisi. Turuncu noktalar hiç görmediğimiz test verisi. Derece arttıkça eğitim hatası düşer — ama test hatası ne yapıyor?
OOT validasyonu: bias-variance'ı bankacılıkta tespit etmek
Kredi modellerinde "test verisi" yoktur — gerçek anlam da budur. Ama OOT (Out-of-Time) validasyonu tam olarak bu rolü oynar: modelin eğitildiği dönemden farklı bir zaman diliminde performansını ölçer.
Train AUC − OOT AUC > 0.05: Variance yüksek — model eğitim döneminin gürültüsünü öğrenmiş, zamanla genelleme yapamıyor. Olası nedenler: çok fazla değişken, yeterli düzenleştirme yok, eğitim verisi çok kısa dönem.
Train AUC = OOT AUC ama her ikisi de düşük: Bias yüksek — model çok basit. Feature seti, model mimarisi veya örneklem zenginleştirilmeli.
tipik hata
İkinci yanılgı: regularizasyon olmadan karmaşık model kurmak. Lojistik regresyon sınırında çalışan IRB modellerinde bu daha az sorun, ama gradient boosting veya neural network tabanlı uygulamalarda L1/L2 düzenleştirmesi veya dropout olmadan overfitting kaçınılmazdır. Model dokümantasyonunda regularizasyon kararı açıklanmalıdır.