Overfitting, Genelleme & Bias-Variance
Bu bölümün sonunda
- Bias–variance ayrışmasını model karmaşıklığıyla ilişkilendirmek
- Train ve görülmemiş dönem performansını ayırmak
- Genelleme hatasını belirsizliğiyle raporlamak
bias-variance tradeoff: modelin iki farklı başarısızlık modu
Her model iki tür hata üretir. Bias (sapma), modelin veriyi üretenin gerçek formundan sistematik olarak uzak olmasıdır — model çok basit, yanlış varsayım yapıyor. Variance (değişkenlik), modelin training verisine fazla uyarak gürültüyü öğrenmesi ve yeni veriye genelleme yapamamasıdır.
Toplam beklenen hata = Bias² + Variance + İndirgenemez Gürültü (ε²). Modeli daha karmaşık yapınca bias düşer ama variance artar. Daha basit yapınca tersi. Bias-variance tradeoff, bu karşıt hareketin yönetimidir.
| Durum | Bias | Variance | Görünüm | Bankacılık Örneği |
|---|---|---|---|---|
| Underfitting | Yüksek | Düşük | Train ve test hatası yüksek | Tek değişkenli PD modeli karmaşık portföyde |
| Sweet spot | Orta | Orta | Train ≈ Test, her ikisi kabul edilebilir | Lojistik regresyon, doğru feature seti |
| Overfitting | Düşük | Yüksek | Train hata çok düşük, test hata yüksek | Decision tree derin dallar, 2018 dönemi ezberler |
artifact — polinom kompleksite labı
Gerçek ilişki 2. derece bir paraboladır (gri kesikli). Mavi noktalar eğitim verisi. Turuncu noktalar hiç görmediğimiz test verisi. Derece arttıkça eğitim hatası düşer — ama test hatası ne yapıyor?
OOT validasyonu: bias-variance'ı bankacılıkta tespit etmek
Kredi modellerinde "test verisi" yoktur — gerçek anlam da budur. Ama OOT (Out-of-Time) validasyonu tam olarak bu rolü oynar: modelin eğitildiği dönemden farklı bir zaman diliminde performansını ölçer.
Train AUC − OOT AUC > 0.05: Variance yüksek — model eğitim döneminin gürültüsünü öğrenmiş, zamanla genelleme yapamıyor. Olası nedenler: çok fazla değişken, yeterli düzenleştirme yok, eğitim verisi çok kısa dönem.
Train AUC = OOT AUC ama her ikisi de düşük: Bias yüksek — model çok basit. Feature seti, model mimarisi veya örneklem zenginleştirilmeli.
düzenleyici dayanak
Zaman-dışı (OOT) değerlendirme, zamana duyarlı modellerde genelleme kanıtının önemli bir parçasıdır. IRB veri tarihçesi ilgili iyi ve kötü dönemleri temsil etmeli; tek bir OOT penceresi “tam ekonomik döngü” kanıtı sayılmamalıdır. Veri sızıntısı (leakage) ve zamanı yanlış kesmek, eğitim metriklerini iyimser gösterip OOT'da çökerten en sık kusurlardır. EBA veri kalitesi ilkeleri ve SR 26-2 bağımsız validasyonu tam da bu ayrımı — modelin ezberlemediğini, genellediğini — kanıtlamayı ister.
tipik hata
İkinci yanılgı: regularizasyon olmadan karmaşık model kurmak. Lojistik regresyon sınırında çalışan IRB modellerinde bu daha az sorun, ama gradient boosting veya neural network tabanlı uygulamalarda L1/L2 düzenleştirmesi veya dropout olmadan overfitting kaçınılmazdır. Model dokümantasyonunda regularizasyon kararı açıklanmalıdır.