Sayısal Temeller · Faz VIII — Makine Öğrenmesi Temelleri

Modül 33 — Ağaç Tabanlı Modeller ve Ensemble

temel fikir

Karar ağacı özellik uzayını ardışık bölmelere ayırır; tek ağaç yüksek varyanslı olabilir. Random Forest örneklem ve özellik rastgeleliğiyle ağaçları ortalayıp varyansı azaltır. Boosting zayıf öğrenicileri ardışık biçimde kayba göre ekler; yalnızca “bias düşürür” diye özetlenemez ve düzenlileştirme olmadan aşırı uyabilir.

Bölünme Kriteri

Gini = 1 − ∑_c p_c² H = −∑_c p_c ln p_c

Her bölünme saflığı (purity) artırır · Bilgi kazancı: ebeveyn − ağırlıklı çocuk safsızlık · En iyi (özellik, eşik) seçilir

Ensemble Tahmini

F(x) = ∑_m=1^M ν f_m(x)

Bagging: paralel, eşit ağırlık, varyans↓ · Boosting: ardışık, ν öğrenme oranı, bias↓ · M: ağaç sayısı

Sentetik veri üzerindeki karar sınırı algoritmanın davranışını gösterir. Model seçimi için aynı eğitim örneklemindeki başarı yeterli değildir; ayrılmış test verisi ve kullanım anındaki bilgi setiyle uyumlu doğrulama gerekir.

Ağaç ve Ensemble Merkezi

Karar ağacı özellik uzayını eksene-paralel bölmelerle ayırır. Derinlik arttıkça bölmeler küçülür — düşük derinlik basit, yüksek derinlik aşırı uyum (overfitting). Renk: bölge tahmini.

Ağaç derinliği

derinlik = 3

Veri karmaşıklığı

orta

Sınıf 0

Sınıf 1

Bölünme çizgileri

Eğitim doğruluğu

—

Test doğruluğu

—

Yaprak (bölge) sayısı

—

Aşırı uyum boşluğu

—

neden bankacılıkta dikkatli kullanılır

Ağaç tabanlı modeller bazı veri setlerinde lojistiği geçebilir; bu ampirik bir sonuçtur. IRB kullanımında yöntem adı tek başına belirleyici değildir: kullanım testi, muhafazakârlık, veri temsil gücü, kararlılık, açıklanabilirlik ve bağımsız validasyon gösterilmelidir. ML modeli challenger da ana model de olabilir; karar yerel düzenleme ve onaya bağlıdır.

Validasyon perspektifi: bir gradient boosting modeli yüksek AUC verse bile (Modül 36), validatör şu soruları sorar — kalibrasyon stabil mi (Modül 37)? Özellik önem sıralaması ekonomik sezgiyle uyumlu mu? Model, eğitim döneminden farklı makro koşullarda nasıl davranıyor? Açıklanabilirlik araçları (SHAP, Modül 35) tam da bu kara kutu sorununu adresler. Ensemble'ın gücü, validasyon yükünü artırır — performans ile denetlenebilirlik arasındaki klasik denge.

Yöntemler ve birincil referanslar: Sözlük ve kaynaklar.

← Modül 32 Modül 34 — Düzenlileştirme ve Çapraz Doğrulama →