Gradient Boosting: Ardışık İyileştirme
Küçük modellerin ardışık toplamı nasıl daha esnek bir tahmin oluşturur?
Kavram
Gradient boosting mevcut tahmini kayıp fonksiyonunu azaltacak yönde adım adım günceller. Kare kayıpta bu yön artıklarla ilişkilidir. Yeni zayıf öğreniciye öğrenme hızı uygulanır; çok sayıda küçük adım ile daha az sayıda büyük adım farklı yollar izler.
Bir örnek üzerinden
Kare kayıp örneğinde Fₘ(x)=Fₘ₋₁(x)+ηhₘ(x) güncellemesi yapılır. hₘ, mevcut artıklara uydurulan sığ ağaçtır. Sınıflandırmada aynı fikir farklı kayıp ve gradyanlarla uygulanır; gözlenen etiketten olasılığı çıkarmak bütün boosting yöntemlerinin eksiksiz tanımı değildir.
Görsel üzerinden
İterasyon kaydırıcısı ağaçların birikimini, öğrenme hızı düğmeleri adım büyüklüğünü gösterir. MSE ve artık yayılımı eğitim kümesi üzerinde hesaplanır. Büyük adımda eğitimin daha hızlı ilerlemesi, yeni veride daha iyi sonuç alınacağı anlamına gelmez.
Yorumlama
Bu görsel aşırı uyumu ölçmek için ayrı bir doğrulama eğrisi içermez. Erken durdurma ve hiperparametre seçimi bu nedenle yalnızca gösterilen eğitim hatasına dayandırılamaz. XGBoost gibi uygulamalar burada gösterilmeyen ek düzenlileştirme ve optimizasyon ayrıntıları içerir.
Kapsam ve okuma
Bu modülün görselleri öğretim amaçlıdır. İlgili okuma: scikit-learn · Topluluk yöntemleri. Açıklamalı kaynak dizini →