Doğrulama Tasarımı ve Bilgi Sızıntısı

Kavram

Doğrulama, yeni veri kavramının ne olduğuyla başlar. Yeni müşteri, yeni mağaza veya gelecek dönem farklı ayrımlar gerektirir. Aynı kişiye ait kayıtları iki tarafa dağıtmak, amaç yeni kişiye genellemekse iyimser sonuç üretebilir. Gelecek tahmininde ise zaman sırası belirleyicidir.

Bir örnek üzerinden

Gelecek ayın talebini tahmin edecek model, geçmiş dönemlerde eğitilip sonraki dönemlerde sınanmalıdır. Rastgele katlama, gelecekteki kayıtların geçmişi tahmin eden eğitim kümesine girmesine yol açabilir. Bağımsız ve aynı dağılımdan gelen kesitsel görevlerde rastgele doğrulama uygun olabilir.

Görsel üzerinden

İki görünüm, bu zaman tahmini örneğinde eğitim ve değerlendirme aylarının yerleşimini karşılaştırır. Yürüyen pencere zaman yönünü korur. Son altı ay ayrı tutulur. Diyagramdaki sıfır gelecek ayı, bütün özelliklerde sızıntı bulunmadığı garantisi değildir.

Yorumlama

Ön işleme, özellik seçimi ve hiperparametre ayarı da her eğitim katının içinde yapılmalıdır. Etiket ufukları çakışıyorsa ilgili kayıtları ayırmak veya uygun boşluk bırakmak gerekir. Son test dönemi model seçimi için tekrar kullanılmamalıdır.

Kapsam ve okuma

Bu modülün görselleri öğretim amaçlıdır. İlgili okuma: scikit-learn · Çapraz doğrulama. Açıklamalı kaynak dizini →