Veri, Gözlem ve Seçilim
Elimizdeki kayıtlar, anlamak istediğimiz dünyayı ne kadar temsil ediyor?
Kavram
Bir veri seti, belirli bir süreçte kayda geçmiş gözlemlerden oluşur. Kimin kapsama alındığı, neyin ölçüldüğü ve hangi sonuçların kaybolduğu, analizin anlamını belirler. İlk adım satır sayısını büyütmekten önce gözlem birimini, hedef kitleyi ve kayıt oluşma mekanizmasını tanımlamaktır. Eksik değer ile hiç gözlenmeyen kişi aynı sorun değildir.
Bir örnek üzerinden
Bir abonelik hizmetinde yalnızca aktif kullanıcıları incelemek, ayrılanların deneyimini dışarıda bırakır. Kredi örneğinde de yalnızca onaylanan başvuruların ödeme sonuçları elde olabilir. Bu kayıtlar başvuran herkesin riskini doğrudan temsil etmez. Aşağıdaki tüm kişiler ve sonuçlar sentetiktir; gizli sonuçları açmak, gerçek hayatta erişilemeyen bilgiyi görünür kılan bir öğretim varsayımıdır.
Görsel üzerinden
Onay eşiği yükseldikçe gözlenen kitlenin bileşimi değişir. Bu görsel bir model eğitmez; seçimin hangi sonuçları görünmez bıraktığını gösterir. İkinci görsel, kredi riski bağlamında belirsizliğe eklenen örnek payları toplar. Gösterilen tutarlar düzenleyici kalibrasyon veya sermaye hesabı değildir.
Yorumlama
Eksikliğin gözlenen değişkenlerle açıklanabildiği varsayımı ve yeterli örtüşme varsa ağırlıklandırma yardımcı olabilir. Belirli bir grubun hiç gözlenmediği durumda yalnızca ağırlıklandırma yeterli değildir. Gözlenmeyen sonuçlar hakkında ek veri veya açıkça belirtilmiş varsayımlar gerekir.
Kapsam ve okuma
Bu modülün görselleri öğretim amaçlıdır. İlgili okuma: scikit-learn · Veri sızıntısı ve ön işleme. Açıklamalı kaynak dizini →