Kalibrasyon: Tahmin ve Gerçekleşme
%20 olasılık verilen olaylar gerçekten yaklaşık beşte bir sıklıkta mı gerçekleşiyor?
Kavram
Kalibrasyon, olasılık tahminlerinin gerçekleşen sıklıklarla uyumudur. Sıralama gücünden farklıdır: bütün tahminleri yükseltmek sıralamayı korurken kalibrasyonu bozabilir. Kalibrasyon belirli bir hedef, zaman ufku ve popülasyon için değerlendirilir.
Bir örnek üzerinden
Her biri 100 gözlem içeren gruplarda ortalama tahmin ile olay oranı karşılaştırılır. Köşegenin üstündeki noktalar olay oranının tahminden yüksek olduğunu gösterir. Köşegenin altı aşırı tahmin yönüdür. Ortalama farkın küçük olması, farklı gruplardaki zıt sapmaları gizleyebilir.
Görsel üzerinden
Senaryolar gruplardaki sapmanın yerini değiştirir. Brier skoru bu gruplarda sabit tahmin varsayımıyla a(1−p)²+(1−a)p² değerlerinin ortalamasıdır. Ortalama mutlak sapma gruplu kalibrasyon özetidir; Brier ise kalibrasyonun yanında ayırt etme ve olayın belirsizliğinden de etkilenir.
Yorumlama
Bu görsel bir hipotez testiyle “model onayı” üretmez. Gerçek veride örneklem büyüklüğü, grup sınırları ve belirsizlik aralıkları önemlidir. Kalibrasyon ayarı ayrı veri üzerinde öğrenilmeli, son değerlendirme verisine uyarlanmamalıdır.
Kapsam ve okuma
Bu modülün görselleri öğretim amaçlıdır. İlgili okuma: scikit-learn · Olasılık kalibrasyonu. Açıklamalı kaynak dizini →