Model İzleme ve Değişimin Teşhisi
Üretimde değişen bir metrik nasıl anlamlandırılır?
Kavram
İzleme, verinin ve model davranışının zaman içindeki değişimini takip eder. Sıralama, kalibrasyon ve veri dağılımı farklı boyutlardır. Bunların yanında veri gecikmesi, eksiklik, kapsam ve karar politikası da izlenmelidir.
Bir örnek üzerinden
Kampanya sonrası başvuru kitlesi değiştiğinde PSI yükselirken AUC aynı kalabilir. Tahmin edilen olay ufku henüz dolmamışsa gerçekleşen oranı hesaplamak da erken olur. Böyle bir durumda bir alarmın nedeni model bozulması kadar veri kesiti veya yeni kitle olabilir.
Görsel üzerinden
Üç senaryo önceden üretilmiş 24 aylık örnek serilerdir. Aynı dönemde farklı ölçütlerin birlikte hareket etmesi incelemeye yön verir. Gösterilen eşikler bu örneğe ait izleme kurallarıdır; düzenleyici zorunluluk veya otomatik yeniden eğitim kararı değildir.
Yorumlama
Alarmdan sonra kapsam, veri hattı, örneklem belirsizliği ve politika değişiklikleri incelenir. Yeniden kalibrasyon, yeniden eğitim veya kullanım kısıtı farklı bulgulara karşılık gelir. Gözlenen metriği iyileştirmek için alarm eşiğini değiştirmek sorunu çözmez.
Kapsam ve okuma
Bu modülün görselleri öğretim amaçlıdır. İlgili okuma: Federal Reserve · SR 26-2, Model Risk Management. Açıklamalı kaynak dizini →