Kapanış Vakası: Tahminden Müdahaleye
Kimin ayrılacağını tahmin etmek, kime teklif götürülmesi gerektiğini söyler mi?
Abonelik yenileme vakası
Bir hizmetin gelecek ay yenileme yapacak 10.000 abonesi var. Mevcut koşullarda ayrılma oranı %8. Bir model, ayrılma olasılığı yüksek kişilere destek teklifi götürmek için kullanılıyor. Operasyon en fazla 1.500 kişiye ulaşabiliyor.
Hedef “gelecek 30 günde yenilememe” olarak tanımlanıyor. Model her ayın sonunda, o anda mevcut özelliklerle çalışıyor. Sonradan sisteme yazılan iptal kayıtları özelliklere alınmıyor. Aynı kişinin kayıtları ve zaman sırası dikkate alınarak doğrulama yapılıyor; son dönem test için ayrılıyor.
Karar ve kapasite
Aşağıdaki hesap, eşik seçimi sonrası oluşabilecek hassasiyet ve yanlış alarm oranlarını girdi kabul eder. İki oran bağımsız kaydırıldığı için ekran bir modelin gerçek ROC eğrisi değildir. Değerler beklenen sayılardır.
10.000 kişilik sentetik örnek
Bir kişiye ulaşmanın toplam maliyeti 30 TL, önlenen bir ayrılmanın katkısı 300 TL kabul ediliyor. Müdahalenin yalnızca gerçekten ayrılacak kişilerde, belirtilen olasılıkla işe yaradığı varsayılıyor. Net katkı = doğru alarm × önleme olasılığı × 300 − toplam temas × 30.
Sonucu yorumlamak
Başlangıçta 560 doğru alarm ve 736 yanlış alarm vardır. 1.296 kişiye ulaşılır; kesinlik yaklaşık %43,2’dir. %20 önleme varsayımıyla 112 ayrılma önlenir. Beklenen katkı 33.600 TL, temas maliyeti 38.880 TL ve net fark −5.280 TL olur. Yüksek sıralama başarısı tek başına ekonomik faydayı garanti etmez.
Başabaş için önleme olasılığının yaklaşık %23,1 olması gerekir. Fakat bu olasılık tahmin modelinden elde edilmez. Teklifin ek etkisini ölçen uygun bir deney veya savunulabilir nedensel tasarım gerekir. Teklif olmadan da kalacak kişilere verilen teşvikler ve uzun dönem etkiler ayrıca ele alınır.
Bu vaka için değerlendirme çerçevesi
- Etiket ve tahmin anı açık; etiketin olgunlaşması bekleniyor.
- Ön işleme eğitim içinde yapılıyor; zaman ve kişi sızıntısı inceleniyor.
- Ayrı test döneminde sıralama, kalibrasyon ve alt grup sonuçları raporlanıyor.
- Temas kapasitesi ve maliyetler eşik kararına dahil ediliyor.
- Müdahalenin ek etkisi ayrı olarak ölçülüyor; izleme planı veri, sonuç ve maliyeti kapsıyor.
Kapsam
Hesap sabit katkı, sabit temas maliyeti ve herkes için aynı müdahale etkisi varsayar. Kapasite aşılırsa değerler tüm alarm kitlesi içindir; otomatik bir seçim veya kapasiteye kırpma yapılmaz. Gerçek uygulamada erişilebilirlik, deney tasarımı ve etki farklılıkları hesaba katılır.