AI Monitoring: Drift, Metrikler, Revalidation

izleme, onay kararının yaşayan yarısıdır

Bu serinin ilk modülünden beri tekrarlanan cümleyi hatırla: AI onayı statik bir sertifika değil, izleme eşikleri ve geri çekilme koşullarıyla ayakta duran yaşayan bir karardır. Faz 4'ün önceki modülleri kararın "veriliş anını" donattı — eval, RAG testleri, red team, agent kontrolleri. Bu modül kararın kalan ömrünü donatıyor: onaydan sonraki her gün, sistemin hâlâ onaylandığı gibi davrandığının kanıtını kim, neyle üretiyor?

AI izlemesini klasik model izlemesinden ayıran üç şey var. Hız: klasik skorkartlarda bozulma çoğu zaman daha yavaş görünürken AI sistemi bir vendor güncellemesiyle bir gecede değişebilir; bu nedenle yıllık backtesting tek başına yetmeyebilir (Modül 02). Çok boyutluluk: tek bir performans metriği yok — kalite, güvenlik, kullanım ve maliyet ayrı ayrı ve farklı hızlarda bozulabilir. Gerçekleşme yokluğu: kredi modelinde "temerrüt oldu/olmadı" gerçeği eninde sonunda gelir; "cevap doğru muydu" gerçeği kendiliğinden gelmez — izleme, kendi ground truth'unu üretmek zorundadır (örneklem değerlendirmesi, otomatik groundedness kontrolü, kullanıcı geri bildirimi).

dört metrik ailesi: her satıra tıkla

"Ne izleyelim?" sorusunun cevabı dört ailede toplanır. Sağlıklı bir izleme tasarımı dördünden de en az birer metrik içerir — tek aileye yaslanan tasarım, diğer üçünde kördür:

eşik mimarisi: her eşiğin bir aksiyonu ve sahibi var

Modül 10 ve 11'de iki kez söylendi, burada tasarıma dökülüyor: aksiyonsuz eşik dekordur. Sağlam mimari üç kademelidir ve her kademe üç şeyi tanımlar — tetik, aksiyon, sahip:

Üç tasarım inceliği: (1) Eşik istatistiksel gürültüyü hesaba katmalı — Modül 14'ün dersi: haftalık 100'lük örneklemde %93 ile %95 farkı gürültü olabilir; eşikler ya örneklem boyutuyla uyumlu seçilir ya da "iki ardışık dönem" gibi teyit kuralı eklenir. (2) Durdurma yetkisi önceden verilir — gece 02:00'de komite toplanamaz; kill switch'e kimin basacağı onay anında yazılır. (3) Eşikler de yaşar — ilk aylarda kalibrasyon dönemidir; eşik revizyonu meşrudur ama gerekçeli ve ilgili onayınla olur, "alarm çok öttüğü için" sessizce gevşetilerek değil. Alarm yorgunluğu gerçek bir risktir — çözümü eşiği anlamlı seviyeye çekmek, alarmı kapatmak değil.

drift senaryoları: zaman serisinde ne görünür?

Aşağıdaki simülasyon, RAG'li asistanın 12 aylık izleme görünümü: mavi çizgi groundedness (haftalık örneklem, hedef ≥%95), mor çizgi kapsam dışı soru oranı. Kesikli çizgiler uyarı (%93) ve aksiyon (%90) eşikleri. Senaryo seç; hangi metriğin neyi ne zaman yakaladığını izle:

revalidation: takvim + tetikleyici

Modül 10'un yaşam döngüsündeki 7. aşama buradan beslenir. Revalidation iki kanaldan tetiklenir — ve ikisi de politikada yazılı olmalı, geliştiricinin insafında değil:

Kritik tasarım kararı: olay bazlı tetikleyicinin çıktısı otomatik full validation değildir — orantısız yük, tetikleyiciyi bildirmeme teşviki üretir (Modül 09'daki envanter dersiyle aynı mantık). Doğru akış: tetikleyici → hızlı kapsam değerlendirmesi (yarım gün) → orantılı scoping kararı (Modül 10'un matrisi). Tetikleyici bildirmenin ucuz, bildirmemenin pahalı olduğu bir denge kur: değişiklik bildirimi basit bir formsa herkes doldurur; bildirilmemiş değişiklik yakalandığında sonuç ağırsa kimse atlamaz.

İzleme ve müdahale

İzleme bir gösterge panelinden fazlasıdır: eşik, olayın sahibi ve uygulanacak müdahale birlikte tanımlanır. Kullanım hacmi değiştiğinde oranlarla birlikte mutlak olay sayıları da takip edilir.

Sistem sürümü ile değerlendirici sürümü ayrı izlenir. Ölçüm aracındaki değişiklik, model davranışındaki değişiklik gibi yorumlanmamalıdır.

anahtar çıkarımlar