Validasyon Yaşam Döngüsü ve Scoping
İlk değerlendirme, önemli değişiklikler, düzenli izleme ve kullanım sonlandırma aynı kayıt zincirinin parçalarıdır. Kapsam, amaç ve sürüm değiştiğinde eski görüşün geçerliliği yeniden ele alınır.
tek olay değil, döngü
Zayıf model risk fonksiyonlarının ortak deseni: validasyonu bir olay gibi yaşamak — sistem gelir, test edilir, rapor yazılır, dosya kapanır. Bu desen klasik modellerde bile sorunluydu; AI sistemlerinde ciddi bir kontrol açığıdır. Modül 01'in dersini hatırla: AI onayı yaşayan bir karardır — izleme eşikleri ve geri çekilme koşullarıyla ayakta durur. Yaşayan kararın altyapısı da yaşayan bir süreçtir: yaşam döngüsü.
Yaşam döngüsü, tarafların hangi aşamada hangi kanıtı sağlayacağını görünür kılar. Standart çıktılar, sorumlular ve izlenen süreler süreçteki belirsizliği azaltır. Bir kaydın tamamlanması ile yeterli teknik incelemeden geçmiş olması ayrı değerlendirilir.
yedi aşama: her birine tıkla
Aşağıdaki döngü, bir AI sisteminin validasyon fonksiyonuyla temas ettiği yedi aşamayı gösteriyor. Her aşamada üç şeye bak: ne üretilir, tipik hata nedir, hangi karar gerekir.
scoping matrisi: tetikleyici seç, kapsamı gör
Kapsam belirleme; tetikleyiciyi, risk kaydını ve değişikliğin etkisini birlikte ele alır. İncelenen ve kapsam dışında bırakılan alanların gerekçesi yazılır. Aşağıdaki örnekler farklı tetikleyiciler için olası inceleme kapsamlarını gösterir.
Üç kapsam türünün mantığı: Full validation her bileşeni bağımsız testten geçirir — pahalı, Tier 1 ve ilk onaylar için. Targeted validation değişen veya riskli bileşenlere odaklanır, kalanını önceki sonuçlara ve evidence'a bağlar — döngünün iş atı. Evidence review bağımsız test içermez; dokümantasyon ve sahibin test sonuçları değerlendirilir — yalnızca düşük risk için savunulabilir. Tür seçiminin altın kuralı: önceki sonuçlara güvenebilmek için, o sonuçları geçersiz kılacak bir değişiklik olmadığını gösterebilmelisin — gösteremiyorsan targeted, targeted'ın sınırları belirsizse full.
issues log: bulgu deposu değil, yaptırım aracı
Bulgu kaydı; sorunu, önemini, sorumlusunu, hedef tarihini ve kapanış kanıtını ilişkilendirir. Aksiyonun tamamlandığı beyanı, bulgunun bağımsız doğrulanmasıyla aynı değildir. Örnek kayıtlarda inceleme ve kapanış durumları ayrı izlenebilir.
| ID | Bulgu | Önem | Yaş | Durum |
|---|---|---|---|---|
| V24-031 | Groundedness eşiği izlemede uygulanmıyor | yüksek | 94 gün | Açık — 2. erteleme |
| V24-035 | Prompt değişiklikleri versiyonlanmıyor | orta | 51 gün | Açık — planlı |
| V24-036 | Test seti üretim trafiğini temsil etmiyor | orta | 18 gün | Açık — yeni |
| V24-029 | İnceleme kotası dolmuyor (override %0.2) | yüksek | 122 gün | Kapanış bekliyor |
| V24-040 | Kaynak gösteriminde eski doküman versiyonu | düşük | 7 gün | Açık — yeni |
Log'un işlediğini gösteren üç sinyal: (1) Yaşlanma disiplini — her önem derecesinin kapanma SLA'sı var ve aşımlar otomatik eskale oluyor; yüksek önemli bulgu kurulum aşamaları sonra hâlâ "açık — 2. erteleme" ise log çalışmıyor. (2) Kapanış kanıtı — "yaptık" beyanı bulgu kapatmaz; kapanış, düzeltmenin test edilmiş kanıtıyla olur ve kapatma yetkisi bulguyu yazanda (sende) kalır, sahibinde değil. (3) Sonuç bağlantısı — kritik bulgular kapanmadıkça onay koşulları devrede kalır; log, komite raporuna beslenir; ısrarlı ertelemeler kullanım kısıtına dönüşür. Yaptırımsız log, şikâyet defteridir.
Yaşam döngüsünde güvence
İlk değerlendirme, önemli değişiklikler, düzenli izleme ve kullanım sonlandırma aynı kayıt zincirinin parçalarıdır. Kapsam, amaç ve sürüm değiştiğinde eski görüşün geçerliliği yeniden ele alınır.
Bulgunun kapanması için aksiyonun tamamlanması ile kontrolün çalıştığının doğrulanması ayrılır. Tarih, sorumlu ve kapanış kanıtı izlenebilir olmalıdır.