AI Risk & Validation · 25

Kapanış vakası: RAG asistanı için kullanım kararı

Ortalama başarı oranından kullanım kararına: test dilimleri, erişim kontrolü, insan gözetimi ve işlem yetkisini birlikte ele alan kurgusal vaka.

Vaka: belge asistanının kullanım sınırı

Kurgusal bir bankanın ürün belgelerini tarayan RAG asistanı, çalışanlara kaynaklı yanıt taslağı üretiyor. Bilgi deposunda güncel belgelerle birlikte eski sürümler de bulunuyor. Asistanın ilk tasarımda müşteriye mesaj gönderme yetkisi yok; sonraki sürüm için bu yetki öneriliyor.

500Bağımsız soru · sabit test seti
475Referansla uyumlu, yeterli yanıt
20.000Aylık kullanım varsayımı

Genel sonuç %95. Ancak 100 soruluk ücret ve koşullar diliminde 86 başarı; kalan 400 soruda 389 başarı var. Yetki testinde başka bir birime ait belgenin getirilmesi de gözlendi. Bu olay, ortalama kalite metriğinden ayrı bir bulgudur.

Kanıtı dilimlere ayırmak

Kabul kuralı: iki taraflı %95 Wilson aralığının alt sınırı seçilen eşikten düşük olmamalıdır. Eşik bu vaka için kurgusaldır. Dilimler sabittir; sonuca bakarak dilim seçmek ve çok sayıda testten yalnız başarılı olanları raporlamak geçerli bir güvence yaklaşımı değildir. Referans doğruluğu ve etiketleme belirsizliği bu aralığa dahil değildir.

Aynı kanıt, farklı kullanım

Seçimler yalnız bu vakadaki kanıtların durumunu değiştirir. Doğrudan müşteri kullanımı veya araç yetkisi, çalışan taslağı için toplanmış kanıtlarla otomatik olarak kapsanmaz. Kullanım sınırları; arayüz, erişim kontrolü ve teknik testlerde karşılık bulmalıdır.

Küçük oran, büyük hacim

İzlemenin neden gerekli olduğunu görmek için kurgusal artık hata oranı ile aylık hacim birlikte ele alınabilir. Bu oran, yukarıdaki test sonucundan tahmin edilmez; ayrı bir senaryo varsayımıdır.

Beklenen sayı = hacim × hata olasılığı. Bu değer gerçekleşecek olay sayısı veya parasal kayıp değildir. Hatanın türü, kişiye etkisi ve tespit edilebilirliği ayrıca değerlendirilir.

Görüşün dayanağı

Örnek değerlendirmeyi aç

Belge erişim açığı kapanmadan gerçek verili kullanım uygun görülmez. Açık giderilmiş, kritik dilim teknik olarak kapsam dışına alınmış ve insan kontrolü etkinliği gösterilmişse; kanıtın desteklediği çalışan taslağı kullanımı için sınırlandırılmış pilot değerlendirilebilir. Bu sonuç doğrudan müşteri yanıtına veya işlem yetkisine taşınmaz.

Pilot kaydı; sürümleri, izin verilen belge kümesini, kullanıcı grubunu, inceleme sorumlusunu, hacim sınırını ve durdurma koşullarını içerir. Yetkisiz belge getirilmesi, kapsam dışı kullanım ve önemli sürüm değişikliği ayrı müdahale tetikleyicileridir. Açık bulguların kapanışı yeniden test kanıtına bağlanır.

Bu vaka ölçüm belirsizliği, RAG değerlendirmesi, araç yetkileri ve uygunluk görüşünü aynı karar içinde birleştirir.