Kapanış vakası: RAG asistanı için kullanım kararı
Ortalama başarı oranından kullanım kararına: test dilimleri, erişim kontrolü, insan gözetimi ve işlem yetkisini birlikte ele alan kurgusal vaka.
Vaka: belge asistanının kullanım sınırı
Kurgusal bir bankanın ürün belgelerini tarayan RAG asistanı, çalışanlara kaynaklı yanıt taslağı üretiyor. Bilgi deposunda güncel belgelerle birlikte eski sürümler de bulunuyor. Asistanın ilk tasarımda müşteriye mesaj gönderme yetkisi yok; sonraki sürüm için bu yetki öneriliyor.
Genel sonuç %95. Ancak 100 soruluk ücret ve koşullar diliminde 86 başarı; kalan 400 soruda 389 başarı var. Yetki testinde başka bir birime ait belgenin getirilmesi de gözlendi. Bu olay, ortalama kalite metriğinden ayrı bir bulgudur.
Kanıtı dilimlere ayırmak
Aynı kanıt, farklı kullanım
Seçimler yalnız bu vakadaki kanıtların durumunu değiştirir. Doğrudan müşteri kullanımı veya araç yetkisi, çalışan taslağı için toplanmış kanıtlarla otomatik olarak kapsanmaz. Kullanım sınırları; arayüz, erişim kontrolü ve teknik testlerde karşılık bulmalıdır.
Küçük oran, büyük hacim
İzlemenin neden gerekli olduğunu görmek için kurgusal artık hata oranı ile aylık hacim birlikte ele alınabilir. Bu oran, yukarıdaki test sonucundan tahmin edilmez; ayrı bir senaryo varsayımıdır.
Beklenen sayı = hacim × hata olasılığı. Bu değer gerçekleşecek olay sayısı veya parasal kayıp değildir. Hatanın türü, kişiye etkisi ve tespit edilebilirliği ayrıca değerlendirilir.
Görüşün dayanağı
Örnek değerlendirmeyi aç
Belge erişim açığı kapanmadan gerçek verili kullanım uygun görülmez. Açık giderilmiş, kritik dilim teknik olarak kapsam dışına alınmış ve insan kontrolü etkinliği gösterilmişse; kanıtın desteklediği çalışan taslağı kullanımı için sınırlandırılmış pilot değerlendirilebilir. Bu sonuç doğrudan müşteri yanıtına veya işlem yetkisine taşınmaz.
Pilot kaydı; sürümleri, izin verilen belge kümesini, kullanıcı grubunu, inceleme sorumlusunu, hacim sınırını ve durdurma koşullarını içerir. Yetkisiz belge getirilmesi, kapsam dışı kullanım ve önemli sürüm değişikliği ayrı müdahale tetikleyicileridir. Açık bulguların kapanışı yeniden test kanıtına bağlanır.
Bu vaka ölçüm belirsizliği, RAG değerlendirmesi, araç yetkileri ve uygunluk görüşünü aynı karar içinde birleştirir.