AI Risk & Validation Framework · 17

Agentic AI ve Tool Use Riski

Bir ajanın yanıt üretmesi ile dış sistemde işlem yapması farklı sonuçlar doğurur. Araçlar en az yetki, işlem sınırı ve uygun onay noktalarıyla tasarlanır.

sözden eyleme: neden ayrı bir risk sınıfı?

Şimdiye kadar incelediğimiz sistemler söz üretiyordu: cevap, özet, öneri. Yanlış söz zarar verir ama arada hep bir insan vardı. Agentic sistem bu mesafeyi kapatır: LLM artık bir döngünün içindedir — durumu algılar, plan yapar, tool çağırır, sonucu gözler ve tekrar planlar. Çıktı artık metin değil, gerçekleşmiş aksiyondur: güncellenen kayıt, gönderilen e-posta, başlatılan işlem.

Algıla
Görev + bağlam + önceki adımların sonuçları
Planla
LLM sonraki adımı seçer: hangi tool, hangi parametre
Eyle
Tool çalışır: sorgu, kayıt, iletişim, işlem
Gözle
Sonuç değerlendirilir; görev bitti mi, devam mı?

Modül 05'in taksonomisinde Katman 4'ü bu yüzden ayırmıştık: agent, önceki üç katmanın tüm risklerini devralır (halüsinasyon, injection, drift...) ve üstüne kendi risklerini ekler — ama asıl fark niceliksel değil yapısaldır: hata ile zarar arasındaki mesafe ciddi ölçüde kısalır ve hata, döngü boyunca bileşikleşir. Halüsinasyon artık yanlış bir cümle değil; yanlış parametreyle çağrılmış gerçek bir tool'dur.

Tanım hijyeni: her tool kullanan sistem "agent" değildir. Tek adımlık tool çağrısı (hesaplama yap, kaydı getir) hâlâ büyük ölçüde Katman 3 profilidir. Agent profilini tanımlayan üç özellik: çok adımlılık (plan-eylem döngüsü), seçim serbestisi (hangi tool'u ne zaman çağıracağını model seçer) ve durum değiştirme (dünyada iz bırakan aksiyonlar). Tier ataması (Modül 09) bu üç özelliğe bakmalı — pazarlama sunumundaki "agent" kelimesine değil.

hata birikimi: yüzde doksan beşin tuzağı

Agent validasyonunun en önemli sayısal gerçeği basit bir çarpımdır: her adım %95 güvenilirse, 10 adımlık görevin uçtan uca başarısı 0.95¹⁰ ≈ %60'tır. Adım başına kaliteye bakan herkes sistemi "iyi" görür; görev bazında bakan, yaklaşık her beş görevin ikisinin başarısız olabileceğini görür. Kaydırıcılarla oyna:

çok adımlı hata birikim simülatörü
Adım başına doğruluk
%95.0
Görevdeki adım sayısı
10
Ara kontrol noktası (checkpoint) sıklığı
yok
adım sayısı → uçtan uca başarı %80
uçtan uca başarı (kontrolsüz)
checkpoint'li başarı
1.000 görevde beklenen başarısızlık
Model varsayımı: adım hataları bağımsızdır. Checkpoint, segment hatalarının %90'ını yeniden deneyerek düzeltiyor ve kendisi %98 güvenilir kabul ediliyor. Gerçek hayatta korelasyon, hatalı kontrol veya başarısız recovery sonucu daha kötü yapabilir.

Simülatörün iki dersi var. Birincisi: adım başına metrikle görev bazlı metrik ayrı raporlanmalı — validasyonun ana metriği görev tamamlama oranıdır (task success rate), adım doğruluğu onun bileşenidir. İkincisi: ara kontrol noktaları (deterministik doğrulama adımları, ara insan onayı, "durumu özetle ve teyit et" kapıları) birikimi kırar — yeşil kesikli eğri. Uzun görevlerde kontrol noktasız tasarım, matematiksel olarak savunulamaz; bu, mimari challenge sorusudur, iyileştirme önerisi değil.

İnce nokta: hata birikimi bağımsızlık varsayar; gerçekte daha kötüsü olur. Erken adımdaki sessiz bir hata (yanlış kayıt çekildi) sonraki tüm adımların doğru çalışarak yanlış iş yapmasına neden olur — hata korelasyonu birikimi hızlandırır. Bu yüzden "hangi adımda saptı?" sorusuna cevap verebilen adım bazlı loglama, agent'ın olmazsa olmaz kanıt altyapısıdır.
Kontrolsüz başarı pⁿ: n adımın eşit başarı olasılığına sahip ve bağımsız olduğu, hepsinin başarıyla tamamlanmasının gerektiği varsayılır. Kontrol noktası her seçilen aralıkta ve görevin sonunda uygulanır. Uzunluğu L olan bölümün başarısı [pᴸ + (1 − pᴸ) × 0,90] × 0,98’dir. %90, başarısız bölümün tamamen düzeltilmesi; %98, kontrol noktasının güvenilirliğidir. İlişkili hatalar ve gerçek insan performansı bu örnekle ölçülmez.

tool yetki matrisi: kandırılırsa ne kaybederiz?

Modül 08'in dersi burada zirve yapar: en güçlü kontrol, en az ayrıcalıktır — çünkü kandırılan modelin erişemediği şey zarar göremez. Aşağıda bir "operasyon asistanı" agent'ının tool listesi var. Her tool için yetki seviyesi seç; tasarımın toplam risk profilini gör:

interaktif yetki matrisi — operasyon agent'ı
Seviyeler: oku (salt sorgu) · onaylı yaz (aksiyon insan onayından geçer) · otonom (agent doğrudan yürütür)
ToolGeri alınabilir?Yetki seviyesi

Matrisin karar kuralı iki eksenlidir: geri alınabilirlik ve etki alanı. Geri alınamaz + dış etkili aksiyonlarda (ödeme, müşteri iletişimi, kayıt silme) varsayılan otonomi değil insan kapısıdır. Dar ve önceden onaylı sınırlar, telafi kontrolleri, açık risk kabulü ve güçlü izleme olmadan performans kanıtı tek başına otonomi gerekçesi olamaz. Ayrıca iki yapısal kural: injection zinciri kesilmeli (dış içerik okuyan tool ile aksiyon alan tool arasına kontrol katmanı — Modül 08'in dolaylı injection senaryosu) ve yetki birleşimi ayrıca değerlendirilmeli: tek tek masum iki tool (müşteri verisi oku + e-posta gönder) birlikte veri sızdırma kanalı oluşturur.

2026 tehdit dili: OWASP Agentic Top 10; hedef ele geçirme, tool kötüye kullanımı ve kimlik/ayrıcalık istismarını ayrı risk aileleri olarak tanımlar. Yönetici çevirisi: “model ne kadar doğru?” sorusunun yanına “hangi hedefi kim değiştirebilir, hangi tool hangi kimlikle ve hangi sınırda çalışır?” sorularını koy.

hitl desenleri: insan nereye konur?

"İnsan gözetimi var" cümlesi bir tasarım değil, dört farklı deilgili belirsiz özetidir. Hangi deilgili nerede zorunlu olduğu, yetki matrisinden türer:

Onay kapısı (approval gate)
geri alınamaz / dış etkili aksiyonlarda zorunlu
Agent aksiyonu hazırlar, insan onaylar, sistem yürütür. Test edilecek şey: onay ekranı insana karar verdirecek bilgiyi gösteriyor mu (ne, neden, hangi veriyle) yoksa "onayla" butonundan ibaret mi? İkincisi otomasyon yanlılığını (Modül 01) davet eder — override oranı izlenmezse kapı kozmetikleşir.
Eşik tabanlı yükseltme (escalation)
orta risk aksiyonlarda; tutar/kapsam eşikleriyle
Küçük işler otonom, eşik üstü insana düşer (ör. 5.000 TL altı iade otomatik, üstü onaylı). Test edilecek şey: eşiğin kendisi manipüle edilebilir mi — agent işi 4.999'luk parçalara bölebilir mi? Eşik bölme (structuring) senaryosu, AML'den tanıdık bir test kalıbıdır.
Örneklem incelemesi (sampling)
yüksek hacimli, düşük tekil etkili akışlarda
Aksiyonlar yürür; insan sonradan örneklem denetler. Test edilecek şey: örneklem riske göre mi seçiliyor (anomali ağırlıklı) yoksa rastgele mi; bulgular geliştirmeye geri besleniyor mu? Kota dolmuyorsa (Modül 10'daki V24-029 bulgusu) desen fiilen kapalıdır.
Acil durdurma (kill switch)
her agent'ta istisnasız zorunlu
Agent'ı anında durdurma ve devam eden görevleri güvenli şekilde sonlandırma mekanizması. Test edilecek şey: tatbikatı yapıldı mı — kim basar, kaç saniyede durur, yarım kalan işlemler ne olur? Hiç test edilmemiş kill switch, yangın tatbikatı yapılmamış binadır.
HITL'in agent'a özgü açmazı: döngü hızlandıkça ve adım sayısı arttıkça insanın anlamlı gözetim kapasitesi düşer — 30 adımlık planı 10 saniyede "onaylayan" insan, gözetim değil imza makinesidir. Tasarım ilkesi: insana adımları değil, kararın özetini ve kritik noktalarını göster; onay yükünü azalt ki kalan onaylar gerçek olsun. Gözetimin niceliği değil, niteliği validate edilir.

agent nasıl test edilir: dört teknik

Faz 4'ün önceki teknikleri (eval seti, RAG testleri, red teaming) burada da geçerli; agent onlara dört kendine özgü teknik ekler:

Sandbox'ta uçtan uca görev testi
Hata enjeksiyonu (fault injection)
Adversarial görev testi
İz (trace) analizi
Validasyon lensi: Modül 05'te söylenen ilke burada operasyonelleşir: agent'ta kanıtın ağırlığı testten kontrole kayar. "Her durumda doğru davranır" kanıtlanamaz (davranış uzayı astronomik); kanıtlanabilir olan şudur: "yanlış davranırsa zarar sınırlıdır" — dar yetki matrisi, onay kapıları, adım limitleri, kill switch. Raporunun omurgası görev başarı oranı değil, bu zarar-sınırlama mimarisinin test edilmiş kanıtıdır; başarı oranı onun yanında ikincil metriktir.

Yetki ve işlem güvenliği

Bir ajanın yanıt üretmesi ile dış sistemde işlem yapması farklı sonuçlar doğurur. Araçlar en az yetki, işlem sınırı ve uygun onay noktalarıyla tasarlanır.

Görev başarısı çok adımlı iz üzerinden ölçülür. İnsan kontrolünün hata tespiti, müdahale süresi ve geri alma yeteneği varsayım olarak bırakılmadan test edilir.

anahtar çıkarımlar

agent, sözü eyleme çevirir — risk sınıfı bu yüzden değişir
Çok adımlılık + seçim serbestisi + durum değiştirme: üç özellik agent profilini tanımlar. Halüsinasyon artık yanlış cümle değil, yanlış parametreyle çağrılmış gerçek bir tool'dur.
%95'in tuzağı: hata bileşikleşir
0.95¹⁰ ≈ %60. Ana metrik görev tamamlama oranıdır; ara kontrol noktaları birikimi kırar ve uzun görevlerde mimari zorunluluktur. Adım bazlı loglama olmadan "nerede saptı" sorusu cevapsızdır.
yetki matrisi ana kontroldür: kandırılırsa ne kaybederiz?
Geri alınamaz + dış etkili aksiyonlarda varsayılan insan kapısıdır; performans tek başına otonomi gerekçesi değildir. Yetki birleşimleri ayrıca değerlendirilir; otonomi dar sınırlar ve telafi kontrolleriyle gerekçeli istisnadır.
kanıtın ağırlığı testten kontrole kayar
"Her durumda doğru" kanıtlanamaz; "yanlışsa zarar sınırlı" kanıtlanabilir. Rapor omurgası: yetki matrisi + onay kapıları + kill switch tatbikatı. Otonomi eval'le değil, üretim geçmişiyle kademeli kazanılır.
Uygulama örneği · kurgusal vaka

karar masası: Agent’a ne kadar yetki verirsin?

Senaryo: Müşteri hizmetleri agent’ı ücret iadesi, kart limiti değişikliği ve şikâyet kaydı açabiliyor. Adım başına başarı %97; sekiz adımlı görevlerde uçtan uca başarı belirgin düşüyor. İş birimi düşük tutarlı iadelerde insan onayını kaldırmak istiyor.
Örnek değerlendirmeyi aç
Değerlendirmeİade tutarı, müşteri segmenti ve hata geri alınabilirliğine göre kademeli otonomi uygula. Limit değişikliği ve geri dönüşü zor işlemlerde insan kapısını koru; düşük tutarlı iade için ancak uçtan uca test, işlem limiti ve otomatik durdurma kanıtından sonra kontrollü pilot öner.
Gerekli kanıtTool–eylem–yetki matrisi; görev bazlı başarı ve kritik hata; kimlik/yetki doğrulama; işlem ve hız limiti; duplicate/retry davranışı; insan override testi; rollback/compensation; kill-switch tatbikatı; tam audit log.
Karar kaydıOtonomi onay matrisi: her tool için izin seviyesi, parasal/segment sınırı, zorunlu insan kapısı, canlı eşik, durdurma sahibi ve yeniden validasyon tetikleyicisi.