AI Risk & Validation Framework · 24
AI risk yönetiminde sürdürülebilir işleyiş
AI risk işleyişi; sahiplik, envanter, orantılı inceleme, değişiklik kontrolü ve izleme arasında süreklilik gerektirir. Organizasyon şeması tek başına bu akışın çalıştığını göstermez.
son adım: bir fonksiyon kurmak
Önceki modüller sistemlerin sınıflandırılması, test edilmesi ve izlenmesini ele aldı. Bu bölüm, bu faaliyetleri sürdürülebilir bir kurumsal işleyiş içinde birleştirir: sorumlulukların açıklığı, uzmanlık, karar kayıtları ve öğrenen kontrol süreçleri.
Birçok kurum AI gözetimini mevcut model risk, teknoloji riski, veri, güvenlik ve uyum fonksiyonlarının üzerine kuruyor; bazıları daha merkezî bir yapı geliştiriyor. Başlangıç noktası ne olursa olsun değerlendirme işlevi bir kurucu gibi davranmak: yalnız tekil dosyayı incelemek değil, işin tutarlı ve tekrarlanabilir yapılabileceği yapıyı kurmak. Bu modül o yapının haritasıdır.
Bu modül aynı zamanda serinin senteziyle örtüşüyor: önceki 23 modülün her biri, olgun bir fonksiyonun bir parçasıydı. Envanter (09), metodoloji (10-13), test yetkinliği (14-18), regülasyon uyumu (19-21), görüş üretimi (22). Fonksiyonu kurmak, bu parçaları bir sistem haline getirmektir — ve bunu yaparken serinin tamamını geriye dönük olarak birleştirir.
olgunluk modeli: fonksiyonun neresindesin?
AI validasyon fonksiyonları bir gecede olgunlaşmaz; kademeli ilerler. Nerede olduğunu bilmek, sonraki adımı seçmeni sağlar. Seviyelere tıkla:
Seviye 1Yok / Ad-hoc"AI'ı IT hallediyor"
Seviye 2Tanımlı / Reaktifpolitika var, kapsam dar
Seviye 3Yönetilen / Proaktiftam döngü çalışıyor
Seviye 4Optimize / Stratejikkurumsal kapasiteyi büyütüyor
Olgunluk modelinin dürüst kullanımı: seviyeleri unvan gibi değil, kanıtlanabilir kabiliyet seti gibi oku. İş akışları paralel ilerleyebilir; fakat görünürlük, yöntem, bağımsızlık, izleme ve bulgu kapanışı kurulmadan "stratejik" etiketine geçme. Bir sonraki seviyeye çıkış, sunumla değil aşağıdaki kapıların kanıtıyla olur.
Bir sonraki seviye için beş kanıt kapısı: (1) tanımlı kapsamda envanter kapsama oranı ve sahipliği, (2) tier bazlı metodoloji ve kabul kriteri, (3) çıkar çatışmasından ayrılmış challenge ve karar yetkisi, (4) canlı izleme ile revalidation tetikleyicileri, (5) önem derecesine göre zamanında kapanan ve bağımsız doğrulanan bulgular. Her kapıya ölçü, hedef, kanıt sahibi ve tarih ata; öz değerlendirmeyi iç denetim veya bağımsız ikinci gözle sınat.
ekip ve beceri: elde olan, kurulacak
Modül 13'ün köprü dersini hatırla: AI validasyonu sıfırdan bir ekip değil, mevcut yetkinliğin tercümesi + hedefli yeni beceri gerektirir. En sık yapılan hata, "AI bilen yeni insan" aramak; oysa doğru strateji, eldeki değerli yetkinliği korumak ve etrafına yeni beceri eklemektir:
Elde olan — koru ve tercüme et
İstatistiksel şüphecilik ve bağımsız düşünme (öğretmesi en zor, en değerli)
Effective challenge refleksi ve challenge'ı belgeleme disiplini
Model validasyon metodolojisi (backtesting, stabilite, kalibrasyon)
Regülasyon okuryazarlığı ve komite/rapor iletişimi
Bankacılık ve risk domain bilgisi (kredi, AML, sermaye)
Kurulacak — eğitim ve işe alımla
LLM eval tasarımı ve istatistiği (Modül 14) — öğretilebilir
Güvenlik / red teaming (Modül 08/16) — genelde güvenlik ekibiyle protokol
RAG ve agent mimarisi anlayışı (Modül 15/17) — teknik eğitim
AI Act / ISO 42001 çerçeve bilgisi (Modül 19/20) — kurs + pratik
Prompt ve sistem mühendisliği okuryazarlığı — hands-on
Ekip kompozisyonu stratejisi: çekirdek + köprü. Çekirdek, sol sütunun güçlü olduğu deneyimli validatorlardan oluşur — onlara sağ sütun öğretilir. Köprü ise ihtiyaç duyulan derin teknik beceri için (ör. güvenlik) ya hedefli işe alım ya da başka fonksiyonlarla (güvenlik, veri bilimi) resmî protokoldür. Her şeyi kendi ekibinde toplamaya çalışmak hem pahalı hem yavaştır; orkestrasyon — kimin ne yaptığını koordine etmek — işlevler arası koordinasyonun parçasıdır.
Yönetici notu: Ekip stratejisini tek bir profil stereotipine kurma. Bağımsız yargı, challenge refleksi ve risk disiplini ile LLM eval, güvenlik ve sistem mühendisliğini ayrı ayrı ölç. Güçlü klasik validatorları hedefli olarak geliştir; derin teknik uzmanı da governance ve bankacılık bağlamıyla donat. İşe alım kararını unvana değil, rol bazlı iş örneği ve kanıta dayandır (Modül 13).
Kurulum sırası: görünürlük, süreç, derinlik
Aşağıdaki sıra, bir değerlendirme işlevinin kurulması veya genişletilmesi için örnek bir taslaktır. Aşamaların süresi mevcut kapasite, sistem sayısı ve risklerle belirlenir; evrensel bir tamamlanma süresi yoktur.
Aşama 1Gör ve anla — görünürlük kur
✓
Envanter keşfi: Hangi AI sistemleri var, kayıtlı mı, kim sahibi? Kayıt dışı sistemleri (özellikle Copilot'lar, gömülü modeller) bul (Modül 09/21).
✓
Paydaş haritası: Model sahipleri, IT, güvenlik, hukuk, uyum, komite — kim ne yapıyor, boşluk nerede?
✓
Mevcut durum değerlendirmesi: Olgunluk seviyesi ne (yukarıdaki model)? Mevcut model risk metodolojisi AI'ı ne kadar kapsıyor?
✓
Ekip beceri envanteri: Elde ne var, ne eksik (yukarıdaki iki sütun)?
Aşama 2Çerçeveyi kur — süreç ve öncelik
✓
Tiering ve tanım: Envanter tanımını ve tiering kriterlerini yaz; en riskli sistemleri önceliklendir (Modül 09).
✓
Metodoloji köprüsü: Mevcut metodolojiye "AI sistemleri için ek hükümler" katmanını ekle — sıfırdan yazma (Modül 13/20).
✓
Regülasyon eşlemesi: AI Act sınıflandırması + çok çerçeveli eşleme matrisi başlat (Modül 19/20). En riskli sistemler için AI Act takvimini işaretle.
✓
Hızlı kazanım: En yüksek riskli 1-2 sistem için kapsamı belirlenmiş pilot validasyon başlat; hedef, 60. günde tamamlanmış rapor sözü değil kanıt açığını ve karar yolunu görünür kılmaktır.
Aşama 3Yürüt ve göster — derinlik ve stature
✓
İlk karar çıktısı: Bağımlılıklar izin veriyorsa pilot sistemi tam döngüden geçirip fitness for purpose görüşünü sun; izin vermiyorsa eksik kanıt, go-live ön koşulları, sahip/termin ve komite kararını içeren savunulabilir bir ara görüş üret (Modül 22).
✓
Issues log ve izleme: Bulgu takibi ve izleme altyapısını başlat; ilk eşikleri koy (Modül 10/18).
✓
Kapasite planı: Talep vs kapasite analizini komiteye sun; kaynak/işe alım gerekçesini sayılarla kur (Modül 09).
✓
Yol haritası: Sonraki 6-12 ay için olgunluk hedefi ve düzenleyici radar; komiteye stratejik görünüm sun (Modül 20).
İlk kurulum aşamalarıün en kritik hatalarından biri, başarıyı "tamamlanan validasyon sayısı"na indirgemektir. İlk dönemin daha sağlam çıktıları: kapsama oranı bilinen envanter, onaylanmış tiering, en yüksek riskli sistemler için karar yolu, ölçülebilir kanıt açıkları ve sahipli kapanış planıdır. Önce gör, sonra önceliklendir, sonra derinleş; fakat acil risk varsa geçici kontrol ve eskalasyonu takvim sırasına feda etme.
Kavramları bir kullanım kararında birleştirmek
Envanter, risk kaydı, test, bulgu takibi ve izleme birbiriyle bağlantılı kayıtlardır. Aralarındaki izlenebilirlik, hem kararın dayanağını hem de değişiklik sonrasında neyin yeniden inceleneceğini gösterir.
Kapanış vakasında bu bağlantılar bir RAG asistanının kullanım sınırları üzerinden ele alınır. Son modül, kavramları ve kaynakların statüsünü bir arada sunar.
anahtar çıkarımlar
kurucunun işi, işi yapmak değil, yapının kurulmasıdır
Sürdürülebilir bir değerlendirme işlevi; envanter, yöntem, uygun uzmanlık, bağımsız inceleme ve çalışan kontrol süreçleri gerektirir. Tek bir dosyanın tamamlanması, bu işleyişin tamamının kurulmuş olduğunu göstermez.
olgunluk etiketi değil, çıkış kanıtı üret
Envanter kapsamı, metodoloji, bağımsız challenge, canlı izleme ve doğrulanmış bulgu kapanışı ölçülmeden bir üst seviyeye geçilmiş sayılmaz. İş akışları paralel olabilir; kabul kapıları atlanmaz.
çekirdek + köprü: eldeki yargıyı koru, beceriyi ekle
İstatistiksel şüphecilik, challenge ve domain bilgisiyle LLM eval, güvenlik ve sistem mühendisliğini rol bazında birleştir. Mevcut validatoru geliştir; teknik uzmanı governance bağlamıyla güçlendir.
disiplin kalıcı, araçlar geçici
AI riski model riskinin genişlemesidir; taşıdığın yargı, kanıt disiplini ve komite iletişimi geçerli kalır. Yeni mimari gelince sorular aynı olur — araçları güncellersin, disiplini değil. Bu alan TR'de kurulurken hazır olmak, kuranların arasında olmaktır.
Uygulama örneği · kurgusal vaka
karar masası: İlk kurulum aşamaları için yönetim tercihi
Senaryo: Göreve başladığında 12 AI sistemi, parçalı envanter, ortak metodoloji olmayan üç ekip ve yalnız iki yeni pozisyon bütçesi buluyorsun. Komite kurulum aşamalarıde “tüm sistemlerin validate edilmesini” bekliyor.
Örnek değerlendirmeyi aç
DeğerlendirmeGerçekçi olmayan teslimatı sessizce kabul etme. İlk kurulum aşamalarıü görünürlük, risk bazlı öncelik, asgari metodoloji ve ilk karar çıktısına bağla; kapasite–talep açığını ve ertelenen riski komiteye açıkça sun. İki işe alımı rol boşluğu kanıtına göre yap.
Gerekli kanıtEnvanter kapsama/güven skoru; sistem tier dağılımı; validasyon yaşı ve açık bulgular; yıllık talep/efor; ekip yetkinlik matrisi; bağımsızlık ve karar yetkisi; ortak kontrol sahipleri; dış uzmanlık; düzenleyici radar ve olay geçmişi.
Karar kaydıkurulum aşamalarılük fonksiyon charter’ı: kapsam ve yetki, beş olgunluk kapısı için başlangıç ölçüsü/hedef, öncelikli pilot, RACI, kapasite planı, işe alım gerekçesi, komite takvimi ve 6–12 aylık yol haritası.