18 · Backtesting & P&L Attribution

Faz 4 · Model Geçerleme

Backtesting: modelin sınavı

Backtesting, günlük VaR tahminlerini gerçek günlük P&L ile karşılaştırır. Temel soru basit: Model, kayıpların %1'inin VaR'ı aşmasını bekliyor — gerçekte bu oran nedir?

250 iş günü boyunca %99 VaR için model altında beklenen aşım sayısı yaklaşık 2,5'tir. Fazla exception modelin riski hafife aldığını gösterebilir; çok az exception ise aşırı muhafazakârlık ihtimalini düşündürür ama tek başına kanıt değildir. Kümelenme, bağımsızlık, rejim değişimi ve veri kalitesi birlikte incelenir.

Klasik Basel trafik ışığı %99 VaR exception sayımına dayanır. FRTB'de bank-wide ve desk düzeyi backtesting, bir günlük VaR'ı hem APL hem HPL ile ve desk düzeyinde %97,5 ile %99 eşiklerinde değerlendirir. PLAT ise APL-HPL farkını değil, RTPL ile HPL dağılımlarını karşılaştırır.

Hypothetical P&L (HPL)

Actual P&L (APL)

Nedir? VaR modelinin varsaydığı sabit portföy ile hesaplanan günlük P&L. Gün boyunca işlem yapılmamış gibi — sadece piyasa hareketinden kaynaklanan değişim.

Neden önemli? Sabit portföy varsayımı model kapsamını daha temiz sınar. FRTB backtesting'de bir günlük VaR hem HPL hem APL ile ayrı ayrı karşılaştırılır.

Nedir? Trader'ın gün içinde yaptığı işlemler, komiser giderler, yeni pozisyonlar dahil tüm gerçek P&L.

Neden farklı? Gün içi işlemler, ücret/komisyonlar ve yeni pozisyonlar gibi kalemler içerir. FRTB backtesting APL ve HPL'yi ayrı karşılaştırmalarda kullanır; aralarındaki fark günlük uzlaştırma ve veri/süreç kontrolü için önemlidir. PLAT'ın doğrudan çifti ise RTPL–HPL'dir.

Regülasyon Çerçevesi

Basel trafik ışığı sistemi

250 günlük pencerede exception sayısı belirli eşikleri aştığında sermaye çarpanı veya desk uygunluğu etkilenir. FRTB sermayeyi %97,5 ES ile ölçse de backtesting'i bir günlük VaR üzerinden, desk düzeyinde %97,5 ve %99 güven düzeylerinde sürdürür; ES'nin kendisi trafik ışığıyla doğrudan backtest edilmez.

Trafik Işığı — Exception Sayısı & Sonuçları

250 günlük pencerede %99 VaR için teorik beklenti ≈ 2.5 exception

🟢 Yeşil Bölge

0 – 4

250 günde 0-4 exception. İstatistiksel olarak model kalibrasyonu kabul edilebilir.

Backtesting kaynaklı ek yük yoktur; IMA uygunluğu desk testleri ve diğer şartlarla birlikte değerlendirilir.

🟡 Sarı Bölge

5 – 9

250 günde 5-9 exception. Olası ama endişe verici. Regülasyon incelemesi başlar.

Backtesting bağımlı çarpan 1,70–1,92 aralığına yükselir; her aşım belgelenip kök nedeni incelenir.

🔴 Kırmızı Bölge

≥ 10

250 günde 10+ exception. Model ciddi ölçüde yetersiz sayılır.

Backtesting bağımlı çarpan 2,00 olur; denetçi ciddi model sorunu varsa IMA kullanımını kaldırabilir.

Exception sayısı 2

İnteraktif — Exception Simülatörü

VaR vs gerçek P&L: 250 günlük tablo

Aşağıda simüle edilmiş 250 günlük backtesting grafiği var. Model kalibrasyonu ve piyasa volatilite rejimini değiştirerek exception profilinin nasıl şekillendiğini gör.

Backtesting Grafiği — 250 Günlük Pencere

VaR çizgisi (siyah) ile günlük P&L (gri çubuk). Kırmızı çubuk = VaR aşımı (exception).

Model kalibrasyonu

Volatilite rejimi

0

Toplam exception

—

Trafik ışığı

—

Exception oranı

—

Kümelenme var mı?

İnteraktif — P&L Attribution Testi

FRTB: model P&L'i gerçekten açıklıyor mu?

FRTB'de P&L attribution (PLAT) testi, risk modeli tarafından hesaplanan "risk theoretical P&L" ile hypothetical P&L'i karşılaştırır. Yeterli uyum yoksa model yeterliliği sorgulanır ve bant sistemi devreye girer.

İki temel metrik: Spearman korelasyonu (sıralama uyumu) ve Kolmogorov-Smirnov istatistiği (dağılım uyumu). Her ikisinin de eşikleri geçmesi gerekir.

RTPL vs HPL — Saçılım Grafiği

Risk Theoretical P&L (x) ve Hypothetical P&L (y) karşılaştırması. İyi model: noktalar 45° çizgiye yakın.

Model uyumu (ρ) 0.85

Bias (systematic offset) 0%

0.85

Spearman ρ

0.068

KS istatistiği

Yeşil Bant

FRTB PLAT Sonucu

FRTB bant sistemi: PLAT yeşil bant desk uygunluğunu destekler; sarı bant desk IMA kapsamında kalırken ek sermaye doğurur; kırmızı bant desk'i IMA için uygunsuz kılar. Kalibrasyon değişiklikleri ekonomik gerekçe ve bağımsız validasyonla desteklenmeli; yalnızca test bandını iyileştirmek amacıyla ayar yapılmamalıdır.

FRTB Kavramı

NMRF: modellenemeyen risk faktörleri

FRTB'nin en kritik yeniliklerinden biri: her risk faktörü "modellable" (RFET testini geçen) ve "non-modellable" (NMRF) olarak ikiye ayrılıyor. NMRF için iç ES'den ayrı bir stres senaryosu sermaye yükü hesaplanır; büyüklük faktöre ve portföye göre değişir.

Non-Modellable Risk Factor (NMRF)

Hangi risk faktörleri NMRF sayılır?

Risk Factor Eligibility Test (RFET) iki alternatiften biriyle geçilir: yılda en az 24 gerçek fiyat gözlemi ve önceki 12 ayda hiçbir 90 günlük dönemde dörtten az gözlem olmaması; veya önceki 12 ayda en az 100 gerçek fiyat gözlemi. Günde en fazla bir gözlem sayılır ve temsil edilebilirlik ayrıca kanıtlanır.

NMRF örnekleri

· Likit olmayan EM döviz opsiyon volatiliteleri
· Çok uzun vadeli IRS (30Y+) faiz noktaları
· Egzotik ürünlerin korelasyon parametreleri
· Nadir işlem gören kredi referansları

Sermaye sonucu

NMRF faktörler için IMA ES değil, ayrı "SES_NM" (stressed ES, non-modellable) hesaplanır. Genellikle çok daha yüksek. Bu durum bankaların likit ürünleri tercih etmesini teşvik eder — eksik veri → yüksek sermaye.

Güncel Regülasyon — PLAT Eşikleri (Kesin Değerler)

Yeşil / sarı / kırmızı: tam sayılarla

PLAT testi desk seviyesinde çalışır (banka geneli değil) ve iki metrik üç bölge üretir. Basel'in revize ettiği güncel eşikler:

Metrik

Yeşil eşik

Kırmızı eşik

Spearman korelasyonu (sıralama uyumu)

≥ 0.80

< 0.70

KS istatistiği (dağılım uyumu)

≤ 0.09

> 0.12

Sonuç ve eskalasyon: İki metrik de yeşil eşikteyse desk yeşil; biri kırmızı eşikteyse kırmızı; arası sarı. Sarı desk IMA'da kalır ama bir sermaye ek yükü öder; kırmızı desk IMA'dan çıkıp standart yaklaşıma (SA) geçer ve ancak yeniden yeşile dönüp testleri geçtikten sonra IMA'ya dönebilir. Backtesting ayrıca desk başına 97.5% ve 99% düzeyinde de yapılır; aşımlar IMA çarpanını (m_c) ve dolayısıyla sermayeyi artırır. Validasyon: RTPL ve HPL aynı fiyatlama/veri ile mi üretiliyor — aradaki fark gerçek model eksikliği mi, yoksa sadece besleme/zamanlama uyuşmazlığı mı? PLAT başarısızlıklarının en sık nedeni ikincisidir.

Özet

Bu sayfadan ne götürmelisin?

Anahtar çıkarımlar

Backtesting: bir günlük VaR, APL ve HPL ile ayrı karşılaştırılır; exception sayısı, kümelenmesi ve nedeni birlikte değerlendirilir
Trafik ışığı: 0–4 yeşil; 5–9 amber ve ek yük; 10+ kırmızı, çarpan artışı ve olası IMA kullanım yasağı
HPL sabit portföyün piyasa hareketi kaynaklı sonucudur; APL gün içi işlemler ve ücretler dahil gerçekleşen sonuçtur
P&L attribution testi (PLAT): risk modeli HPL'i ne kadar açıklıyor? Spearman ve KS metrikleri ile ölçülür
NMRF: RFET'i geçmeyen faktör iç ES'den ayrılır ve ayrı stres senaryosu sermaye yüküne tabi olur; etki portföy ve faktöre göre değişir
Validasyonda: exception kümelenimi (clustering) model yetersizliğinin önemli sinyali — rassal dağılmak yerine kümeli aşımlar kalibrasyon sorununa işaret eder