veri hareket eder ve dönüşür
Önceki sayfada gördün: bir kredi 12 farklı sistemde yaşıyor. Ama bu sistemler birbirleriyle nasıl konuşuyor? CBS'deki bir güncelleme Risk DWH'a nasıl ulaşıyor — ve bu yolculukta ne kayboluyor, ne bozuluyor?
CS geçmişiyle bu sayfayı okursan tanıdık bir alan: ETL pipeline'ları, batch job'lar, schema mapping, data lineage. Ama bankacılık bağlamında bu kavramlar risk ölçümüne, muhasebe kaydına ve regülatör raporlamasına doğrudan bağlı. Pipeline hatası sessizce büyür ve ancak denetimde ya da model backtesting'de ortaya çıkar.
Bu sayfada veri akışının nasıl çalıştığını, nerede kırıldığını ve "doğru" veriyi bulmak için ne sorman gerektiğini ele alacağız.
ETL pipeline — normal mi, hatalı mı?
Aşağıdaki pipeline bir ticari kredinin veri akışını gösteriyor. Normal akış ile farklı hata senaryolarını karşılaştır. Her düğüme tıklayarak detayları gör.
batch vs gerçek zamanlı
Bankacılık sistemlerinin büyük çoğunluğu hâlâ batch (toplu) işleme dayanıyor. Gece çalışan ETL, gün sonu kapanışları, aylık snapshot'lar. Gerçek zamanlı entegrasyon istisnai, maliyetli ve karmaşık.
- Basit, öngörülebilir, debug edilebilir
- Sistem yüküne göre planlanabilir (gece saatleri)
- Bütünlük kontrolü kolaylaşır (tam set beklenir)
- T+1 gecikme — gün içi hareketler görünmez
- Batch başarısız olursa tüm gün eski veri
- Büyük veri hacimlerinde pencere daralır
- Anlık veri — gün içi karar desteği mümkün
- Limit aşımı anında tespit edilebilir
- Erken uyarı sinyalleri hızlanır
- Altyapı maliyeti yüksek (Kafka, event streaming)
- Kısmi güncelleme riski (partial state sorunları)
- Hata yönetimi çok daha karmaşık
mapping hataları — gerçek senaryolar
ETL'de veri bir sistemden diğerine taşınırken dönüştürülür: sütun isimleri değişir, kodlar çevrilir, agregasyonlar yapılır. Bu dönüşümlerin her adımı potansiyel bir hata noktası. Her senaryoya tıkla.
Temerrüt flag'i ayrı bir alan
"Unlikeliness" kriter dahil değil
CBS'de: Tekstil üretimi
Risk DWH'da: "15" = Gıda sanayi
CBS kur: işlem günü kuru
Kur farkı: %4 sapma
(DPD sayacının başladığı gün)
sistemin flag'i güncellediği tarih
Anlam: "teminat yok"
LGD hesabında: 0 TL teminat
"doğru" veriyi bulmak — hangi sisteme güvenilir?
"Source of truth nedir?" sorusu bankacılıkta yanıtı basit olmayan bir sorudur. Cevap veriye ve amaca göre değişir. Aşağıdaki sorular "doğru" kaynağa ulaşmak için rehber olarak kullanılabilir.
veri kalitesinin 6 boyutu
Bir veri setinin "iyi" olup olmadığını değerlendirmek için tek bir metrik yok. Aşağıdaki 6 boyut, validasyon sürecinde veri kalitesi değerlendirmesinin standart çerçevesini oluşturuyor.