Sayısal Temeller · Faz IV — Lineer Cebir

Modül 18 — SVD ve Boyut İndirgeme

temel fikir

Her matris — kare ya da simetrik olmak zorunda değil — üç özel matrisin çarpımına ayrıştırılabilir: A = UΣV^T. U ve V ortogonal matrisler (döndürmeler), Σ ise azalan tekil değerlerin diyagonal matrisi. Bu ayrışım hem teoride en temel hem de pratikte en çok kullanılan matris ayrışımıdır.

SVD'nin en güçlü uygulaması: ilk k tekil değeri tutup geri kalanını sıfırlamak, matrisin "rank-k en iyi yaklaşımını" verir (Eckart-Young teoremi). Bu hem gürültü giderme hem de boyut indirgeme anlamına gelir.

Tekil Değer Ayrışımı

A = U Σ V^T

U: sol tekil vektörler (m×m ortonormal) · Σ: tekil değerler (σ₁≥σ₂≥…≥0) · V: sağ tekil vektörler (n×n ortonormal)

Eckart-Young Teoremi

||A − A_k||_F = √(σ_k+1² + …)

A_k = ∑ᵢ₌₁ᵏ σᵢ u_i v_i^T en iyi rank-k yaklaşım · Frobenius normu minimumu · PCA = SVD of centered data

SVD ile düşük rank yaklaşımı, seçilen rank için Frobenius normundaki karesel yeniden kurma hatasını en aza indirir. Ölçüm birimleri ve merkezleme tercihi hangi yapının korunduğunu değiştirir.

SVD Yaklaşım Merkezi

16×16 matris: rank-2 yapı + gürültü. Sol: orijinal. Sağ: rank-1 yaklaşım. k arttıkça gerçek yapı belirir, sonra gürültü eklenir.

Rank k (tutulan tekil değer sayısı)

k = 1

Negatif

Pozitif |—|

Açıklanan Varyans
—

Frobenius Hatası

—

σ₁ / σ₂ oranı

—

Kararlı Rank (‖A‖²_F / σ²₁)

—

SVD ile PCA arasındaki köprü

Merkezi veri matrisi X'in (m×n, her satır bir gözlem) SVD'si: X = UΣV^T. PCA'daki kovaryans matrisi (1/(m−1))·X^T X = V (Σ²/(m−1)) V^T — yani PCA özdeğerleri = SVD tekil değerlerinin karesi / (m−1), PCA özbileşen yönleri = SVD sağ tekil vektörleri (V sütunları). Birinci bileşen skoru = U[:,0] × σ₁. Bu yüzden hesaplamalı PCA genellikle kovaryans matrisi değil, veri matrisinin doğrudan SVD'si ile yapılır: sayısal kararlılık açısından daha güvenilirdir.

LGD matrisinde büyük bir ilk tekil değer ortak bir örüntüye işaret edebilir; fakat %80 açıklanan varyans tek faktörlü modelin yeterli olduğunu kanıtlamaz. Segment bazında hata, stres dönemi kararlılığı ve out-of-sample performans ayrıca sınanmalıdır.

Yöntemler ve birincil referanslar: Sözlük ve kaynaklar.

← Modül 17 Modül 19 — Çok Değişkenli Kalkulüs ve Gradyan →