Sayısal Temeller · Faz V — Türev ve Optimizasyon

Modül 20 — Optimizasyon: Gradient Descent ve Newton Yöntemi

temel fikir

∇f(x) = 0 denklemini analitik olarak çözmek çoğu zaman mümkün değildir. Bunun yerine iteratif algoritmalar kullanılır: her adımda mevcut gradyan bilgisini (ve Newton için ikinci türevi de) kullanarak minimum yönünde bir adım atılır. Öğrenme hızı η, adım uzunluğunu belirler — çok küçük: yavaş yakınsama, çok büyük: ıraksamalı salınım.

Gradient Descent

x_k+1 = x_k − η ∇f(x_k)

η: öğrenme hızı · Lineer yakınsama · Koşul sayısı yüksekse yavaş · Hesaplama: O(n)

Newton-Raphson

x_k+1 = x_k − H⁻¹∇f(x_k)

H: Hessian matrisi · Kuadratik yakınsama · Daha az adım, pahalı adım · Hesaplama: O(n²) veya O(n³)

Yerel optimizasyonun ulaştığı nokta başlangıç değerine ve adım büyüklüğüne bağlıdır. Newton yönü, Hessian pozitif tanımlı değilse azalış yönü olmayabilir; bir algoritmanın durması küresel minimum bulunduğunu göstermez.

Optimizasyon Simülatörü

Arka plan: f değer ısı haritası. Renkli yol: optimizasyon yörüngesi (kırmızı=başlangıç, mavi=son). Newton: tek adımda ulaşıyor mu?

Algoritma:

Başlangıç x₀

x₀ = +2.00

Başlangıç y₀

y₀ = +1.50

Öğrenme hızı η

η = 0.20

GD Adım Sayısı

—

GD Son f(x)

—

Newton Adım Sayısı

—

Newton Son f(x)

—

öğrenme hızı ve yakınsama

Kuadratik, pozitif kesin Hessianlı bir amaçta sabit adım için 0<η<2/λ_max(H) yakınsamayı sağlar; genel düzgün konveks fonksiyonda benzer ifade Lipschitz sabiti L ile kurulur. Newton yerel olarak çok hızlı olabilir, fakat Hessian tekil/belirsizse yön iniş yönü olmayabilir. Damping, line search veya trust-region bu yüzden kullanılır.

Lojistik regresyonda Newton–Raphson/IRLS, uygun koşullarda az iterasyonda yakınsar. Yine de “10×” gibi sabit hız üstünlüğü veya belirli bir düzenleyici tarafından algoritma tercihi yoktur; sayısal kararlılık, ayrışma, düzenlileştirme ve tekrarlanabilirlik belgelenir.

Yöntemler ve birincil referanslar: Sözlük ve kaynaklar.

← Modül 19 Modül 21 — Kısıtlı Optimizasyon: Lagrange ve Markowitz →