Modül 11 — Nokta Tahmini: MLE ve Momentler Yöntemi
temel fikir
Elimizde bir veri seti var ve bu verinin hangi dağılımdan geldiğini biliyoruz — ama parametreyi bilmiyoruz. MLE soruyor: hangi parametre değeri bu veriyi en "makul" kılar? Momentler yöntemi ise daha doğrudan: örnek momentleri (ortalama, varyans) teorik momentlere eşitle ve parametreleri çöz. Her iki yaklaşım da çoğu standart dağılım için aynı sonucu verir; ama bazı durumlarda ciddi biçimde ayrışır.
tahmin edici özellikleri
Her tahmin edici üç açıdan değerlendirilir. Sapmasızlık (Unbiasedness): E[θ̂] = θ. Tahmin edici ortalamada doğru muydu? Tutarlılık (Consistency): n → ∞ iken θ̂ → θ (olasılıkla). Daha fazla veri gerçeğe yaklaştırıyor mu? Etkinlik (Efficiency): Varyansı mümkün olan minimum'da mı? Bu minimum, Fisher bilgi matrisi tarafından Cramér-Rao sınırı ile belirlenir. n bağımsız gözlem için sınır Var[θ̂] ≥ 1/(n·I(θ))’dır; burada I(θ) tek gözlemin Fisher bilgisidir. (n’i unutmak sınırı n kat gevşetir: Exp(λ), λ=1, n=20 için doğru sınır 0,05 iken 1 bulunur.)
Doğru tanımlanmış ve düzenlilik koşullarını sağlayan modellerde MLE çoğunlukla tutarlı, asimptotik normal ve asimptotik etkindir. Bu sonuçlar sonlu örneklem garantisi değildir. Örneğin Normal dağılım varyansı için MLE σ̂²=(1/n)Σ(xᵢ−x̄)² sapmalıdır; sapmasız örnek varyansı paydada n−1 kullanır.
Veri histogramı üzerine seçilen θ için PDF örtülüyor. Log-likelihood eğrisinde θ'yı sürgüleyin ve MLE noktasına ulaşın.
MLE'nin asimptotik özellikleri
n → ∞ iken MLE θ̂ üç özelliği sağlar. Tutarlılık: θ̂ →ₚ θ₀ (gerçek değer). Asimptotik normallik: √n(θ̂ − θ₀) → N(0, 1/I(θ₀)) dağılımına sahiptir. Etkinlik: Cramér-Rao sınırını asimptotik olarak elde eder. Fisher bilgi sayısı I(θ) = E[−∂²logf/∂θ²] — likelihood eğrisinin eğriliğini ölçer (eğimini değil; eğim maksimumda zaten sıfırdır). Eğri daha sivri ise I büyük, Var[θ̂] küçük demektir.
Yöntemler ve birincil referanslar: Sözlük ve kaynaklar.