Domanda:
Stima della regressione lineare con OLS vs. ML
MarkDollar
2011-07-21 15:06:50 UTC
view on stackexchange narkive permalink

Supponi di stimare una regressione lineare dove presumo $ u \ sim N (0, \ sigma ^ 2) $. Qual è il vantaggio di OLS rispetto alla stima ML? So che abbiamo bisogno di conoscere una distribuzione di $ u $ quando usiamo i metodi ML, ma poiché presumo $ u \ sim N (0, \ sigma ^ 2) $ se uso ML o OLS questo punto sembra essere irrilevante. Quindi l'unico vantaggio di OLS dovrebbe essere nelle caratteristiche asintotiche degli stimatori $ \ beta $. Oppure abbiamo altri vantaggi del metodo OLS?

Tre risposte:
#1
+14
ocram
2011-07-21 15:23:57 UTC
view on stackexchange narkive permalink

Utilizzando le solite notazioni, la probabilità di log del metodo ML è

$ l (\ beta_0, \ beta_1; y_1, \ ldots, y_n) = \ sum_ {i = 1} ^ n \ left \ {- \ frac {1} {2} \ log (2 \ pi \ sigma ^ 2) - \ frac {(y_ {i} - (\ beta_0 + \ beta_1 x_ {i})) ^ {2} } {2 \ sigma ^ 2} \ right \} $.

Deve essere massimizzato rispetto a $ \ beta_0 $ e $ \ beta_1 $.

Ma è facile vedere che questo equivale a ridurre al minimo

$ \ sum_ {i = 1} ^ {n} (y_ {i} - (\ beta_0 + \ beta_1 x_ {i})) ^ {2} $.

Quindi, sia ML che OLS portano alla stessa soluzione.

Maggiori dettagli sono forniti in queste simpatica lezione note.

Grazie per la tua risposta ocram. È chiaro che entrambi i metodi portano alla stessa soluzione. Ma l'OLS dovrebbe essere più potente poiché gli stimatori sono più efficienti degli stimatori ML, no? Mi chiedo quali siano le differenze e i vantaggi di entrambi i metodi nel contesto quando si assume $ u \ sim N (0, \ sigma ^ 2) $ e mi interessano le caratteristiche degli stimatori. I valori per $ \ beta $ sono identici, ma ho in mente che le caratteristiche asintotiche degli stimatori OLS sono preferibili. grosso modo: se ML e OLS danno gli stessi risultati e le stesse caratteristiche degli stimatori, perché dovremmo usare OLS?
Lo stimatore di massima verosimiglianza * è * OLS. Poiché sono esattamente gli stessi, avranno le stesse proprietà asintotiche.
#2
+4
Greg Snow
2011-07-21 22:35:24 UTC
view on stackexchange narkive permalink

Ti stai concentrando sulla parte sbagliata del concetto nella tua domanda. Il bello dei minimi quadrati è che fornisce una bella risposta facile indipendentemente dalla distribuzione, e se la vera distribuzione sembra essere normale, allora è anche la risposta di massima probabilità (penso che questo sia il Gauss-Markov). Quando hai una distribuzione diversa dal normale, ML e OLS daranno risposte diverse (ma se la distribuzione vera è vicina al normale, le risposte saranno simili).

#3
  0
Druss2k
2012-12-09 20:10:10 UTC
view on stackexchange narkive permalink

l'unica differenza per i campioni finiti è che lo stimatore ML per la varianza residua è distorto. Non tiene conto del numero di regressori utilizzati nel modello.



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...