Domanda:
Se una statistica non rivela un significato devo calcolarne la potenza?
stan
2011-06-20 12:06:07 UTC
view on stackexchange narkive permalink

Seguendo il progetto e i dati descritti in questa domanda, ho eseguito una semplice ANOVA a misure ripetute (RM) all'interno di soggetti a senso unico e ho trovato alcuni valori p significativi. Ho quindi applicato i test HSD post-hoc di Tukey non ortogonali e quando ho ottenuto risultati significativi ho applicato la correzione di Holm-Bonferroni (1979). Ogni volta che alcuni valori p sono sopravvissuti alla correzione FWER, ho calcolato IC e media al 95% per i confronti a coppie associati.

La mia domanda è: se non osservo un risultato significativo in nessuno dei passaggi precedenti, devo eseguire un'analisi di potenza per RM ANOVA, applicare test HSD di Tukey o Holm-Bonferroni, oppure devo semplicemente riportare i risultati di RM ANOVA senza farlo l'analisi della potenza?

Il problema è che sto iniziando a immergermi nella biostatistica solo dopo i miei esperimenti, e sfortunatamente non ho eseguito un'analisi della potenza prima.

Ho provato a riformulare la tua domanda e fornire un titolo più illustrativo. Per favore, controlla di non aver alterato il suo significato originale.
Grazie @chl per la modifica :). ma nella parte * "Ho calcolato IC 95% e media per i confronti a coppie associati" * Ho fatto IC 95% e media per ciascun gruppo confrontato. Ma ho ricordato che la differenza tra le medie dei gruppi dipendenti confrontati e l'IC al 95% per la differenza è appropriata. Quindi hai ragione! Ma come calcolarlo in R?
@chl Ho cambiato il titolo ... Probabilmente è OK ...
Quattro risposte:
#1
+15
Freya Harrison
2011-06-20 17:02:54 UTC
view on stackexchange narkive permalink

La visione dura sul calcolo della potenza post-hoc è: non farlo perché è inutile. Russ Lenth dell'Università dello Iowa ha pubblicato un articolo su questo argomento qui (sul suo sito Web ha anche un'applet Java divertente e scherzosa per l'alimentazione post-hoc).

Ulteriori discussioni e riferimenti possono essere trovati anche a pagina 2 nell'articolo che descrive G * Power3: http://www.psycho.uni-duesseldorf.de/abteilungen/aap/gpower3/download-and-register/Dokumente/GPower3- BRM-Paper.pdf (pdf)
@Freua: Facciamo post hoc per verificare il significato dopo una risposta positiva ANOVA, vero? Ho anche considerato un [articolo] (http://beheco.oxfordjournals.org/content/14/3/446.full) di N.Colegrave & G.D.Ruxton. Come principiante posso dire che ci sono molti "ma" :). Alla fine possiamo speculare sui (non) parametrici
#2
+7
Aaron left Stack Overflow
2011-06-21 06:26:34 UTC
view on stackexchange narkive permalink

Per inciso, quello di Tukey non dipende dal fatto che i risultati ANOVA siano significativi; puoi avere differenze significative a coppie anche quando l'ANOVA complessivo non è significativo.

Vale a dire, se hai intenzione di fare confronti a coppie corretti da Tukey, non preoccuparti di controllare prima il significato generale . Se esegui i confronti Tukey solo dopo aver ottenuto un valore p complessivo significativo, stai correggendo eccessivamente.

(Sono sicuro che questo sia vero con l'ANOVA regolare; è possibile che con misure ripetute o meno -ortogonalità succede qualcos'altro; a qualcuno interessa intervenire?)

Infine, per essere d'accordo con Freya ma per fornire un po 'più di guida, invece di un test di potenza post-hoc, una cosa più ragionevole da segnalare sarebbe essere gli intervalli di confidenza; mostrano esattamente la grande differenza che il tuo esperimento avrebbe potuto rilevare, che di solito è ciò che le persone cercano quando vogliono comunque un test di potenza post-hoc.

Grazie per la tua risposta. Questo è qualcosa che mi interessa, perché alcuni libri di testo dicono che i confronti Tukey HSD non dovrebbero essere fatti se il test complessivo non è significativo. Ho fatto alcune simulazioni che hanno mostrato che gli intervalli di confidenza di Tukey HSD hanno la copertura corretta indipendentemente dal significato del test complessivo, quindi non capisco bene la raccomandazione di usarli solo se il test complessivo è significativo. Mi interesserà sentire altre opinioni.
sicuramente con te nella segnalazione degli elementi della configurazione. L'articolo di Colegrave & Ruxton che @stan ha citato ha una bella spiegazione di questo, che citerò: "Quello che ci interessa è la descrizione delle possibili dimensioni degli effetti che sono supportate dai dati che abbiamo, e il possibile effetto dimensioni non supportate. [...] Se il test non era significativo, l'intervallo di confidenza per la dimensione dell'effetto sarà pari a zero. Tuttavia l'ampiezza di tale intervallo di confidenza fornisce un'indicazione della probabilità che la dimensione dell'effetto reale sia zero. "
#3
+1
Susie
2012-05-26 09:48:20 UTC
view on stackexchange narkive permalink

La maggior parte dei libri di testo sostiene che sia corretto fare un post hoc come quello di Tukey solo con una f significativa. Se scegli il confronto pianificato basato sulla teoria, una F non significativa andrebbe bene ... Quello di Tukey è un test abbastanza conservativo che in genere non mostrerà significato se f non è significativo. Quale valore stai usando per il quadrato medio all'interno per calcolare quello di Tukey? Si suppone che gli intervalli di confidenza utilizzino anche il quadrato medio con stime di varianza separate.

grazie per la tua risposta. Mi scusi, non sono sicuro di aver capito la domanda ... Uso SAS con impostazioni predefinite, incluso il quadrato medio ... Ci sono progressi oltre l'HSD di Tukye?
#4
+1
RioRaider
2012-08-01 06:27:46 UTC
view on stackexchange narkive permalink

Un'altra buona discussione sulle insidie ​​della stima della potenza post-hoc si trova in:

Gerard, P. D., D. R. Smith e G. Weerakkody. 1998. Limiti dell'analisi retrospettiva del potere. Journal of Wildlife Management 62: 801-807 [ link].



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...