Domanda:
Test AB bayesiano
Bi-Gnomial
2011-09-01 05:11:38 UTC
view on stackexchange narkive permalink

Sto eseguendo un test AB su una pagina che riceve solo 5.000 visite al mese. Ci vorrebbe troppo tempo per raggiungere i livelli di traffico necessari per misurare una differenza di + -1% tra test e controllo. Ho sentito che posso usare le statistiche bayesiane per darmi una buona possibilità di determinare se il test ha superato le prestazioni. Come posso utilizzare le statistiche bayesiane per analizzare i miei dati attuali?

  Visitors ConversionsControl 1345 1165Test A 961 298Test B 1274 438  
Non è possibile aggirare i limiti delle dimensioni del campione con la magia bayesiana.Raccogli i tuoi dati.
Tre risposte:
#1
+10
Lenwood
2012-11-05 01:51:29 UTC
view on stackexchange narkive permalink

Sto risolvendo le stesse domande. Ora ci sono un paio di articoli utili che non erano disponibili quando hai posto questa domanda.


"Test A / B bayesiano con teoria e codice" di Antti Rasinen - la conclusione logica di una serie incompleta di articoli "Inferenza bayesiana esatta per test A / B" di Evan Haas (parzialmente recuperati qui parte1 e parte2).

Il coniugato precedente per la distribuzione binomiale è la distribuzione beta. Pertanto la distribuzione del tasso di conversione per una variante è la distribuzione beta. Puoi risolvere $ Pr (A > B) $ numericamente o esattamente. L'autore fa riferimento a un saggio scritto dallo stesso Bayes, "Un saggio verso la risoluzione di un problema nella dottrina delle possibilità".


"Proporzionato A / B Testing "di Ian Clarke - L'autore spiega che la distribuzione beta è la chiave per capire come applicare una soluzione bayesiana al test A / B. Discute anche dell'uso di Thompson Sampling per determinare i valori precedenti di $ \ alpha $ e $ \ beta $ .


"Capitolo 2: Un po 'di più su PyMC" dal libro "Bayesian Methods for Hackers" di Cam Davidson Pilon - Questo è un libro iPython che spiega i metodi bayesiani in una serie di applicazioni. Circa a metà del Capitolo 2 (il titolo della sezione è Esempio: test A / B bayesiano ), l'autore fornisce una spiegazione dettagliata di come calcolare la probabilità che A sia migliore di B (o viceversa) utilizzando la libreria pymc. Viene fornito il codice Python completo, inclusa la rappresentazione grafica dei risultati.


Ora ci sono anche una serie di calcolatori di significatività bayesiani online:

(+1) grazie mille, davvero molto utile
Puoi aggiungere una panoramica delle informazioni negli articoli, in modo che le persone possano dire se vogliono seguirle e nel caso in cui i link vadano persi?Puoi anche fornire citazioni complete nel caso in cui i link vadano persi?
#2
+8
steffen
2011-09-01 13:00:04 UTC
view on stackexchange narkive permalink

È possibile eseguire un'integrazione Monte-Carlo degli intervalli credibili di ciascun gruppo rappresentato da distribuzioni beta per calcolare la probabilità che il vero parametro sconosciuto di un gruppo sia migliore del vero parametro sconosciuto di un altro gruppo. Ho fatto qualcosa di simile a questa domanda In che modo un frequentista calcola la possibilità che il gruppo A superi il gruppo B per quanto riguarda la risposta binaria dove prove = visitatori e prove di successo = conversioni

MA: Attenzione che Bayes ti darà solo probabilità soggettive a seconda dei dati raccolti finora, non la "verità" oggettiva. Ciò è radicato nella differenza di filosofia tra frequentisti (che usano test statistici, valori p, ecc.) E Bayesiani. Quindi non ci si può aspettare di rilevare una differenza significativa utilizzando Bayes quando le procedure statistiche non riescono a farlo.

Per capire perché questo è importante, potrebbe essere utile imparare prima la differenza tra l'intervallo di confidenza e l'intervallo credibile, poiché la suddetta integrazione MC confronta "solo" due intervalli credibili indipendenti tra loro.

Per ulteriori dettagli su questo argomento vedere ad es queste domande:

#3
  0
cbellei
2017-11-16 00:20:01 UTC
view on stackexchange narkive permalink

Esistono diversi approcci per eseguire test A / B bayesiani.

Prima di tutto, dovresti decidere se vuoi usare un approccio analitico (usando distribuzioni coniugate come menziona Lenwood) o un approccio MCMC. Per semplici esperimenti A / B, in particolare sul tasso di conversione, come è il tuo caso, non è davvero necessario utilizzare un approccio MCMC: utilizza solo una distribuzione Beta come precedente e anche la tua distribuzione posteriore sarà una distribuzione Beta.

Quindi, devi decidere quale regola decisionale applicare. Qui sembrano esserci due approcci principali per il processo decisionale. Il primo è basato su un documento di John Kruschke dell'Università dell'Indiana (K. Kruschke, Bayesian Estimation Supersedes the t Test, Journal of Experimental Psychology: General, 142, 573 (2013).). La regola decisionale utilizzata in questo documento si basa sul concetto di regione di equivalenza pratica (ROPE).

Un'altra possibilità è utilizzare il concetto di perdita attesa. È stato proposto da Chris Stucchio (C. Stucchio, Bayesian A / B Testing at VWO).

In linea di principio, potresti utilizzare una regola decisionale diversa.

Puoi trovare questo e molto altro in questo post del blog: Bayesian A / B Testing: a step-by-step guide. Include anche alcuni frammenti di codice Python e utilizza un progetto Python ospitato su Github.



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 3.0 con cui è distribuito.
Loading...