Mi è piaciuto molto il problema dei carri armati tedeschi.Mostra come i dati che di solito sono considerati irrilevanti diventano informazioni preziose nelle mani di uno statistico.Inoltre, mi è piaciuta la legge dei piccoli numeri e la errore del tasso di base.

R vs Sally Clark è un famoso caso di una donna condannata per omicidio perché il tribunale non era a conoscenza delle statistiche e dei principi di base delle probabilità.

Ma se devo dire la cosa che mi ha colpito di più, quando ho iniziato a studiare statistica, è stata la regressione alla media, che ha anche dato il nome alla regressione statistica (anche se èuna cosa completamente diversa).Il vincitore del premio Nobel (per l'economia, anche se è uno psicologo) Daniel Kahneman ha raccontato un aneddoto affascinante su come si è reso conto di come la regressione alla media possa portare le persone a false credenze.

Edit: Un'altra storia molto interessante che mi è appena venuta in mente e che riguarda invece l'importanza dei dati mancanti, è quella di Abraham Wald e dei fori di proiettile degli aerei da guerra.

Per illustrare dove fallisce l'intuizione ordinaria , il paradosso di Monty Hall è un ottimo inizio.

Se il campionamento fa parte del tuo corso, è difficile battere Dewey batte Truman

Un altro caso interessante di quanto possa andare male il gioco d'azzardo è l'esempio del Casinò di Monte Carlo.

In una partita di roulette al Casinò di Monte Carlo il 18 agosto 1913, la pallina cadde in nero 26 volte di seguito.Questo è stato un evento estremamente raro: la probabilità che una sequenza di rosso o nero si verifichi 26 volte di seguito è di circa 1 su 66,6 milioni, supponendo che il meccanismo non sia corretto.A quel tempo, Gamblers ha perso milioni di franchi scommettendo contro il nero, ragionando in modo errato che la serie di vittorie stava causando uno squilibrio nella casualità della ruota e che doveva essere seguita da una lunga striscia di rosso.

L'errore del giocatore e La rovina del giocatore forniscono una buona spiegazione per questo esempio.

Trovo il falso paradosso positivo notevole perché è così controintuitivo. Un buon esempio:

Lo screening del cancro della popolazione generale non aumenta l'aspettativa di vita, anche se chiaramente si salvano vite perché alcuni tumori vengono diagnosticati precocemente e possono essere trattati meglio. Di conseguenza, la Task Force per i servizi preventivi degli Stati Uniti ha smesso di raccomandare lo screening di routine per le donne di età compresa tra 40 e 49 anni nel 2009.

Questo è un buon materiale didattico perché è un esempio di vita reale non banale che riguarda quasi tutti ad un certo punto della loro vita. C'è un articolo del National Cancer Institute qui.

Il ragionamento va così:

• Il numero di casi di cancro è piccolo, quindi il "numero necessario per il trattamento" (leggi: schermo) è grande.
• I test sono abbastanza affidabili. Ma il basso tasso di incidenza porta a un numero elevato di falsi positivi assoluti con la conseguenza di un gran numero di biopsie non necessarie (> il 90% sono falsi positivi).
• Gli episodi di cancro rientrano in uno dei seguenti sottogruppi:
  1. Tumori aggressivi che uccideranno il paziente, qualunque cosa accada.
  2. Tumori lenti che non uccideranno il paziente prima che muoia per altre cause. Il rilevamento di questi è chiamato sovradiagnosi. Dal documento USPSTF: "Anche con la stima prudente di 1 caso su 8 di cancro al seno sottoposto a diagnosi eccessiva, per ogni donna che evita una morte per seno cancro attraverso lo screening, 2-3 donne saranno trattate inutilmente. "
  3. Tumori che saranno curabili anche se rilevati in ritardo, senza screening.
  4. Tumori che sono abbastanza aggressivi da uccidere il paziente se rilevati in ritardo, ma sono comunque curabili se rilevati precocemente.

Solo la classe 4 beneficia dello screening, a scapito di un gran numero di visite ospedaliere non necessarie, biopsie non necessarie e molte notti insonni.Tutti questi sono rischi per la salute piccoli ma misurabili che si accumulano sul gran numero necessario per il trattamento, superando il vantaggio reale per il piccolo numero nel sottoinsieme 4.

Legge di Benford:

Descritto qui. Le cifre non vengono visualizzate con una frequenza uniforme davanti ai numeri, ma seguono piuttosto uno schema specifico: la cifra 1 è la più probabile che sia la prima cifra, con il 30% di probabilità, seguita da 2 (17,6% di probabilità), e così via il. L'immagine seguente (da Wikipedia) mostra la frequenza di ogni cifra all'inizio di ogni numero, in alcuni set di dati presenti in natura:

Ci sono determinate condizioni in base alla legge (ad esempio, i dati dovrebbero estendersi su più scale, quindi cose come l'altezza delle persone non sono ammissibili), ma è abbastanza generico.

Forse l ' applicazione più sorprendente è nel rilevamento delle frodi. Ciò si basa sul presupposto che le persone che tentano di fabbricare figure tendono a distribuire le cifre in modo uniforme, violando così la legge di Benford.

Ricordo che una volta stavo spiegando questo a una classe e durante la pausa uno degli studenti ha tirato fuori un foglio di calcolo contabile della sua azienda, in cui aveva cercato di convalidare le mie affermazioni. Ha funzionato :)

Legge di Zipf

Descritto qui: la frequenza di una parola in un corpus è inversamente proporzionale al suo rango. Ciò che sorprende è che questa relazione vale per qualsiasi corpus, anche per le lingue antiche che non sono ancora state tradotte. Un video interessante che spiega di più sul motivo per cui questo modello può valere è qui. L'immagine seguente mostra il rango (orizzontale) rispetto alla frequenza (verticale) in una scala log-log per i primi 10 milioni di parole in 30 Wikipedie ( fonte). Nota che la legge prevede una linea retta:

Queste due leggi sono potenti e controintuitive e, nel senso che migliorano la propria comprensione del mondo tramite le statistiche, potrebbero essere chiamate "vittorie statistiche".

Il mio esempio preferito, a dimostrazione di come statistiche errate possono avere conseguenze a lungo termine quando vengono utilizzate per dirigere la politica del governo, è l'atto di vandalismo ferroviario su larga scala noto come Beeching Axe. Il risultato è stato che un ministro dei trasporti con forti legami con l'industria della costruzione di strade ( Ernest Marples) ha assunto un esperto del settore petrolchimico ( Richard Beeching) per determinare quali parti del territorio britannico rete ferroviaria stava subendo perdite e dovrebbe quindi essere potata.

Sono state chiuse circa 4000 miglia del percorso come risultato diretto, con un effetto positivo diretto sulla domanda di strade (e, inevitabilmente, gran parte della congestione odierna). Ulteriori chiusure continuarono negli anni '80, inclusa l'importante e relativamente recente rotta Woodhead attraverso i Pennini, e si fermarono solo con il caso della linea Settle & Carlisle, che un tempo era stata la sezione settentrionale del Midland Linea principale della ferrovia.

È forse degno di nota il fatto che Marples sia successivamente fuggito dal paese per eludere il processo per frode fiscale. All'epoca si sospettava anche un conflitto di interessi, poiché aveva venduto la sua quota dell'80% nella sua ex costruzione di strade Marples Ridgeway (come legalmente richiesto dalla sua nomina ministeriale) a sua moglie, rendendolo così facile per lui. per riacquistarli successivamente.

Una buona fonte sull'argomento è "Ho provato a gestire una ferrovia" di Gerard Fiennes.

Gli errori statistici coinvolti qui erano in gran parte dovuti a una visione eccessivamente ristretta del problema. Le stazioni delle filiali sono state visitate per esaminare le ricevute e per effettuare rilevamenti sul traffico, ma è stato ignorato il traffico stagionale che utilizzava la linea e i cui biglietti erano stati venduti altrove nel paese. In molti casi i costi sono stati gonfiati da pratiche di lavoro obsolete che avrebbero potuto essere razionalizzate, ma questa opzione non è stata presa in considerazione al momento di scegliere quali linee chiudere completamente. Ciò ha portato anche ad alcune linee le cui perdite sono state solo lievi e che hanno beneficiato indirettamente le ferrovie nel loro complesso attraverso l '"effetto rete" di poter raggiungere le destinazioni senza cambiare modalità, essendo incluse nell'elenco di chiusura.

Questi errori furono ripetuti nel successivo Serpell Report che proponeva un programma di chiusura ancora più drastico, ma che fortunatamente fu respinto.

Oggi, la domanda di traffico ferroviario è in forte aumento in Gran Bretagna e le linee vengono di recente costruite e riaperte per soddisfare la domanda. Alcune linee chiuse dagli sforzi di Beeching e Marples sarebbero estremamente vantaggiose se esistessero ancora oggi.

Ottimo controllo qualità!ecco i miei due centesimi: si tratta principalmente di come la correlazione può essere molto sospetta e di alcuni modi tradizionali per risolverla:

https://www.tylervigen.com/spurious-correlations

https://en.wikipedia.org/wiki/Anscombe%27s_quartet

https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient

Per elaborare un po ', il canone di correlazione vs. causalità nella statistica moderna è certamente Judea Perl.Il libro (web) di Nielsen fornisce una buona recensione:

http://www.michaelnielsen.org/ddi/if-correlation-doesnt-imply-causation-then-what-does/

Non so se questo conta come "l'intuizione non è all'altezza", ma piuttosto "un'analisi ingenua fornisce una risposta contro intuitiva e fuorviante".

Uno dei miei professori di statistica ha introdotto uno studio sulla connessione tra fumo e FEV nei giovani studenti.

Il FEVB può essere considerato una misura del volume polmonare. Quando il professore ha introdotto per la prima volta i dati, ha chiesto quale sarebbe stata la relazione. Pensavamo tutti che il fumo fosse collegato a un FEV inferiore. Tuttavia, guardando i dati, non era vero! In effetti, i fumatori avevano un FEV maggiore rispetto ai non fumatori. Questa lezione era tenuta da un negazionista del fumo?

Quindi ha rianalizzato i dati, ma questa volta adeguandosi all'età. Fatto ciò, abbiamo visto quello che ci aspettavamo di vedere: un impatto negativo del fumo sul FEV. Questo perché i fumatori avevano molte più probabilità di essere studenti più grandi rispetto a studenti più giovani. Sebbene il fumo abbia avuto un impatto negativo sul loro FEV, non è stato tanto da eliminare completamente l'aumento del FEV dalla crescita.

Un collegamento a una panoramica dei dati in R può essere trovato qui.

La mancata dimostrazione dell'associazione tra la temperatura di lancio e l'effetto della temperatura di lancio sugli o-ring dello space shuttle, ha portato al catastrofico fallimento del Columbia subito dopo il lancio. Una panoramica del problema è disponibile qui.

Nell'ultimo anno e mezzo Bloomberg News ha effettuato stime periodiche della produzione di Tesla 3 utilizzando più fonti di dati.Hanno appena terminato questo lavoro, ma penso che la storia sia interessante.