Mi piacciono le immagini che illustrano come diversi modelli possono avere una correlazione simile.Quelli che seguono provengono da articoli di Wikipedia su correlazione e dipendenza

e quartetto di Anscombe con correlazioni di circa $ 0,816 $

Il paradosso di Simpson

Un fenomeno che si verifica quando una variabile chiave viene omessa dall'analisi di una relazione tra una o più variabili indipendenti e una variabile dipendente.Ad esempio, questo mostra più camere da letto hanno le case, minore è il prezzo della casa :

che sembra controintuitivo ed è facilmente risolvibile tracciando tutti i punti dati che compongono la media per ciascuna area, sullo stesso grafico.Qui, il maggior numero di camere da letto indica correttamente case più costose quando si osserva anche la variabile di quartiere:

Se desideri leggere ulteriori informazioni sull'esempio precedente e ottenere una spiegazione molto migliore di quella che sono stato in grado di fornire, fai clic qui.

Uno dei concetti più interessanti che sono oggi molto importanti e molto facili da visualizzare è "overfitting".Il classificatore verde di seguito presenta un chiaro esempio di overfitting [Modifica: "il classificatore verde è dato dalla linea molto sinuosa che separa i punti dati rosso e blu" - Nick Cox].

Da Wikipedia:

Come funziona un set di dati 2D in cui la media di X è 54 con SD 17 e per Y 48 e 27, rispettivamente, e la correlazione tra i due è -0,06?

Presentazione dell ' Anscombosaurus:

E il suo compagno, il Datasaurus Dozen:

Penso che anche le correlazioni spurie meritino il loro post.Cioèla correlazione non è uguale alla causalità.Forse una delle cose usate più spesso quando si cerca di piegare la verità usando le statistiche.Tyler Vigen ha un famoso sito web con molti esempi.Per illustrare, vedere il grafico sotto in cui il numero di casi di poliomielite e le vendite di gelato sono chiaramente correlati.Ma presumere che la poliomielite causi la vendita di gelati o viceversa è chiaramente privo di senso.

P.S: pertinente xkcd 1 e pertinente xkcd 2

Il bias può essere positivo

Un $ \ color {orangered} {\ text {estimator imparziale}} $ è in media corretto. Un $ \ color {steelblue} {\ text {bias estimator}} $ in media non è corretto.

Perché allora, vorresti mai utilizzare uno stimatore di parte (ad es. regressione della cresta)?

La risposta è che introdurre bias può ridurre la varianza.

Nella figura, per un dato campione, $ \ color {orangered} {\ text {estimator imparziale}} $ , ha un $ 68 \% $ possibilità di trovarsi all'interno di $ 1 $ unità arbitraria del parametro true, mentre $ \ color {steelblue} {\ text {bias estimator}} $ ha una $ 84 \% $ molto più grande.

Se il bias che hai introdotto riduce sufficientemente la varianza dello stimatore, il tuo campione ha maggiori possibilità di fornire una stima vicina al parametro della popolazione.

"In media corretto" sembra ottimo, ma non fornisce alcuna garanzia di quanto le singole stime possano discostarsi dal parametro della popolazione. Se disegnassi molti esempi, $ \ color {steelblue} {\ text {bias estimator}} $ sarebbe in media sbagliato da $ 0,5 $ unità arbitrarie. Tuttavia, raramente abbiamo molti campioni della stessa popolazione per osservare questa "stima media", quindi preferiremmo avere buone possibilità di essere vicini al vero parametro.

Quando si comprendono per la prima volta gli stimatori e il loro errore, è utile comprendere due fonti di errore: bias e varianza.L'immagine sotto fa un ottimo lavoro illustrando questo aspetto evidenziando i compromessi tra queste due fonti di errore.

Il bullseye è il vero valore che lo stimatore sta cercando di stimare e ogni punto rappresenta e stima quel valore.Idealmente hai un bias basso e una varianza bassa, ma le altre freccette rappresentano stimatori meno che ideali.

Principal component Analysis (PCA) PCA è un metodo per la riduzione delle dimensioni.Proietta le variabili originali nella direzione che massimizza la varianza.

Nella nostra figura, i punti rossi provengono da una distribuzione normale bivariata.I vettori sono gli autovettori e le dimensioni di questi vettori sono proporzionali ai valori dei rispettivi autovalori.L'analisi delle componenti principali fornisce nuove direzioni che sono ortogonali e puntano alle direzioni di alta varianza.

Autovettori & Autovalori

Il concetto di autovettori e autovalori che sono alla base dell'analisi delle componenti principali (PCA), come spiegato su wikipedia:

In sostanza, un autovettore $ v $ di una trasformazione lineare $ T $ è un vettore diverso da zero che, quando viene applicato $ T $ , non cambia direzione. L'applicazione di $ T $ all'autovettore ridimensiona l'autovettore solo in base al valore scalare $ \ lambda $ , chiamato autovalore. Questa condizione può essere scritta come l'equazione: $ T (v) = \ lambda v $ .

La dichiarazione di cui sopra è spiegata in modo molto elegante utilizzando questa gif:

Vettori indicati in blu $ \ begin {bmatrix} 1 \\ 1 \\ \ end {bmatrix} $ e magenta $ \ begin {bmatrix} 1 \\ - 1 \\ \ end {bmatrix} $ sono autovettori per la trasformazione lineare, $ T = \ begin {bmatrix} 2 & 1 \\ 1 & 2 \\ \ end {bmatrix} $ . I punti che giacciono sulla retta attraverso l'origine, paralleli agli autovettori, rimangono sulla retta dopo la trasformazione. I vettori in rosso non sono autovettori, quindi la loro direzione è alterata dalla trasformazione. I vettori blu sono scalati di un fattore 3, che è l'autovalore per l'autovettore blu, mentre i vettori magenta non sono scalati, poiché il loro autovalore è 1.

Link all'articolo di Wikipedia.

TVarianza del bias di trade-off è un altro concetto molto importante in statistica / machine learning.

I punti dati in blu provengono da $ y (x) = \ sin (x) + \ epsilon $ , dove $ \ epsilon $ ha una distribuzione normale. Le curve rosse vengono stimate utilizzando diversi campioni. La figura "Large Variance and Small Bias" presenta il modello originale, che è una rete di funzioni a base radiale con 24 basi gaussiane.

La figura "Small Variance and Large Bias" presenta lo stesso modello regolarizzato.

Notare che nella figura "Small Variance e Large Bias" le curve rosse sono molto vicine tra loro (piccola varianza). Lo stesso non accade nella figura "Large Variance e Small Bias" (grande varianza).

SVarianza piccola e bias grande

L Large Variance and Small Bias

Dai miei metodi informatici e dal corso di machine learning.

Eccone uno molto semplice, ma a mio parere molto potente perché non è solo una spiegazione visiva di un concetto ma richiede anche di visualizzare o immaginare un oggetto reale che raffigura il concetto:

I neofiti a volte hanno difficoltà a comprendere concetti di base come media, mediana e modalità.

Quindi, per aiutarli a cogliere meglio l'idea di media:

Prendi questa distribuzione storta e stampala in 3D, in plastica, o scolpiscila nel legno, così ora hai un vero oggetto tra le mani.Cerca di bilanciarlo usando un solo dito ... la media è il punto only dove puoi farlo.

La figura seguente mostra l'importanza di definire con precisione gli obiettivi e le ipotesi di un problema di clustering (e un problema statistico generale).Modelli diversi possono fornire risultati molto diversi:

Fonti: ScikitLearn

Ok, quindi questo è meno per illustrare un concetto di base, ma è molto interessante sia visivamente che in termini di applicazioni. Penso che mostrare alle persone ciò che alla fine possono ottenere con ciò che stanno imparando sia una grande forma di motivazione, quindi puoi presentarlo come un esempio di sviluppo e applicazione di modelli statistici, che dipende da tutti i concetti statistici più fondamentali che stanno imparando. Con questo, vi presento ...

Species Distribution Modelling

In realtà è un argomento molto ampio con molte sfumature in termini di tipi di dati, raccolta di dati, configurazione del modello, ipotesi, applicazioni, interpretazioni, ecc. Ma in parole semplici, prendi informazioni campione su dove si trova una specie, quindi utilizzare quelle posizioni per campionare variabili ambientali potenzialmente rilevanti (ad esempio, dati climatici, dati sul suolo, dati sull'habitat, elevazione, inquinamento luminoso, inquinamento acustico, ecc.), sviluppare un modello utilizzando i dati (ad esempio, GLM, modello di processo puntuale, ecc.) , quindi utilizza quel modello per prevedere attraverso un paesaggio utilizzando le tue variabili ambientali. A seconda di come è stato impostato il modello, ciò che è previsto potrebbe essere un potenziale habitat adatto, probabili aree di occorrenza, distribuzione delle specie, ecc. È inoltre possibile modificare le variabili ambientali per vedere come influiscono su questi risultati. Le persone hanno utilizzato gli SDM per trovare popolazioni di una specie precedentemente sconosciute, li hanno usati per scoprire nuove specie, con dati storici sul clima li hanno usati per prevedere a ritroso nel tempo dove si trovava una specie e come è arrivata dove si trovava. è oggi (anche attraverso i periodi di glaciazione) e con cose come previsioni climatiche future e perdita di habitat, vengono utilizzate per prevedere come le attività umane influenzeranno la specie in futuro. Questi sono solo alcuni esempi e se avrò tempo più tardi troverò e collegherò documenti interessanti. Nel frattempo ecco una rapida immagine che ho trovato che illustra le basi: