È infatti possibile dimostrare che la correlazione di Pearson è essenzialmente il modo per misurare la linearità dell'associazione quando si sceglie di utilizzare le deviazioni standard per misurare la dispersione di variabili casuali.
Cominciamo col notare che la correlazione di Pearson $ \ rho $ deve essere considerata come una classe di equivalenza (piuttosto ampia) di proprietà di variabili casuali bivariate, perché ogni sua riespressione monotona invertibile (come la sua esponenziale) trasporterà informazioni identiche.
La domanda riguarda il significato del termine "relazione lineare" per variabili casuali $ (X, Y) $ che non sono collineari. Un importante caso speciale di ciò si verifica quando $ (X, Y) $ è la distribuzione empirica di qualsiasi dataset bivariata (a cui possiamo pensare in termini di grafico a dispersione): esistono modi naturali misurare la partenza di un tale set di dati (o grafico a dispersione) dalla "linearità"?
Nota che qualsiasi riespressione lineare invertibile delle variabili
$$ (\ xi, \ eta) = (aX + b, cY + d) $$
(per le costanti $ a, b, c, d $ dove $ a $ e $ c $ sono positivi) non cambierà la linearità della loro relazione (o la sua mancanza). Possiamo quindi adottare una misura del "centro" di una variabile (come la sua media o mediana) e una misura della sua "dispersione" attorno a quel centro (come la sua deviazione standard o intervallo interquartile) e stipulare che $ a, b, c, d $ devono essere scelti per porre i centri di $ \ xi $ e $ \ eta $ a $ 0 $ e ridimensionare le loro dispersioni all'unità.
Se $ (X, Y) $ sono correlati linearmente, questa standardizzazione iniziale farà sì che il supporto di $ (\ xi, \ eta) $ si trovi sulla riga $ \ xi = \ eta $ (per una relazione positiva ) o $ \ xi = - \ eta $ (per una relazione negativa). Nel primo caso, la dispersione di $ \ xi- \ eta $ è una misura naturale della deviazione dalla linea, mentre nel secondo caso la dispersione di $ \ xi + \ eta $ misura la deviazione dalla linea. Come misura quantitativa della linearità, possiamo quindi confrontare una di queste due quantità con l'altra. Maggiore è la dimensione di questo valore, più lineare è la relazione originale tra $ X $ e $ Y $.
Poiché si devono confrontare due quantità positive e si cerca una misura universale (senza unità), Il modo più semplice per effettuare il confronto è il rapporto . Mentre le distribuzioni dei rapporti tendono ad essere distorte, le distribuzioni dei loro logaritmi tendono a non esserlo. Inoltre, sebbene un rapporto non possa essere negativo, il suo logaritmo potrebbe potenzialmente essere qualsiasi numero reale.
Di conseguenza, la linearità della relazione dovrebbe essere misurata come il rapporto logaritmico delle dispersioni della somma e la differenza del variabili standardizzate.
Ad esempio, considera l'utilizzo dei primi due momenti per misurare il centro (la media) e la dispersione (la deviazione standard) . La misura associata della linearità di $ (X, Y) $ è
$$ Z = \ log \ frac {\ operatorname {SD} (\ xi + \ eta)} {\ operatorname {SD} ( \ xi- \ eta)} = \ frac {1} {2} \ log \ frac {\ operatorname {Var} (\ xi + \ eta)} {\ operatorname {Var} (\ xi- \ eta)} = \ frac {1} {2} \ log \ frac {2 + 2 \ rho} {2 - 2 \ rho} = \ frac {1} {2} \ log \ frac {1 + \ rho} {1 - \ rho} $ $
dove $ \ rho $ è la correlazione di Pearson di $ (X, Y) $. Questa espressione per $ Z $ è riconoscibile come trasformazione di Fisher di $ \ rho $ e quindi è equivalente a $ \ rho $ per la valutazione della linearità. È piacevole vederlo abbandonare automaticamente questi principi di base.
Questa derivazione ha mostrato che il coefficiente di correlazione di Pearson è il modo naturale per misurare la linearità di qualsiasi distribuzione bivariata $ (X, Y) $ quando i primi due momenti sono impiegati per valutare la tendenza centrale e la dispersione delle variabili.
Si può andare oltre e dimostrare che, tra tutte le possibili trasformazioni monotone invertibili di $ Z $, $ \ rho = \ tanh (z) $ gode di una relazione speciale con le misure di linearità nella regressione OLS (Simple Ordinary Minimi quadrati): $ \ rho ^ 2 $ è identico al coefficiente di determinazione, $ R ^ 2 $ nella regressione di $ Y $ contro $ X $ e nella regressione di $ X $ contro $ Y $. Questo è il motivo per cui viene utilizzato più spesso $ \ rho $ anziché $ Z $, anche nelle impostazioni di non regressione.