TLDR; quando non si sa nulla del costo effettivo dell'errore per l'utente del modello, MSE è un'opzione predefinita migliore rispetto a MAE perché, a mio parere, è più facile da manipolare analiticamente ed è più probabile che corrisponda al costo effettivo dell'errore.

È un'ottima domanda. Mi piace che inizi con il desiderio di far corrispondere la tua funzione di perdita ai costi effettivi. Questo è come dovrebbe essere fatto idealmente secondo me. Tuttavia, non è pratico derivare la funzione di costo dai costi effettivi ogni volta che si crea un modello, quindi tendiamo a gravitare sull'utilizzo di una delle funzioni di perdita disponibili nel software. I minimi quadrati sono una delle funzioni più popolari principalmente a causa della praticità matematica. È più facile affrontarlo in modo analitico. Inoltre, in alcuni casi i minimi quadrati producono una previsione puntuale imparziale, ovvero $ E [y] - \ hat y = 0 $ , che è spesso considerata desiderabile per ragioni sentimentali.

Detto questo, devo sostenere che non è ovvio per me che la perdita di valore assoluto sia più realistica. Considera le overdose di droga: in alcune situazioni sono molto più costose delle sottodosaggi: non si sballano abbastanza vs si muore. Nell'esempio delle parti, considera questo: cosa succederebbe se sottovalutassi il costo delle parti di \ $ 1 e stipulassi un contratto a termine per consegnare un milione di parti un mese dopo a \ $ 1,1 sapendo che avrai 1 milione di $ un mese da oggi. Guadagnerai il 10%!

Poi arriva il giorno e le parti costano in realtà $ 1,2 al pezzo. Quindi, non solo subirai una perdita di \ $ 100.000, ma ti mancheranno anche i fondi per fornire 1 milione di parti. Quindi, sei costretto a dichiarare insolvenza e andare in bancarotta che è molto costoso. D'altra parte, se sopravvaluti il ​​costo delle parti, rinunceresti a un po 'di profitto ma non finiresti in una situazione disastrosa di insolvenza o crisi di liquidità.

Questa è una situazione molto comune nelle aziende in cui le perdite sono asimmetriche e altamente non lineari con costi in rapida crescita in una direzione dell'errore di previsione ma non nell'altra. Quindi, direi che la perdita assoluta, che è simmetrica e ha perdite lineari sull'errore di previsione, non è realistica nella maggior parte delle situazioni aziendali. Inoltre, sebbene simmetrica, la perdita al quadrato è almeno non lineare.

Tuttavia le differenze tra le funzioni di perdita assoluta e quadratica non finiscono qui. Ad esempio, si può dimostrare che il punto ottimale previsto in perdita assoluta è la mediana mentre per la perdita al quadrato è media.

Penso che la seguente funzione di perdita sia più adatta alla previsione aziendale in molti casi in cui l'errore di previsione eccessiva $ e = y- \ hat y $ può diventare molto costoso molto rapidamente: $$ \ mathcal L (e, \ hat y) = | \ ln \ left (1+ \ frac e {\ hat y} \ right) | $$ span> In questo caso, se prevedi una quantità non negativa $ y $ , la previsione eccessiva è potenzialmente devastante. Immagina di essere una banca che prevede il volume del deposito e che il volume effettivo del deposito si sia rivelato molto inferiore a quello che speravi. Ciò può avere gravi conseguenze. Questo tipo di funzione di perdita asimmetrica porterà a una previsione del punto ottimale distorta , cioè $ E [y] - \ hat y \ ne 0 $ , ma è esattamente quello che vuoi: in questo tipo di problema aziendale vuoi sbagliare dalla parte della previsione insufficiente.

Penso che il motivo sia più sociologico che statistico.

Versione breve: lo facciamo in questo modo perché lo abbiamo sempre fatto.

Versione più lunga: Storicamente, potremmo non fare molte delle cose che ora diamo per scontate. Molte cose richiedono un uso intensivo del computer e Ronald Fisher è nato prima di Alan Turing.

Quindi, le persone hanno fatto la regressione OLS - molto. E le persone leggono quelle regressioni in tutti i tipi di campi sostanziali e corsi di statistica in quei campi hanno insegnato ANOVA / regressione e non metodi più moderni.

Inoltre, gli editori di riviste hanno imparato questi metodi e non altri, e molti rifiuteranno articoli con metodi moderni perché ad es. "non saranno capiti".

Anche molti professionisti rifiutano i metodi moderni; Ero una specie di fanatico dell'analisi dei dati in un ospedale. I medici verrebbero a chiedermi consiglio e, se non fosse "fare la regressione OLS" o "fare la regressione logistica", rifiuterebbero il mio consiglio.

Ho conseguito il dottorato di ricerca in psicometria e molti dei miei professori in altri rami della psicologia non conoscevano metodi moderni (uno ha detto: "riporta solo il valore p, questo è ciò che conta").

Le prime 5 risposte non riescono a distinguere tra estimation loss e prediction loss, qualcosa che è cruciale per rispondere alla domanda.A priori, non c'è motivo per cui i due debbano coincidere.Discuterò entrambi i tipi di perdita nel contesto della previsione del punto utilizzando la regressione lineare.La discussione può essere estesa a modelli diversi dalla regressione lineare e attività diverse dalla previsione del punto, ma l'essenza rimane la stessa.

Configurazione

Supponi di dover affrontare un problema di previsione in cui si trova il modello $$ y = X \ beta + \ varepsilon $$ dove $ \ varepsilon \ sim D (0, \ sigma) $ , $ D $ è una distribuzione di probabilità con posizione $ 0 $ e scalare $ \ sigma $ . Il tuo obiettivo è prevedere $ y_0 $ dato $ x_0 $ e la tua previsione del punto sarà $ \ hat y_0 $ , una funzione di $ x_0 $ , il campione di dati, il modello e la penalità (il negativo di ricompensa) funzione definita sull'errore di previsione. La funzione di penalità che stai affrontando è $ L_P (y- \ hat y) $ . Ha un minimo a zero (il valore $ L_P (0) $ può essere impostato a zero senza perdita di generalità) e non è decrescente su entrambi i lati di zero; questa è una caratterizzazione tipica di una funzione sensibile prediction loss. Puoi scegliere liberamente una funzione perdita di stima $ L_E (\ cdot) $ e una funzione di previsione del punto $ y_hat_0 $ span >. Quali sono le tue scelte ottimali per ciascuno? Ciò dipenderà dalla distribuzione degli errori $ D $ e dalla funzione di previsione della perdita $ L_P (\ cdot) $ .

Stima della perdita

La stima della perdita specifica come vengono ottenute le stime dei parametri di un modello dai dati campione. Nel nostro esempio di regressione lineare, riguarda la stima di $ \ beta $ e $ \ sigma $ . Puoi stimarli riducendo al minimo la somma dei residui al quadrato (OLS) tra l'attuale $ y $ ei corrispondenti valori stimati, somma dei residui assoluti (regressione quantile alla mediana ) o un'altra funzione. La scelta della perdita di stima può essere determinata dalla distribuzione degli errori del modello. Lo stimatore più accurato in un certo senso tecnico * sarà ottenuto dalla perdita di stima che rende lo stimatore parametrico lo stimatore di massima verosimiglianza (ML). Se gli errori del modello sono distribuiti normalmente ( $ D $ è normale), questo sarà OLS; se sono distribuiti secondo una distribuzione di Laplace ( $ D $ è Laplace), questa sarà la regressione quantile alla media; ecc.
* Per semplificare, dato uno stimatore ML, potresti aspettarti stime dei parametri più accurate dal tuo modello rispetto a quelle fornite da stimatori alternativi.

Perdita di previsione

La perdita di previsione specifica come vengono penalizzati gli errori di previsione. Non lo scegli, è dato. (Di solito è il cliente che lo specifica. Se il cliente non è in grado di farlo matematicamente, l'analista dovrebbe sforzarsi di farlo ascoltando attentamente gli argomenti del cliente.) Se l'errore di previsione causa la perdita del cliente (ad es. ) per crescere quadraticamente e simmetricamente intorno allo zero, stai affrontando una perdita di previsione quadrata. Se la perdita del cliente cresce in modo lineare e simmetrico intorno allo zero, stai affrontando una perdita di previsione assoluta. Ci sono molte altre possibilità per i tipi di perdita di previsione che potresti dover affrontare.

Previsione

Date le stime dei parametri del modello e i valori dei regressori del punto di interesse, $ x_0 $ , dovresti scegliere la previsione del punto $ \ hat y_0 $ basato sulla previsione di perdita. Per la perdita quadrata, sceglierai la media stimata di $ y_0 $ , poiché la media vera minimizza la perdita quadrata in media (dove la media viene presa su campioni casuali di $ y_0 $ soggetto a $ x = x_0 $ ). Per la perdita assoluta, sceglierai la mediana stimata. Per altre funzioni di perdita, sceglierai altre caratteristiche della distribuzione di $ y_0 $ che hai modellato.

Torna alla tua domanda

Perché le persone scelgono spesso l'errore quadrato anziché l'errore assoluto, o corrispondentemente la perdita quadrata piuttosto che la perdita assoluta, come estimation loss? Poiché gli errori normali ( $ D $ è normale) sono comuni nelle applicazioni, probabilmente più degli errori di Laplace ( $ D $ è Laplace). Inoltre, rendono gli stimatori di regressione trattabili analiticamente. Tuttavia, non sono molto più facili da calcolare. La complessità computazionale dell'OLS (corrispondente alla stima ML in errori normali) rispetto alla regressione quantile alla mediana (corrispondente alla stima ML sotto errori di Laplace) non è molto diversa. Quindi ci sono alcuni validi argomenti per la scelta di OLS sulla regressione quantile alla mediana, o errore quadrato su errore assoluto.

Perché le persone scelgono l'errore quadrato, o corrispondentemente la perdita quadrata, come prediction loss?Forse per semplicità.Come alcune delle risposte precedenti potrebbero aver menzionato, devi scegliere una linea di base per un'esposizione da manuale;non è possibile discutere tutti i casi possibili in dettaglio.Tuttavia, il caso per preferire la perdita quadrata rispetto alla perdita assoluta come perdita di previsione è meno convincente rispetto al caso di perdita di stima.È probabile che la perdita di previsione effettiva sia asimmetrica (come discusso in alcune risposte precedenti) e non sia più probabile che cresca in modo quadratico che lineare con l'errore di previsione.Naturalmente, in pratica dovresti seguire le specifiche del cliente sulla perdita di previsione.Nel frattempo, in esempi casuali e discussioni in cui non c'è un cliente concreto in giro, non vedo un forte argomento per preferire l'errore quadrato all'errore assoluto.

Penso che valga la pena fare un passo indietro e considerare cosa implicano le due sconfitte.

Guardandola da un punto di vista probabilistico, la funzione di perdita è equivalente alla funzione di probabilità logaritmica presunta e quindi dovrebbe corrispondere a come pensiamo che le nostre misurazioni siano distribuite attorno ai loro valori "veri" sconosciuti.

Come dici tu, nel caso di OLS questo equivale a supporre una verosimiglianza gaussiana, dove come funzione di perdita di errore assoluta è equivalente a una verosimiglianza laplaciana.Le probabilità gaussiane sono molto più spesso una buona corrispondenza con la vita reale come conseguenza del teorema del limite centrale.

Le nostre previsioni sono in generale migliorate rendendo il nostro modello assunto (e implicitamente generativo) il più vicino possibile alla realtà.In molti (la maggior parte?) Casi ciò migliorerà l'accuratezza predittiva con qualsiasi metrica ragionevole (incluso ad esempio l'errore medio assoluto).È molto più spesso il caso assumendo che una probabilità gaussiana raggiunga questo obiettivo.

Se gli errori sono indipendenti e seguono la distribuzione normale (di qualsiasi varianza ma coerente), la somma degli errori al quadrato corrisponde alla loro probabilità / probabilità congiunta.

$ \ Pi e ^ {- x_i ^ 2} = e ^ {- \ Sigma x_i ^ 2} $

Quindi, in queste condizioni, ridurre al minimo la somma degli errori quadrati equivale a massimizzare la probabilità.

Se è necessaria una previsione di minimizzazione dei costi (dove la metrica dei costi è diversa da MSE), l'approccio generale / accurato sarebbe quello di minimizzare esplicitamente il costo previsto sull'intera distribuzione dei modelli ponderati in base alle loro probabilità (o probabilità se si hanno conoscenza precedente). Questo disaccoppia completamente il problema di minimizzare il costo atteso dal problema della stima in presenza di rumore.

Supponi di misurare una quantità costante in presenza di rumore gaussiano. Anche se la tua metrica dei costi per i risultati futuri è MAE, preferiresti prevedere con la media (riducendo al minimo il MSE passato) piuttosto che la mediana (riducendo al minimo il MAE passato), se effettivamente sai che la quantità è costante e il rumore di misurazione è gaussiano.

Esempio

Considera la seguente distribuzione di colpi prodotti da un'arma fissata meccanicamente in posizione. Posiziona un cerchio di una data dimensione da qualche parte sul bersaglio. Se il colpo successivo cade interamente all'interno del tuo cerchio, vinci, altrimenti perdi. La funzione di costo è nella forma $ f_C (x, y) = sign ((x-x_C) ^ 2 + (y-y_C) ^ 2-R ^ 2) $ span>.

Se riduci a icona $ \ sum_i f_C (x_i, y_i) $ , posizionerai il cerchio nella posizione blu, contenente interamente il numero massimo di colpi passati. Ma se sapessi che la pistola è fissata in posizione e l'errore è gaussiano, posizioneresti il ​​cerchio nella posizione verde, centrato sulla media / centroide dei dati (riducendo al minimo MSE), poiché stai ottimizzando il guadagno atteso futuro, non medio passato profitto.

Supponiamo che uno tira un dado (numerato da 1 a 6) e voglia calcolare la sua deviazione media dal valore medio di 3,5. Due rotoli differirebbero di 0,5, due di 1,5 e due di 2,5, per una deviazione media di 1,5. Se si prende la media dei quadrati dei valori, si avrebbe una deviazione di 0,25, una di 2,25 e una di 6,25, per una media di 2,916 (35/12).

Ora supponiamo che invece di tirare un dado, uno ne tira due. La deviazione media sarebbe 1,94 (35/18) e il quadrato medio della deviazione sarebbe 5,833 (70/12).

Se invece di tirare due dadi, si volesse stimare la deviazione attesa in base a ciò che era con un dado, raddoppiando la deviazione media lineare di un dado singolo (cioè 1,5) si otterrebbe un valore di 3, che è molto più grande di la deviazione media lineare effettiva di 1,94. D'altra parte, raddoppiando il quadrato medio della deviazione quando si usa un dado singolo (2.916) si otterrebbe esattamente il quadrato medio della deviazione quando si usano due dadi.

In generale, la radice quadrata della media dei quadrati è un numero più utile della media dei quadrati stessi, ma se si vuole calcolare la radice quadrata della media di un mazzo di quadrati, è più facile mantenerla i valori da aggiungere come quadrati, che prendere le radici quadrate ogni volta che li si riporta e quindi doverli quadrare prima che possano essere aggiunti o mediati.

Secondo me, il punto è che l'errore al quadrato garantisce una soluzione unica, più facile da lavorare e quindi molto più intuitivo. Basandosi su due sole ipotesi principali (e linearità del termine di errore), una funzione di perdita quadratica garantisce che il coefficiente stimato sia l'unico minimizzato. Le deviazioni meno assolute non hanno questa proprietà. C'è sempre un potenziale per un numero infinito di soluzioni. Supponendo che $ \ esista \ theta_o \ in \ Theta $ in modo tale che $ E (y | x) = m (x, \ theta_o) $ e $ E ((m (x, \ theta) -m (x, \ theta_o) ^ 2) >0 $ per tutti $ \ theta \ neq \ theta_o $ , quindi $ \ theta_o $ è l'unico minimizzatore per il minimo non lineare piazze.

Dimostrazione: lascia che $ y = m (x, \ theta_o) + u $ e $ E (u | x ) = 0 $ . Quindi $$ E _ {\ theta_o} ((ym (x, \ theta)) ^ 2) = E _ {\ theta_o} ((ym (x, \ theta_o) + m (x , \ theta_0) -m (x, \ theta)) ^ 2) $$

$$ = E _ {\ theta_o} (u ^ 2) + E _ {\ theta_o} ((m (x, \ theta_o) -m (x, \ theta)) ^ 2) + 2E _ {\ theta_o} (u (m (x, \ theta_o) -m (x, \ theta))). $$

Per la legge delle aspettative ripetute, il terzo termine è zero. Pertanto

$$ E _ {\ theta_o} ((ym (x, \ theta)) ^ 2) = u ^ 2 + E _ {\ theta_o} ((m (x, \ theta_o) -m (x, \ theta)) ^ 2) $$ è ridotto a icona in modo univoco in $ \ theta_o $ .

Un'altra bella proprietà è la legge della varianza totale

$$ Var (Y) = Var_X (E_Y (Y | X)) + E_X (Var_Y (Y | X)), $$

che può essere letta come la varianza della variabile dipendente è la varianza del valore stimato più la varianza del residuo.

Su una nota più tecnica, le formule asintotiche sono molto più facili per una funzione di perdita quadratica.È importante sottolineare che le formule non dipendono dalla densità di probabilità del termine di errore.Sfortunatamente, questo non è vero per le deviazioni meno assolute.Pertanto la maggior parte dei professionisti finisce per dover assumere l'indipendenza del termine di errore (la formula ha la densità condizionale del termine di errore a 0 condizionata a $ x $ , che è impossibilestima ( $ f_ {u | x} (0) $ )) per stimare $ f_u (0) $ span>.

E il punto meno rigoroso è che le persone riescono a capire facilmente cosa sia un valore medio o atteso e la perdita quadratica si risolve per l'aspettativa condizionale.Deviazioni meno assolute suole per la mediana, che è solo più difficile da interpretare.Un altro motivo per cui le regressioni quantili non sono molto popolari.