Le somme dei residui saranno sempre 0, quindi non funzionerà.

Una domanda più interessante è perché utilizzare la somma dei residui al quadrato rispetto alla somma del valore assoluto dei residui. Ciò penalizza i residui grandi più di quelli piccoli. Credo che il motivo per cui questo viene fatto è perché la matematica funziona più facilmente e, prima dei computer, era molto più facile stimare la regressione utilizzando i quadrati dei residui. Al giorno d'oggi, questo motivo non si applica più significa che la regressione della deviazione assoluta è effettivamente possibile. È una forma di regressione robusta.

Un altro modo per motivare i residui al quadrato è assumere l'ipotesi spesso ragionevole che i residui siano distribuiti gaussiano. In altre parole, assumiamo che $$ y = ax + b + \ varepsilon $$ per il rumore gaussiano $ \ varepsilon $. In questo caso, la verosimiglianza dei parametri $ a, b $ è data da $$ \ log p (y \ mid x, a, b) = \ log \ mathcal {N} (y; ax + b, 1 ) = - \ frac {1} {2} (y - [a + bx]) ^ 2 + \ text {const}, $$ così che massimizzare la verosimiglianza equivale a minimizzare i quadrati dei residui.

Se il rumore $ \ varepsilon $ fosse distribuito da Laplace, il valore assoluto dei residui sarebbe più appropriato. Ma a causa del teorema del limite centrale, il rumore gaussiano è molto più comune.

Buone risposte, ma forse posso dare una risposta più intuitiva. Supponiamo che tu stia adattando un modello lineare, rappresentato qui da una linea retta parametrizzata da una pendenza e intercetta.

Ogni residuo è una molla tra ogni punto dati e la linea, e sta cercando di tirare la linea su se stessa.
Una cosa sensata da fare è trovare la pendenza e l'intercetta che riducono al minimo l'energia del sistema. L'energia in ogni molla (cioè residua) è proporzionale alla sua lunghezza al quadrato, quindi ciò che fa il sistema è minimizzare la somma dei residui al quadrato, cioè minimizzare la somma di energia nelle molle.

Oltre ai punti esposti da Peter Flom e Lucas, una ragione per ridurre al minimo la somma dei quadrati dei residui è il teorema di Gauss-Markov. Questo dice che se vengono soddisfatte le ipotesi della regressione lineare classica, lo stimatore dei minimi quadrati ordinario è più efficiente di qualsiasi altro stimatore lineare imparziale. "Più efficiente" implica che le varianze dei coefficienti stimati sono inferiori; in altre parole, i coefficienti stimati sono più precisi. Il teorema vale anche se i residui non hanno una distribuzione normale o gaussiana.

Tuttavia, il teorema non è rilevante per il confronto specifico tra minimizzare la somma dei valori assoluti e minimizzare la somma dei quadrati dal primo non è uno stimatore lineare . Visualizza questa tabella che mette in contrasto le loro proprietà, che mostra i vantaggi dei minimi quadrati come stabilità in risposta a piccole modifiche nei dati e dispone sempre di un'unica soluzione.

Questa è più una risposta al commento di @ PeterFlom sul mio commento, ma è troppo grande per entrare in un commento (e si riferisce alla domanda originale).

Ecco un po 'di codice R da mostrare un caso in cui ci sono più righe che danno tutti gli stessi valori MAD / SAD minimi.

La prima parte dell'esempio è chiaramente un dato inventato per dimostrare, ma la fine include più di un elemento casuale per dimostrare che il concetto generale sarà ancora valido in alcuni casi più realistici.

  x <- rep (1:10, each = 2) y <- x / 10 + 0: 1plot (x, y) sad <- funzione (x, y, coef) {# mad is sad / n yhat <- coef [1] + coef [2] * x resid <- y - yhat sum (abs (resid))} libreria (quantreg) fit0 <- rq (y ~ x) abline (fit0) fit1 <- lm (y ~ x, subset = c (1,20)) fit2 <- lm (y ~ x, subset = c (2,19)) fit3 <- lm (y ~ x, subset = c (2,20)) fit4 <- lm (y ~ x, subset = c (1,19)) fit5.coef <- c (0,5, 1/10) abline ( fit1) ablin e (fit2) abline (fit3) abline (fit4) abline (fit5.coef) for (i in seq (-0.5, 0.5, by = 0.1)) {abline (fit5.coef + c (i, 0))} tmp1 <- seq (coef (fit1) [1], coef (fit2) [1], len = 10) tmp2 <- seq (coef (fit1) [2], coef (fit2) [2], len = 10) per (i in seq_along (tmp1)) {abline (tmp1 [i], tmp2 [i])} sad (x, y, coef (fit0)) sad (x, y, coef (fit1)) sad (x, y, coef (fit2)) sad (x, y, coef (fit3)) sad (x, y, coef (fit4)) sad (x, y, fit5.coef) for (i in seq (-0.5, 0.5, by = 0.1)) {print (sad (x, y, fit5.coef + c (i, 0)))} for (i in seq_along (tmp1)) {print (sad (x, y, c (tmp1 [i], tmp2 [i])))} set.seed (1) y2 <- y + rnorm (20,0,0.25) plot (x, y2) fitnew <- rq (y2 ~ x) # nota il warningabline ancora non univoco (fitnew) abline (coef (fitnew) + c (.1,0)) abline (coef (fitnew) + c (0, 0.01)) sad (x, y2, coef (fitnew)) sad (x, y2, coef (fitnew) + c (.1,0)) sad (x, y2, coef (fitnew) + c (0,0.01))