Per prima cosa, non penso che ci siano molte domande del tipo "È una buona pratica usare sempre X nel machine learning" dove la risposta sarà definitiva. Sempre? Sempre sempre? Attraverso modelli parametrici, non parametrici, bayesiani, Monte Carlo, scienze sociali, puramente matematici e milioni di funzionalità? Sarebbe carino, no!

In concreto, però, ecco alcuni modi in cui: dipende.

Alcune volte in cui la normalizzazione è buona:

1) Diversi algoritmi, in particolare SVM, a volte possono convergere molto più velocemente su dati normalizzati (anche se, precisamente, non riesco a ricordare).

2) Quando il modello è sensibile all'ampiezza e le unità di due caratteristiche diverse sono diverse e arbitrarie. È come il caso che suggerisci, in cui qualcosa ha più influenza di quanto dovrebbe.

Ma ovviamente - non tutti gli algoritmi sono sensibili alla grandezza nel modo in cui suggerisci. I coefficienti di regressione lineare saranno identici se ridimensionate o non ridimensionate i dati, perché sta esaminando le relazioni proporzionali tra di loro.

Alcune volte quando la normalizzazione è cattivo:

1) Quando vuoi interpretare i tuoi coefficienti e non si normalizzano bene. La regressione su qualcosa come i dollari ti dà un risultato significativo. La regressione sulla proporzione del massimo di dollari nel campione potrebbe non esserlo.

2) Quando, in effetti, le unità sulle tue caratteristiche sono significative e la distanza fa fa la differenza! Tornando agli SVM: se stai cercando di trovare un classificatore di margine massimo, le unità che entrano in quel "massimo" sono importanti. Le funzionalità di ridimensionamento per gli algoritmi di clustering possono modificare sostanzialmente il risultato. Immagina quattro gruppi attorno all'origine, ciascuno in un quadrante diverso, tutti ben ridimensionati. Ora, immagina che l'asse y venga allungato fino a dieci volte la lunghezza dell'asse x. invece di quattro piccoli gruppi di quadranti, otterrai la lunga baguette schiacciata di dati tagliata in quattro pezzi lungo la sua lunghezza! (E, la parte importante è che potresti preferire uno di questi!)

In un riepilogo sono sicuro insoddisfacente, la risposta più generale è che devi chiederti seriamente cosa ha senso con i dati, e il modello che stai utilizzando.

Beh, credo che un punto di vista più geometrico aiuterà a decidere meglio se la normalizzazione aiuta o meno. Immagina che il tuo problema di interesse abbia solo due caratteristiche e variano in modo diverso. Quindi geometricamente, i punti dati vengono distribuiti e formano un ellissoide. Tuttavia, se le caratteristiche sono normalizzate, saranno più concentrate e, si spera, formeranno un cerchio unitario e renderanno la covarianza diagonale o almeno vicino alla diagonale. Questa è l'idea alla base di metodi come la normalizzazione in batch delle rappresentazioni intermedie dei dati nelle reti neurali. Usando BN la velocità di convergenza aumenta sorprendentemente (forse 5-10 volte) poiché il gradiente può facilmente aiutare i gradienti a fare quello che dovrebbero fare per ridurre l'errore.

Nel caso non normalizzato, gradiente- gli algoritmi di ottimizzazione basati avranno difficoltà a spostare i vettori del peso verso una buona soluzione. Tuttavia, la superficie dei costi per il caso normalizzato è meno allungata ei metodi di ottimizzazione basati sul gradiente funzioneranno molto meglio e divergeranno meno.

Questo è certamente il caso dei modelli lineari e in particolare di quelli la cui funzione di costo è una misura della divergenza tra l'output del modello e l'obiettivo (es. regressione lineare con funzione di costo MSE), ma potrebbe non essere necessariamente la caso in quelli non lineari. La normalizzazione non fa male per i modelli non lineari; non farlo per i modelli lineari farà male.

L'immagine seguente potrebbe essere [approssimativamente] vista come l'esempio di una superficie di errore allungata in cui i metodi basati sul gradiente potrebbero avere difficoltà ad aiutare i vettori di peso passare all'ottimo locale.

Lascia che ti racconti la storia di come ho imparato l'importanza della normalizzazione.

Stavo cercando di classificare i dati di cifre scritte a mano (è un semplice compito di classificare le caratteristiche estratte da immagini di caratteri scritti a mano cifre) con Neural Networks come compito per un corso di Machine Learning.
Proprio come chiunque altro, ho iniziato con una libreria / strumento di rete neurale, l'ho alimentata con i dati e ho iniziato a giocare con i parametri. Ho provato a cambiare il numero di strati, il numero di neuroni e varie funzioni di attivazione. Nessuno di loro ha prodotto risultati attesi (accuratezza intorno a 0,9).

Il colpevole? Il fattore di scala nella funzione di attivazione = $ \ frac {s} {1 + e ^ {- s.x}} $ - 1. Se il parametro s non è impostato, la funzione di attivazione attiverà ogni ingresso o annullerà ogni ingresso in ogni iterazione. Il che ovviamente ha portato a valori inaspettati per i parametri del modello. Il punto è che non è facile impostare s quando l'input x varia su valori elevati.

Come alcune delle altre risposte hanno già sottolineato, la "buona pratica "in merito alla normalizzazione o meno dei dati dipende dai dati, dal modello e dall'applicazione. Con la normalizzazione, stai effettivamente buttando via alcune informazioni sui dati come i valori massimi e minimi assoluti. Quindi, non esiste una regola pratica.

Come altri hanno detto, la normalizzazione non è sempre applicabile; per esempio. da un punto di vista pratico.

Per poter scalare o normalizzare le caratteristiche su un intervallo comune come [0,1] , è necessario conoscere il min / max (o mean / stdev a seconda del metodo di ridimensionamento applicato) di ciascuna funzione. IOW: devi avere tutti i dati per tutte le funzionalità prima di iniziare la formazione.

Molti problemi pratici di apprendimento non ti forniscono tutte le dati a priori, quindi semplicemente non puoi normalizzarli. Tali problemi richiedono un approccio di apprendimento online.

Tuttavia, tieni presente che alcuni algoritmi online (al contrario dell'apprendimento batch) che apprendono da un esempio alla volta, supportano un ' approssimazione al ridimensionamento /normalizzazione. Imparano le scale e le compensano, in modo iterativo. vowpal wabbit , ad esempio, normalizza iterativamente per la scala per impostazione predefinita (a meno che non disabiliti esplicitamente il ridimensionamento automatico forzando un certo algoritmo di ottimizzazione come l'ingenuo --sgd )

Il ridimensionamento / normalizzazione cambia leggermente il modello. Il più delle volte ciò corrisponde all'applicazione di una funzione affine. Quindi hai $ Z = A_X + B_XXC_X $ dove $ X $ sono i tuoi "dati di input / originali" (una riga per ogni esempio di formazione, una colonna per ogni caratteristica). Quindi $ A_X, B_X, C_X $ sono matrici che sono tipicamente funzioni di $ X $ . La matrice $ Z $ è ciò che inserisci nel tuo algoritmo di machine learning.

Ora, supponi di voler fare previsioni per un nuovo campione. Ma hai solo $ X_ {new} $ e non $ Z_ {new} $ . Dovresti applicare la funzione $ Z_ {new} = A_X + B_XX_ {new} C_X $ . Cioè, usa lo stesso $ A_X, B_X, C_X $ dal set di dati di addestramento, piuttosto che riesaminali. Ciò fa sì che queste matrici abbiano la stessa forma degli altri parametri nel modello.

Sebbene siano spesso equivalenti in termini di valori previsti che ottieni dal set di dati di addestramento, certamente non si tratta di nuovi dati per le previsioni. Un semplice esempio, prevedere per $ 1 $ nuova osservazione, standardizzare questa (sottrazione media, divisione per sd) restituirà sempre zero.

Per i modelli di machine learning che includono coefficienti (ad es. regressione, regressione logistica, ecc.) il motivo principale per la normalizzazione è la stabilità numerica.Matematicamente, se una delle colonne del predittore viene moltiplicata per 10 ^ 6, il coefficiente di regressione corrispondente verrà moltiplicato per 10 ^ {- 6} e i risultati saranno gli stessi.

A livello computazionale, i tuoi predittori vengono spesso trasformati dall'algoritmo di apprendimento (ad esempio, la matrice X dei predittori in una regressione diventa X'X) e alcune di queste trasformazioni possono comportare una perdita di precisione numerica se X è molto grande o molto piccolo.Se i tuoi predittori sono sulla scala di 100, questo non avrà importanza.Se stai modellando granelli di sabbia, unità astronomiche o conteggi di query di ricerca, potrebbe farlo.

Stavo cercando di risolvere il problema di regressione della cresta utilizzando la discesa del gradiente. Ora senza normalizzazione ho impostato una dimensione del passo appropriata e ho eseguito il codice. Per assicurarmi che la mia codifica fosse priva di errori, ho codificato lo stesso obiettivo anche in CVX. Ora CVX ha impiegato solo poche iterazioni per convergere a un certo valore ottimale, ma ho eseguito il mio codice per la dimensione del passo migliore che ho trovato per 10k iterazioni ed ero vicino al valore ottimale di CVX ma ancora non esatto.

Dopo aver normalizzato il set di dati e averlo fornito al mio codice e al CVX, sono rimasto sorpreso di vedere che ora la convergenza richiedeva solo 100 iterazioni e il valore ottimale a cui convergeva la discesa del gradiente era esattamente uguale a quello di CVX.
Anche la quantità di "varianza spiegata" per modello dopo la normalizzazione era maggiore rispetto a quella originale. Quindi proprio da questo ingenuo esperimento ho capito che per quanto riguarda il problema della regressione avrei optato per la normalizzazione dei dati. A proposito, qui la normalizzazione implica la sottrazione per media e la divisione per la deviazione standard.

Per sostenermi sulla regressione, vedere questa domanda pertinente e la discussione su di essa:
Quando si esegue la regressione multipla, quando dovresti centra le tue variabili predittive & quando dovresti standardizzarle?