Se hai una rete con due livelli di pesi modificabili puoi formare regioni decisionali convesse arbitrarie, dove i neuroni di livello più basso dividono lo spazio di input in semispazi e il secondo strato di neuroni esegue un'operazione "AND" per determinare se sei nella parte destra dei semispazi che definiscono la regione convessa. Nel diagramma sottostante puoi formare le regioni r1 e r2 in questo modo. Se si aggiunge un ulteriore in un secondo momento, è possibile formare regioni decisionali concave o disgiunte arbitrarie combinando gli output delle sottoreti che definiscono le sottoregioni convesse. Penso di aver ottenuto questa prova dal libro di Philip Wasserman "Neural Computing: Theory and Practice" (1989).

Quindi si desidera sovradimensionare, utilizzare una rete neurale con tre livelli nascosti di neuroni, utilizzare un numero enorme di neuroni di livello nascosto in ogni livello, ridurre al minimo il numero di schemi di allenamento (se consentito dalla sfida), utilizzare una metrica dell'errore di entropia incrociata e addestrare utilizzando un algoritmo di ottimizzazione globale (ad es. ricottura simulata).

Questo approccio consentirebbe di creare una rete neurale che avesse sottoregioni convesse che circondano ogni modello di addestramento di ciascuna classe, e quindi avrebbe zero errori nel set di addestramento e avrebbe scarse prestazioni di convalida laddove le distribuzioni delle classi si sovrappongono.

Tieni presente che l'over-fitting riguarda l'eccessiva ottimizzazione del modello. Un modello sovra-parametrizzato (più pesi / unità nascoste del necessario) può comunque funzionare bene se la "mancata corrispondenza dei dati" non è minimizzata eccessivamente (ad esempio applicando la regolarizzazione o l'arresto anticipato o avendo la fortuna di atterrare in un minimo locale "buono" ).

Memorizzazione

Per un overfitting assoluto, vuoi una rete che sia tecnicamente in grado di memorizzare tutti gli esempi, ma fondamentalmente non capace di generalizzazione. Mi sembra di ricordare una storia su qualcuno che formava un predittore del rendimento degli studenti che ha ottenuto ottimi risultati nel primo anno ma è stato un fallimento assoluto nell'anno successivo, che si è rivelato essere causato dall'utilizzo di tutte le colonne di una tabella come caratteristiche, incluso il colonna con il numero sequenziale dello studente, e il sistema è semplicemente riuscito a imparare che ad es lo studente # 42 ottiene sempre buoni voti e lo studente # 43 ha un rendimento scarso, il che ha funzionato bene fino al prossimo anno, quando un altro studente era # 42.

Per una prima prova di concetto su CIFAR, potresti fare quanto segue:

1. Scegli un sottoinsieme di campioni CIFAR per il quale il colore del pixel nell'angolo in alto a sinistra risulta essere diverso per ogni immagine e utilizza quel sottoinsieme come dati di addestramento.
2. Crea una rete in cui il primo livello seleziona solo i valori RGB dell'angolo in alto a sinistra e ignora tutto il resto, seguito da uno o due livelli completamente collegati di larghezza comparabile fino al livello di classificazione finale.
3. Addestra il tuo sistema: dovresti ottenere il 100% sui dati di addestramento e quasi casuale sui dati di test.

Dopodiché, puoi estenderlo a un sistema orribilmente overfitting per l'intero CIFAR:

1. Come prima, filtra i dati in arrivo in modo che sia possibile identificare ogni singolo elemento nei dati di addestramento (quindi un singolo pixel non sarà sufficiente) ma in modo che sia decisamente impossibile risolvere il problema effettivo da quei dati. Forse i primi dieci pixel nella riga superiore sarebbero sufficienti; forse qualcosa dai metadati, ad es. l'ID immagine, come nello scenario delle prestazioni degli studenti.
2. Assicurati che non ci sia regolarizzazione di alcuna forma, nessuna struttura convoluzionale che implichi indipendenza traduttiva, solo livelli completamente connessi.
3. Allenati fino al 100% di precisione di allenamento e piangi per l'inutilità del sistema.

In generale, se ti alleni per un numero molto elevato di epoche e se la tua rete ha una capacità sufficiente, la rete andrà in overfit. Quindi, per garantire l'overfitting: scegli una rete con una capacità molto elevata e poi allenati per molte epoche. Non utilizzare la regolarizzazione (ad es. Abbandono, calo del peso, ecc.).

Gli esperimenti hanno dimostrato che se ti alleni abbastanza a lungo, le reti possono memorizzare tutti gli input nel set di addestramento e raggiungere una precisione del 100%, ma questo non significa che sarà accurato su un set di convalida. Uno dei modi principali in cui evitiamo l'overfitting nella maggior parte del lavoro oggi è interrompendola anticipatamente: interrompiamo SGD dopo un numero limitato di epoche. Quindi, se eviti di fermarti in anticipo e utilizzi una rete abbastanza grande, non dovresti avere problemi a far sì che la rete si adatti in modo eccessivo.

Vuoi davvero forzare un sacco di overfitting? Quindi aggiungi ulteriori campioni al set di addestramento, con etichette scelte a caso. Ora scegli una rete molto grande e allenati per molto tempo, abbastanza a lungo da ottenere il 100% di precisione sul set di allenamento. È probabile che i campioni etichettati in modo casuale impediscano ulteriormente qualsiasi generalizzazione e causino prestazioni ancora peggiori della rete sul set di convalida.

Mi piace molto la tua domanda.

Le persone spesso parlano di overfitting, ma forse non troppe persone si sono rese conto che progettare intenzionalmente un modello di overfitting non è un compito banale!Soprattutto con grandi quantità di dati.

In passato, la dimensione dei dati è spesso limitata.Ad esempio, un paio di centinaia di punti dati.Allora è facile avere un modello troppo aderente.

Tuttavia, nel "machine learning moderno", i dati di addestramento possono essere enormi, diciamo milioni di immagini, se un modello può sovradimensionarlo, sarebbe già un grande risultato.

Quindi la mia risposta alla tua domanda è, non un compito facile, a meno che tu non stia barando riducendo la dimensione del campione.

Secondo il documento di Open AI Deep Double Descent, è necessario disporre di una rete neurale sufficientemente grande per un dato set di dati.Presumibilmente questo rende l'NN abbastanza potente da apprendere perfettamente i dati di addestramento, ma abbastanza piccolo da non ottenere l'effetto di generalizzazione di una rete di grandi dimensioni.Il documento è empirico, quindi il motivo per cui funziona non è compreso in modo significativo ...

Come puoi vedere nel grafico, inizi con una rete sottodimensionata che non apprende i dati.È possibile aumentare le dimensioni finché non si comportano bene sul set di test, ma ulteriori aumenti di dimensioni portano a un adattamento eccessivo e prestazioni peggiori sul set di test.Infine, reti neurali molto grandi entrano in un regime diverso in cui l'errore del test continua a diminuire con le dimensioni.Tieni presente che l'errore di addestramento (mostrato in un grafico diverso) diminuisce in modo monotono.