L'argomento è semplice: quando crei un modello, vuoi che questo modello sia efficiente su dati NUOVI, NON VISTI, giusto? Altrimenti non hai bisogno di un modello.

Quindi, la metrica di valutazione, diciamo precisione e richiamo, deve dare un'idea di come si comporterà il tuo modello su dati invisibili.

Ora, se valuti sugli stessi dati che hai usato per l'addestramento, la tua precisione e il tuo richiamo saranno distorti (quasi certamente, più alti di quanto dovrebbero), perché il tuo modello ha già visto i dati.

Supponi di essere un insegnante che scrive un esame per alcuni studenti. Se vuoi valutare le loro capacità, darai loro esercizi che hanno già visto e che hanno ancora sulla scrivania, o nuovi esercizi, ispirati da ciò che hanno imparato, ma diversi da loro?

Ecco perché è sempre necessario conservare un set di test totalmente invisibile per la valutazione. (Puoi anche utilizzare la convalida incrociata, ma questa è una storia diversa).

@jpl ha fornito una buona spiegazione delle idee qui. Se quello che vuoi è solo un riferimento, userei un libro di testo solido e di base. Alcuni libri ben considerati che trattano l'idea della convalida incrociata e del motivo per cui è importante potrebbero essere:

• Harrell, F. (2010). Strategie di modellazione della regressione: con applicazioni a modelli lineari, regressione logistica e analisi di sopravvivenza . Springer.

• Hastie, T., Tibshirani, R., & Friedman, J. (2011). Gli elementi dell'apprendimento statistico: data mining, inferenza e previsione . Springer.

  e / o

• James, G., Witten, T., Hastie, T., & Tibshirani, R. (2013). Introduzione all'apprendimento statistico: con applicazioni in R . Springer.

Se convalidi sull'intero set di addestramento, il tuo modello ideale è quello che memorizza solo i dati. Niente può batterlo.

Dici che "realisticamente questo non è un modello che si limita a memorizzare i dati". Ma perché preferisci altri modelli? Questo è il punto della mia riduzione all'assurdità della validazione su tutti i dati: il motivo principale per cui non ti piace il modello che memorizza tutto ciò che ha visto è che non generalizza affatto. Cosa dovrebbe fare dato un input che non ha visto? Quindi vuoi un modello che funzioni in generale piuttosto che uno che funzioni solo su ciò che ha visto. Il modo in cui codifichi quel desiderio di lavorare bene su dati invisibili è impostare i dati di convalida in modo che siano esattamente quei dati invisibili.

Tuttavia, se sai che i tuoi esempi di addestramento rappresentano completamente la vera distribuzione, allora vai avanti e convalidare usandoli!

Inoltre, contrariamente a quanto affermato nel tuo ultimo paragrafo, la citazione che hai citato non è "chiaramente sbagliata" e quella "particolare strategia di valutazione" ha a che fare "con i modelli overfitting". Overfitting significa adattare (il rumore degli) esempi di formazione forniti piuttosto che le relazioni statistiche dei dati generali. Convalidando utilizzando i dati visualizzati, preferirai modelli che si adattano al rumore piuttosto che quelli che funzionano bene utilizzando dati invisibili.

Ecco la mia semplice spiegazione.

Quando modelliamo la realtà, vogliamo che i nostri modelli siano in grado non solo di spiegare i fatti esistenti, ma anche di prevedere i nuovi fatti. Quindi, il test fuori campione serve per emulare questo obiettivo. Stimiamo (addestriamo) il modello su alcuni dati (training set), quindi proviamo a prevedere al di fuori del training set e confrontiamo le previsioni con il campione di controllo.

Ovviamente, questo è solo un esercizio di previsione, non la previsione reale, perché il campione di controllo era di fatto già osservato. Il vero test di previsione avviene solo quando si utilizza il modello sui dati, che non è stato ancora osservato. Ad esempio, hai sviluppato un programma di apprendimento automatico per la pubblicità. Solo quando inizi a usarlo nella pratica e osservi le sue prestazioni, saprai per certo se funziona o meno.

Tuttavia, nonostante la limitazione dell'approccio di formazione / controllo, è comunque informativo. Se il tuo modello funziona solo in-sample, probabilmente non è affatto un buon modello. Quindi, questo tipo di test aiuta a eliminare i modelli difettosi.

Un'altra cosa da ricordare: supponiamo che tu abbia condotto l'addestramento / la convalida del campione di controllo del modello. Tuttavia, quando si desidera utilizzare il modello, probabilmente si stimerà il modello sull'intero set di dati. In questo caso, quanto sono applicabili i risultati della convalida fuori campione del modello che è stato stimato sul campione di addestramento?

Altri hanno risposto ai tuoi paragrafi precedenti, quindi lasciami parlare del tuo ultimo. La validità del tuo punto dipende dall'interpretazione di "valutazione". Se viene utilizzato nel senso di un'esecuzione finale su dati invisibili per dare un'idea di quanto bene ci si potrebbe aspettare che il modello scelto funzioni in futuro, il punto è corretto.

Se viene utilizzata la "valutazione" più nel senso di ciò che chiamerei un set di "test", ovvero valutare i risultati dell'addestramento di più modelli per sceglierne uno, quindi la valutazione sui dati di addestramento porterà all'overfitting.

Tutte le altre risposte (soprattutto relative all'over-fitting) sono molto buone, ma aggiungerei solo una cosa. La natura stessa degli algoritmi di apprendimento è che l'addestramento garantisce che apprendano "qualcosa" di comune sui dati a cui sono esposti. Tuttavia, ciò di cui non possiamo essere direttamente sicuri è esattamente quali caratteristiche dei dati di allenamento finiscono per apprendere. Ad esempio, con il riconoscimento delle immagini, è molto difficile essere sicuri che una rete neurale addestrata abbia appreso l'aspetto di un volto o qualcos'altro inerente alle immagini. Ad esempio, una ANN potrebbe aver appena memorizzato l'aspetto delle camicie, delle spalle o dei capelli.

Detto questo, utilizzare un set separato di dati di test (non visti dall'addestramento) è un modo per aumentare la sicurezza disporre di un modello su cui si può contare per funzionare come previsto con dati reali / invisibili. Anche aumentare il numero di campioni e la variabilità delle caratteristiche aiuta. Ciò che si intende per variabilità delle caratteristiche è che si desidera eseguire l'addestramento con dati che abbiano quante più variazioni possibili che contano ancora su ciascun campione.

Ad esempio, ancora una volta con i dati del viso, vuoi mostrare ogni volto in particolare su quanti più sfondi possibili e con il maggior numero possibile di variazioni di abbigliamento, illuminazione, colore dei capelli, angoli di ripresa ecc. Ciò contribuirà a garantire che quando la ANN dice "faccia" sia davvero una faccia e non un muro bianco sullo sfondo che ha attivato la risposta.

Hastie et al hanno un buon esempio nel contesto della convalida incrociata che penso si applichi anche qui. Considera la previsione con un numero estremamente elevato di predittori sui dati in cui i predittori e i risultati sono tutti distribuiti in modo indipendente. Per amor di discussione, supponiamo che tutto sia Bernoulli con p = 0,5.

Se hai abbastanza variabili, avrai alcuni predittori che ti permettono di prevedere perfettamente i risultati. Tuttavia, sui nuovi dati, non è possibile ottenere una precisione perfetta.

Questo non è esattamente lo stesso del tuo caso, ma mostra un esempio in cui il tuo metodo può davvero portarti fuori strada .