Esiste un modo per stimare le conseguenze per prestazioni fuori campione, a condizione che il processo decisionale nella modellazione possa essere adeguatamente trasformato in un processo automatizzato o semi-automatizzato. Ciò significa ripetere l ' intero processo di modellazione su più ricampionamenti bootstrap del set di dati. È il più vicino possibile alla stima delle prestazioni fuori campione del processo di modellazione.

Ricorda il principio bootstrap.

L'idea di base del bootstrap è che l'inferenza su una popolazione dai dati del campione (campione → popolazione) può essere modellata ricampionando i dati del campione ed eseguendo l'inferenza su un campione dai dati ricampionati (ricampionati → campione). Poiché la popolazione è sconosciuta, il vero errore in una statistica campione rispetto al valore della popolazione è sconosciuto. In bootstrap-resamples, la "popolazione" è in effetti il ​​campione, e questo è noto; quindi la qualità dell'inferenza del campione "vero" dai dati ricampionati (ricampionati → campione) è misurabile.

Seguendo questo principio, se ripeti l'intero processo di creazione del modello su più ricampionamenti bootstrap dei dati, quindi provi le prestazioni di ciascun modello risultante sull'intero set di dati, hai una stima ragionevole della generalizzabilità in termini di quanto bene il tuo il processo di modellazione sull'insieme di dati completo potrebbe applicarsi alla popolazione originale. Quindi, nel tuo esempio, se ci fosse un criterio quantitativo per decidere che è preferibile la modellazione quadratica piuttosto che lineare del predittore, allora usi quel criterio insieme a tutti gli altri passaggi della modellazione su ogni ricampionamento.

Ovviamente è meglio evitare questo tipo di dati. Non c'è nulla di male nel guardare cose come le distribuzioni di predittori o risultati da soli . È possibile esaminare le associazioni tra predittori, al fine di combinare predittori correlati in singole misure di riepilogo. È possibile utilizzare la conoscenza dell'argomento come guida. Ad esempio, se il risultato è strettamente positivo e presenta un errore di misurazione noto per essere proporzionale al valore misurato, una trasformata logaritmica ha senso su basi teoriche. Questi approcci possono portare a trasformazioni dei dati che non vengono contaminate osservando le relazioni predittore-risultato.

Un altro approccio utile è iniziare con un modello altamente flessibile (a condizione che il modello non sia a rischio di adattamento eccessivo) e ritirarsi da quello verso un modello più parsimonioso. Ad esempio, con un predittore continuo è possibile iniziare con un adattamento spline con più nodi, quindi eseguire un'analisi della varianza dei modelli nidificati con un numero progressivamente inferiore di nodi per determinare quanti nodi (fino a un semplice termine lineare) possono fornire risultati statisticamente indistinguibili .

Le note del corso e il libro di Frank Harrell forniscono indicazioni dettagliate su come modellare in modo affidabile senza lo spionaggio dei dati. Il processo di cui sopra per convalidare l'approccio di modellazione può essere utile anche se costruisci un modello senza ficcare il naso.

Ecco una risposta di base da una prospettiva di apprendimento automatico.

Quanto più complessa e ampia è la classe del modello che consideri, tanto meglio sarai in grado di adattare qualsiasi set di dati, ma minore sarà la sicurezza che puoi avere nelle prestazioni fuori campione. In altre parole, più è probabile che tu ti adatti al tuo campione.

Nello spionaggio dei dati, si è impegnati in una ricerca attraverso uno spazio modello possibilmente molto ampio e flessibile. Quindi la possibilità di trovare un modello che overfit diventa più probabile.

Possiamo dimostrare che ciò non accade (con alta probabilità, in determinate condizioni) se lo spazio del modello è sufficientemente limitato, rispetto alla dimensione del set di dati.

...

Quindi la distinzione tra lo snooping dei dati e l'indagine basata sui principi può essere tanto sottile quanto: lo spazio dei modelli che, a priori , si è disposti a considerare.

Ad esempio, supponiamo che l'autore non trovi alcun adattamento quadratico, quindi passano a cubi, quartici, ... e alla fine trovano un polinomio di grado 27 che è un buon adattamento, e afferma che questo modella veramente i dati- processo di generazione. Saremmo molto scettici. Allo stesso modo, se provano a trasformare in log sottoinsiemi arbitrari delle variabili fino a quando non si verifica un adattamento.

D'altra parte, supponiamo che il piano sia di rinunciare dopo i cubi e di dire che il processo non è spiegabile in questo modo. Lo spazio dei polinomi di grado al massimo 3 è abbastanza ristretto e strutturato, quindi se viene effettivamente scoperto un adattamento cubico, possiamo essere abbastanza sicuri che non sia una coincidenza.

...

Pertanto, un modo per prevenire generalmente la "falsa scoperta", come spesso la chiamiamo, è limitarsi a priori a un certo insieme ristretto di modelli. Questo è analogo alla pre-registrazione di ipotesi in un lavoro sperimentale.

Nella regressione, lo spazio modello è già piuttosto limitato, quindi penso che si dovrebbero provare molti trucchi diversi prima di correre il rischio di scoprire una relazione spuria, a meno che il set di dati non sia piccolo.

Trovare in modo iterativo il miglior modello analitico che si adatti ai dati con un termine di errore è accettabile entro i vincoli ben spiegati nell'articolo citi.

Ma forse quello che stai chiedendo è qual è l'efficacia di tale modello quando lo utilizzi per prevedere dati fuori campione che non sono stati utilizzati per generare il modello. Se è ragionevole presumere che il meccanismo di generazione dei dati utilizzato per calcolare il modello e il meccanismo che genera i nuovi dati siano gli stessi, non c'è niente di sbagliato nell'usare il modello ottenuto.

Ma potresti avere un giustificato scetticismo su questa affermazione che va all'essenza delle statistiche frequentiste. Man mano che si sviluppa il modello, si ottengono i parametri che meglio si adattano ai dati. Per ottenere un modello migliore, aggiungi più dati. Ma ciò non aiuta se aggiungi punti dati di cui non sai se appartengono allo stesso meccanismo di generazione dei dati utilizzato per sviluppare il modello.

Qui il problema è di credere quanto sia probabile che i nuovi punti dati appartengano allo stesso meccanismo. Questo ti porta direttamente all'analisi bayesiana in base alla quale determini la distribuzione di probabilità dei parametri del modello e vedi come questa distribuzione cambia man mano che aggiungi più dati. Per una spiegazione introduttiva dell'analisi bayesiana, vedere qui. Per una bella spiegazione della regressione bayesiana, vedere qui.

Ecco una risposta dal punto di vista della fisica. Se stai facendo un "adattamento" eccessivo, potresti essere uno spionaggio dei dati. Tuttavia, se stai "modellando" nel modo in cui intendiamo in fisica, allora stai effettivamente facendo quello che dovresti fare.

Se la tua variabile di risposta è decibel e le tue variabili esplicative sono cose come potenza assorbita e proprietà del materiale, allora se non modellassi nello spazio log, lo sbaglieresti. Questo potrebbe essere un modello esponenziale o una trasformazione logaritmica.

Molti fenomeni naturali danno luogo a distribuzioni non normali. In questi casi, dovresti utilizzare un metodo di analisi che ti consenta di incorporare quella struttura di distribuzione (regressione di Poisson, binomiale negativo, log-lineare, lognormale, ecc.) O trasformare i dati tenendo presente che trasformerà anche la varianza e struttura di covarianza.

Anche se non si dispone di un esempio tratto dalla letteratura a sostegno dell'uso di una particolare distribuzione che non è normale, se è possibile giustificare la propria affermazione con una spiegazione minima del motivo per cui tale distribuzione potrebbe avere senso fisico, o tramite un preponderanza di dati distribuiti in modo simile riportati in letteratura, rispetto a quanto penso sia giustificato scegliere quella data distribuzione come modello.

Se si esegue questa operazione, si sta modellando, non si sta adattando e quindi non si sta ficcando il naso.

Abbiamo lasciato che i dati influenzassero il nostro modello.

Bene, tutti i modelli sono basati sui dati. Il problema è se il modello viene costruito da dati di addestramento o dati di test . Se prendi decisioni sul tipo di modello che desideri esaminare in base ai grafici dei dati di addestramento, non si tratta di spionaggio di dati.

Idealmente, qualsiasi metrica che descrive l'accuratezza di un modello dovrebbe essere derivata da dati completamente "puliti": cioè, dati da cui il processo di generazione del modello non dipende in alcun modo. C'è una tensione qui, poiché più dati vengono addestrati sul modello, più accurato può essere, ma ciò significa anche che ci sono meno dati su cui convalidarlo.

La differenza tra l'addestramento di un modello e la scelta tra due modelli in base ai punteggi di convalida è, in un certo senso, una questione di grado piuttosto che di natura. Può essere un grado molto ampio, tuttavia. Se scegli tra due diversi modelli, guardare i punteggi di convalida ti dà al massimo un po 'di fuga di dati. Ma man mano che si aggiungono sempre più iperparametri, la distinzione tra loro e i parametri normali può iniziare a sfocarsi.

Durante la creazione di un modello, è necessario passare gradualmente dall'esplorazione, in cui si assegna la priorità all'adattamento del modello ai dati di addestramento il più possibile, alla convalida, in cui si dà la priorità alla stima al di fuori dell'accuratezza del campione. Se vuoi essere assolutamente sicuro di non essere coinvolto nello spionaggio dei dati, dovresti trovare qualcuno che esegua il tuo modello su dati a cui non hai accesso.