evdstat
2011-06-27 22:40:43 UTC
Ho trama ROC per diversi modelli. Questi modelli sono stati utilizzati per classificare i miei campioni in 2 classi.
Utilizzando questi comandi, posso ottenere grafici di sensibilità e specificità per ciascun modello:
perf <- performance ( pred, "sens", "spec") plot (perf) Devo fare affidamento sull'area sotto la curva (AUC) per ciascun modello per concludere quale modello è migliore? Oltre all'AUC, dovremmo considerare altri risultati in modo da concludere quale modello è migliore?
Se sì, come ottenere AUC con R? Ho ragione nel presumere che "più è piccolo, migliore è il potere di classificazione del modello?"
@evdstat In realtà hai due account non registrati: quello attuale e questo [quello più vecchio] (http://stats.stackexchange.com/users/5137/evdstat). Per favore, scegline uno, registrati e li uniremo in seguito.
Non vedo cosa abbiano a che fare le curve ROC, la sensibilità o la specificità con il problema in questione.
@Frank 1. questo è un commento alla domanda, non una risposta. 2. AUC, l'area sotto una curva ROC è un modo accettabile di misurare il potere predittivo di un modello di classificazione e quindi una misura che può essere utilizzata nel processo di selezione del modello. Il ROC stesso visualizza l'AUC e consente il calcolo di una soglia decisionale.
Giusto, avrei dovuto inserirlo come commento. L'AUC è un'utile misura di riepilogo una volta terminato l'adattamento del modello. Non è il criterio oggettivo ideale per la selezione del modello (la probabilità dovrebbe essere utilizzata per questo). Non fornisce una base razionale per una soglia decisionale poiché presume che le utilità siano guidate dai dati invece che dal soggetto.
@Frank Capisco, forse abbiamo un problema con i termini. 1. Per me come ML, modello = tutto ciò che predice la risposta e selezione del modello = scegli il modello il cui potere predittivo è il migliore (purché la complessità non sia troppo alta ecc.) 2. Non capisco il punto riguardo alla decisione soglia: se si calcola un ROC ponderato sulla base di una matrice costi-benefici si può determinare la soglia decisionale ottimale (vincolata al modello, ovviamente) ... ad esempio per l'attività di marketing diretto (mailing).
Sembra che utilizzare solo la probabilità per la selezione del modello limiti la casella degli strumenti di modellazione (quando parliamo di modelli predittivi nel regno del data mining - l'OP non menziona il tipo di modello, lo scopo, ecc.). Ad esempio, come calcolare -2LL con alberi decisionali potenziati dal gradiente?
La probabilità fornisce varie proprietà di ottimalità. Le soglie decisionali non possono derivare dai dati. Devono provenire dall'ambiente più ampio e dalla funzione di perdita / utilità. L'uso di ROC per sviluppare un classificatore è in contrasto con la teoria delle decisioni. Per il marketing diretto è possibile calcolare il rischio previsto per ogni persona e utilizzare una curva di portanza per trovare il limite che offre il miglior rapporto qualità-prezzo. Nessun ROC necessario o utile.