Non riesco a pensare a un esempio in cui consiglierei una tecnica di classificazione quando la variabile è continua o ordinale. Dopo aver adattato in modo efficiente un modello continuo, è possibile utilizzare tale modello per stimare la probabilità che $ Y $ superi qualsiasi livello di interesse. Se il modello è gaussiano, questa probabilità è una funzione della media prevista e della deviazione standard residua.

Vladimir Vapnik (co-inventore della Support Vector Machine e uno dei principali teorici dell'apprendimento computazionale) sostiene di cercare sempre di risolvere il problema direttamente, piuttosto che risolvere un problema più generale e quindi scartare alcune delle informazioni fornite dalla soluzione. Sono generalmente d'accordo con questo, quindi suggerirei un approccio di classificazione per il problema come si pone attualmente . La ragione di ciò è che se siamo interessati solo a classificare un progetto come redditizio o non redditizio, allora siamo davvero interessati solo alla regione in cui la redditività è intorno allo zero. Se formiamo un modello di classificazione, è qui che concentreremo le nostre risorse di modellazione. Se adottiamo un approccio di regressione, potremmo sprecare risorse di modellazione per apportare piccoli miglioramenti nelle prestazioni per progetti che saranno molto redditizi o non redditizi, potenzialmente a scapito del miglioramento delle prestazioni dei progetti limite.

Ora il La ragione per cui ho detto "come attualmente posto" è che pochissimi problemi in realtà implicano una classificazione binaria semplice e rigida (il riconoscimento ottico dei caratteri sarebbe probabilmente uno). Generalmente diversi tipi di classificazione errata hanno costi diversi, o le frequenze delle classi operative possono essere sconosciute, o variabili, ecc. In questi casi è meglio avere un classificatore probabilistico, come la regressione logistica, piuttosto che un SVM. Se mi sembra che per un'applicazione finanziaria, faremo meglio se conosciamo la probabilità che il progetto sia redditizio e quanto sia redditizio o meno. Potremmo essere disposti a finanziare un progetto che ha una piccola possibilità di essere redditizio, ma enormemente redditizio se dovesse avere successo, ma non un progetto che è quasi garantito per avere successo, ma che avrà un margine di profitto così piccolo che saremmo noi meglio mettere i soldi in un conto di risparmio.

Quindi Frank e Omri374 hanno ragione entrambi! (+1; o)

EDIT: per chiarire perché la regressione potrebbe non essere sempre un buon approccio per risolvere un problema di classificazione, ecco un esempio. Supponiamo di avere tre progetti, con redditività $ \ vec {y} = (- \ $ 1000, + \ $ 1, + \ $ 1000) $, e per ogni progetto, abbiamo una variabile esplicativa che speriamo sia indicativa di redditività, $ \ vec {x} = (1, 2, 10) $. Se adottiamo un approccio di regressione (con offset), otteniamo i coefficienti di regressione $ \ beta_0 = -800.8288 $ e $ \ beta_1 = 184.8836 $ (a condizione di aver fatto le somme correttamente!). Il modello prevede quindi che i progetti producano profitti $ \ hat {y} _1 \ approx - \ $ 616 $, $ \ hat {y} _2 \ approx - \ $ 431 $ e $ \ hat {y} _3 \ approx \ $ 1048 $. Si noti che il secondo progetto è previsto erroneamente come non redditizio. Se d'altra parte, adottiamo un approccio di classificazione e regrediamo invece su $ \ vec {t} = 2 * (y > = 0) - 1 $, otteniamo i coefficienti di regressione $ \ beta_0 = -0,2603 $ e $ \ beta_1 = 0.1370 $, che assegna un punteggio ai tre progetti come segue: $ \ hat {t} _1 = -0.1233 $, $ \ hat {t} _2 = 0.0137 $ e $ \ hat {t} _3 = 1.1096 $. Quindi un approccio di classificazione classifica correttamente il progetto 1 come non redditizio e gli altri due come redditizi.

Il motivo per cui questo accade è che un approccio di regressione cerca ugualmente di ridurre al minimo la somma degli errori al quadrato per ciascuno dei dati punti. In questo caso, un SSE inferiore si ottiene consentendo al progetto due di cadere dal lato sbagliato del confine di decisione, in modo da ottenere errori inferiori sugli altri due punti.

Quindi Frank ha ragione quando dice che un approccio di regressione è probabilmente un buon approccio nella pratica, ma se la classificazione è effettivamente l'obiettivo finale, ci sono situazioni in cui può funzionare male e un approccio di classificazione funzionerà meglio.

Dopo aver letto i commenti, penso che la seguente distinzione sia ciò che manca dalla discussione:

Come modellare il problema

Questo non ha niente da fare con quale tecnica usare. È la questione di quali siano gli input e gli output e come valutare il risultato.

Se ti interessa veramente solo se i nostri progetti sono redditizi o meno e l'importo di cui lo sono è assolutamente irrilevante, allora dovresti modellarlo come un problema di classificazione. Ciò significa che alla fine stai ottimizzando il tasso atteso di corretta classificazione (accuratezza) o AUC. Ciò in cui si traduce questa ottimizzazione dipende dalla tecnica utilizzata.

Tutte le domande sulla scelta del modello e sugli algoritmi di ricerca possono essere affrontate in modo euristico (usando gli argomenti che sono stati presentati nelle altre risposte e commenti) ma la prova definitiva del budino è nel mangiare. Qualunque modello tu abbia, valuterai l'accuratezza mediante test con convalida incrociata, quindi la precisione è ciò che ottimizzi.

Come risolvere il problema

Puoi utilizzare qualsiasi metodo che si adatta al paradigma di classificazione. Dato che hai una variabile y continua, puoi fare una regressione su quella e tradurre in una classificazione binaria. Probabilmente funzionerà bene. Tuttavia, non vi è alcuna garanzia che il modello di regressione ottimale (per somma di errori al quadrato o massima verosimiglianza o altro) fornirà anche il modello di classificazione ottimale (per accuratezza o AUC).

Un modello di classificazione generalmente tenta di ridurre al minimo il segno (errore in termini di classe) e non il bias. In caso di molti valori anomali, ad esempio, preferirei utilizzare un modello di classificazione e non un modello di regressione.

Definirei il problema come quello di ridurre al minimo le perdite. La domanda è: qual è la tua vera funzione di perdita? Una previsione errata di redditività quando il progetto ha perso \ $ 1 costa quanto una previsione di redditizio quando il progetto ha perso \ $ 1000? In quel caso la tua funzione di perdita è veramente binaria, e sei meglio considerare l'intera cosa come un problema di classificazione. La funzione di regressione può ancora essere uno dei tuoi classificatori candidati, ma dovresti ottimizzarla con la funzione di perdita discreta piuttosto che con quella continua. Se hai una definizione più complicata di perdita, dovresti provare a formalizzarla e vedere cosa ottieni se prendi la derivata.

È interessante notare che molti metodi di apprendimento automatico in realtà ottimizzano una funzione di perdita discreta approssimando con uno continuo, poiché una funzione di perdita discreta fornisce scarsi gradienti per l'ottimizzazione. Quindi potresti finire per considerarlo un problema di classificazione, poiché questa è la tua funzione di perdita, ma quindi approssimare quella funzione di perdita con quella continua originale.