Poiché la funzione di probabilità logaritmica (combinata con la precedente se si utilizza la modellazione bayesiana) è il criterio di ottimalità del gold standard, è meglio usare la probabilità logaritmica (una traduzione lineare della regola del punteggio di accuratezza logaritmica).Questo si estende automaticamente a $ Y $ ordinale e multinomiale (politomico).Ci sono solo tre ragioni a cui posso pensare per non utilizzare la probabilità logaritmica per riassumere il valore predittivo del modello:

1. cerchi di descrivere le prestazioni del modello utilizzando una misura che il modello non stava ottimizzando (non è una cattiva idea; spesso perché usiamo il punteggio di Brier)
2. hai una singola probabilità prevista di uno o zero che era "sbagliata", restituendo un valore infinito per il punteggio logaritmico
3. spesso è difficile sapere "quanto è buono" un valore dell'indice (lo stesso per il punteggio di Brier, non tanto per $ c $ -index, cioè probabilità di concordanza o AUROC)

Ciascuna di queste misure può essere appropriata, a seconda di ciò su cui ci si vuole concentrare.

Il punteggio di Brier è fondamentalmente la somma degli errori al quadrato delle stime di probabilità classwise.Ti informerà sia sull'accuratezza del modello che sulla precisione "sicura" del modello.

Non si desidera utilizzare il punteggio Brier per assegnare un punteggio a un problema di classificazione ordinale.Se per esempio perdere una classe 1 predire la classe 2 è meglio che prevedere la classe 3.Il punteggio di Brier pesa tutti i mancati allo stesso modo.

L'entropia incrociata (perdita logaritmica), fondamentalmente, misurerà l'incertezza relativa tra le classi che il tuo modello produce rispetto alle classi vere.Negli ultimi dieci anni circa, è diventata una delle statistiche di punteggio del modello standard per i problemi di classificazione multiclasse (e binaria).

Questo documento sembra parlare un po ': http://faculty.engr.utexas.edu/bickel/Papers/QSL_Comparison.pdf

E l'ho ottenuto da questa risposta: Giustificare e scegliere una regola di punteggio adeguata