Un intervallo di confidenza è una stima dell'intervallo per un valore reale di un parametro. Cominciamo (come esempio) con ad es. un intervallo di confidenza per la media di una distribuzione normale e poi passare a ROC e AUC in modo da vedere l'analogia.

Supponi di avere una variabile normale casuale $ X \ sim N (\ mu; \ sigma) $. Dove $ \ mu $ è la media della popolazione sconosciuta e, per semplificare, supponiamo che $ \ sigma $ sia noto.

Ora disegniamo un campione di dimensione $ n $ dalla distribuzione di X, cioè otteniamo un campione $ x_1, x_2, \ dots x_n $. L'obiettivo è avere un'idea dello sconosciuto $ \ mu $ utilizzando l'esempio disegnato. È noto che la media aritemetica $ \ bar {x} = \ frac {1} {n} \ sum_i x_i $ è uno stimatore (puntuale) imparziale per (l'ignoto) $ \ mu $ e che $ [\ bar { x} -1,96 \ frac {\ sigma} {\ sqrt {n}}; \ bar {x} +1,96 \ frac {\ sigma} {\ sqrt {n}}] $ è un intervallo di confidenza di $ 95 \% $ per ( l'ignoto) $ \ mu $.

Se disegniamo un altro campione $ y_1, \ dots, y_n $ dalla distribuzione di $ X $ allora, allo stesso modo troveremo un altro intervallo di confidenza per il (sconosciuto ) $ \ mu $ come $ [\ bar {y} -1,96 \ frac {\ sigma} {\ sqrt {n}}; \ bar {y} +1,96 \ frac {\ sigma} {\ sqrt {n}}] $.

Quindi ogni volta che estraiamo un campione di dimensione $ n $ dalla distribuzione di $ X $, troviamo un intervallo di confidenza per $ \ mu $ (sconosciuto) e tutti questi intervalli saranno diversi. Il fatto che sia un intervallo di confidenza di $ 95 \% $ significa che, se estraiamo un numero "infinito" di campioni di dimensione $ n $ dalla distribuzione di $ X $, e per ciascuno di questi campioni calcoliamo il $ 95 \% $ intervallo di confidenza, quindi $ 95 \% $ di tutti questi intervalli (un intervallo per ogni campione) conterrà lo sconosciuto $ \ mu $. (quindi a volte, vale a dire $ 5 \% $ degli intervalli, come un intervallo non conterrà lo sconosciuto $ \ mu $, quindi a volte hai sfortuna.)

Lo stesso vale per l'AUC, quando calcoli l'AUC, la calcoli da un campione, in altre parole ciò che calcoli è una stima per la vera sconosciuta AUC . Allo stesso modo puoi, per il campione che hai, calcolare un intervallo di confidenza per l'AUC vero ma sconosciuto. Se si fosse in grado di disegnare un numero infinito di campioni e per ogni campione ottenuto calcolare l'intervallo di confidenza per l'AUC vera, allora $ 95 \% $ di questi intervalli calcolati conterrebbe l'AUC vera ma sconosciuta.

Nota che l'intervallo è casuale, perché è calcolato da un campione casuale. Il vero AUC non è casuale, è una proprietà sconosciuta della tua popolazione.

Sfortunatamente non puoi disegnare un numero infinito di campioni, il più delle volte hai un solo campione, quindi dovrà farlo con un intervallo, ma sei piuttosto sicuro ($ 95 \% $ degli intervalli così calcolati conterrà la vera AUC sconosciuta) che questo intervallo conterrà la vera AUC. E sì, se il bordo inferiore dell'intervallo è maggiore di 0,5, puoi essere abbastanza sicuro che il tuo modello non sia il modello casuale, ma, come sopra, potresti anche aver avuto sfortuna con il campione.

Probabilmente la migliore interpretazione sarebbe in termini della cosiddetta statistica $ c $, che risulta essere uguale all'area sotto la curva ROC. Cioè, se stai cercando di prevedere una risposta $ Y $ (che è spesso binaria) usando un punteggio $ X $, la statistica $ c $ è definita come $ P (X ^ \ prime > X \ mid Y ^ \ prime > Y) $, dove $ X ^ \ prime $ e $ Y ^ \ prime $ sono copie indipendenti di $ X $ e $ Y $.

Saresti quindi $ 95 \% $ fiducioso che il Il valore "vero" di questa probabilità condizionale è compreso nell'intervallo specificato. Ciò ti consentirebbe di rifiutare in modo un po 'più formale l'affermazione secondo cui il tuo modello non è migliore del casuale se il limite inferiore è superiore a $ 1/2 $.