Uno strumento incredibilmente utile nella valutazione e nel confronto dei modelli predittivi è la curva ROC.
Il suo nome è davvero strano. ROC sta per caratteristica di funzionamento del ricevitore. La sua origine è da sonar indietro nel 1940; ROCs sono stati utilizzati per misurare quanto bene un segnale sonar (ad esempio, da un sottomarino nemico) potrebbe essere rilevato dal rumore (una scuola di pesci).
Nel suo utilizzo corrente, le curve ROC sono un bel modo per vedere come qualsiasi modello predittivo può distinguere tra i veri positivi e negativi.,
Per fare ciò, un modello deve non solo prevedere correttamente un positivo come positivo, ma anche un negativo come negativo.
La curva ROC lo fa tracciando la sensibilità, la probabilità di prevedere un positivo reale sarà un positivo, contro 1-specificità, la probabilità di prevedere un negativo reale sarà un positivo. (Un precedente articolo copriva le specifiche di sensibilità e specificità, nel caso in cui sia necessaria una recensione su cosa significano–e perché è importante sapere con quanta precisione il modello prevede separatamente positivi e negativi.,)
La regola di decisione migliore è alta sulla sensibilità e bassa sulla specificità 1. È una regola che prevede che la maggior parte dei veri positivi sarà positiva e pochi veri negativi saranno positivi.
Regole e modelli decisionali
Ho parlato di regole decisionali, ma per quanto riguarda i modelli?
Il fatto è che i modelli predittivi come la regressione logistica non ti danno una regola decisionale. Danno una probabilità prevista di un positivo per ogni individuo in base ai valori dei valori predittori di quell’individuo.,
Il software può stampare una tabella di classificazione basata su un limite di probabilità predefinito (di solito .5). Ma in realtà sta a te decidere quale dovrebbe essere il limite di probabilità per classificare un individuo come “predetto positivo.”
L’impostazione predefinita non è sempre la regola di decisione migliore. Il caso è solo .5 se i risultati positivi e negativi sono ugualmente probabili.
Di solito non lo sono.
Allo stesso modo, a volte il costo di errata classificazione è diverso per positivi e negativi, quindi sei disposto ad aumentare un tipo di errata classificazione per evitare l’altro.,
E il punto di taglio ottimale non è sempre ovvio.
Diversi modelli possono fare meglio a diverse regole decisionali. È difficile confrontare i modelli come migliori o peggiori l’uno dell’altro se uno si comporta meglio in una regola decisionale e l’altro fa meglio in un’altra.
Immettere la curva ROC.
La curva ROC traccia la sensibilità e la specificità per ogni possibile cutoff della regola di decisione tra 0 e 1 per un modello.
Questa trama ti dice alcune cose diverse.,
Un modello che prevede a caso avrà una curva ROC che assomiglia alla linea verde diagonale. Questo non è un modello discriminante.
Più la curva è lontana dalla linea diagonale, migliore è il modello a discriminare tra positivi e negativi in generale.
Ci sono statistiche utili che possono essere calcolate da questa curva, come l’Area sotto la curva (AUC) e l’indice Youden. Questi ti dicono quanto bene il modello prevede e il punto di taglio ottimale per un dato modello (in circostanze specifiche).,
Sebbene i ROC siano spesso utilizzati per valutare e interpretare i modelli di regressione logistica, non si limitano alla regressione logistica. Un uso comune negli studi medici è quello di eseguire un ROC per vedere quanto meglio un singolo predittore continuo (un “biomarcatore”) può predire lo stato della malattia rispetto al caso.,
