una herramienta increíblemente útil para evaluar y comparar modelos predictivos es la curva ROC.
Su nombre es realmente extraño. ROC significa Receiver Operating Characteristic (característica de funcionamiento del receptor). Su origen es de sonar en la década de 1940; ROCs se utilizaron para medir qué tan bien una señal de sonar (por ejemplo, de un submarino enemigo) se podía detectar a partir del ruido (un banco de peces).
en su uso actual, las curvas ROC son una buena manera de ver cómo cualquier modelo predictivo puede distinguir entre los verdaderos positivos y negativos.,
para hacer esto, un modelo no solo necesita predecir correctamente un positivo como positivo, sino también un negativo como negativo.
la curva ROC hace esto trazando la sensibilidad, la probabilidad de predecir un positivo real será un positivo, contra 1-especificidad, la probabilidad de predecir un negativo real será un positivo. (Un artículo anterior cubrió los detalles de la sensibilidad y la especificidad, en caso de que necesite una revisión sobre lo que significan, y por qué es importante saber con qué precisión el modelo predice los aspectos positivos y negativos por separado.,)
la mejor regla de decisión es alta en sensibilidad y baja en 1-especificidad. Es una regla que predice que la mayoría de los verdaderos positivos serán positivos y pocos verdaderos negativos serán positivos.
reglas y modelos de decisión
he estado hablando de reglas de decisión, pero ¿qué pasa con los modelos?
la cosa es que los modelos predictivos como la regresión logística no te dan una regla de decisión. Dan una probabilidad predicha de un positivo para cada individuo basado en los valores de los valores predictores de ese individuo.,
su software puede imprimir una tabla de clasificación basada en un límite de probabilidad predeterminado (generalmente .5). Pero realmente depende de usted decidir cuál debe ser el límite de probabilidad para clasificar a un individuo como «positivo predicho».»
el valor predeterminado no siempre es la mejor regla de decisión. El azar es lo único .5 si los resultados positivos y negativos son igualmente probables.
por lo general no lo son.
del mismo modo, a veces el costo de la clasificación errónea es diferente para los positivos y los negativos, por lo que está dispuesto a aumentar un tipo de clasificación errónea para evitar el otro.,
y el punto de corte óptimo no siempre es obvio.
diferentes modelos pueden funcionar mejor en diferentes reglas de decisión. Es difícil comparar los modelos como mejores o peores que los demás si uno se desempeña mejor en una regla de decisión y el otro lo hace mejor en otra.
introduzca la curva ROC.
la curva ROC traza la sensibilidad y especificidad para cada posible corte de la regla de decisión entre 0 y 1 para un modelo.
Este gráfico le dice algunas cosas diferentes.,
un modelo que predice al azar tendrá una curva ROC que se parece a la línea verde diagonal. Ese no es un modelo discriminatorio.
cuanto más lejos esté la curva de la línea diagonal, mejor será el modelo para discriminar entre positivos y negativos en general.
hay estadísticas útiles que se pueden calcular a partir de esta curva, como el área bajo la curva (AUC) y el índice de Youden. Estos le indican qué tan bien predice el modelo y el punto de corte óptimo para cualquier modelo dado (en circunstancias específicas).,
aunque los Roc se utilizan a menudo para evaluar e interpretar modelos de regresión logística, no se limitan a la regresión logística. Un uso común en los estudios médicos es ejecutar un ROC para ver cuánto mejor UN SOLO predictor continuo (un «biomarcador») puede predecir el estado de la enfermedad en comparación con el azar.,
