Ein unglaublich nützliches Werkzeug zur Bewertung und zum Vergleich von Vorhersagemodellen ist die ROC-Kurve.
Sein name ist in der Tat merkwürdig. ROC steht für Receiver Operating characteristic. Sein Ursprung liegt im Sonar in den 1940er Jahren; ROCs wurden verwendet, um zu messen, wie gut ein Sonarsignal (z. B. von einem feindlichen U-Boot) durch Rauschen (eine Fischschule) erkannt werden konnte.
In seiner aktuellen Verwendung sind ROC-Kurven eine gute Möglichkeit zu sehen, wie jedes Vorhersagemodell zwischen den wahren Positiven und Negativen unterscheiden kann.,
Dazu muss ein Modell nicht nur ein Positiv als Positiv, sondern auch ein Negativ als Negativ richtig vorhersagen.
Die ROC-Kurve tut dies, indem sie die Empfindlichkeit zeichnet, die Wahrscheinlichkeit, ein echtes Positiv vorherzusagen, wird positiv sein, gegen 1-Spezifität ist die Wahrscheinlichkeit, ein echtes Negativ vorherzusagen, positiv. (Einem früheren Artikel abgedeckt, die Besonderheiten der Sensitivität und Spezifität, in Fall Sie benötigen eine rezension über was Sie bedeuten–und warum es wichtig ist zu wissen, wie genau das Modell die Vorhersage von positiven und negativen getrennt.,)
Die beste Entscheidungsregel ist hoch auf Empfindlichkeit und niedrig auf 1-Spezifität. Es ist eine Regel, die vorhersagt, dass die meisten wahren positiven positiv sein werden und einige wahre Negative positiv sein werden.
Entscheidungsregeln und Modelle
Ich habe über Entscheidungsregeln gesprochen, aber was ist mit Modellen?
Die Sache ist, Vorhersagemodelle wie die logistische Regression geben Ihnen keine Entscheidungsregel. Sie geben eine vorhergesagte Wahrscheinlichkeit eines positiven für jedes Individuum basierend auf den Werten der Prädiktorwerte dieses Individuums an.,
Ihre Software kann eine Klassifizierungstabelle basierend auf einer Standardwahrscheinlichkeitsabgrenzung ausdrucken (normalerweise .5). Aber es liegt wirklich an Ihnen zu entscheiden, wie hoch die Wahrscheinlichkeit sein sollte, eine Person als „vorhergesagt“ zu klassifizieren.“
Der Standardwert ist nicht immer die beste Entscheidungsregel. Der Zufall nur .5 wenn positive und negative Ergebnisse gleichermaßen wahrscheinlich sind.
Sie sind es normalerweise nicht.
Ebenso sind manchmal die Kosten für eine Fehlklassifizierung für positive und negative unterschiedlich, sodass Sie bereit sind, eine Art von Fehlklassifizierung zu erhöhen, um die andere zu vermeiden.,
Und der optimale Grenzpunkt ist nicht immer offensichtlich.
Verschiedene Modelle können bei verschiedenen Entscheidungsregeln besser abschneiden. Es ist schwer, Modelle als besser oder schlechter als einander zu vergleichen, wenn man bei einer Entscheidungsregel besser abschneidet und die andere bei einer anderen besser abschneidet.
Geben Sie die ROC-Kurve.
Die ROC-Kurve zeichnet die Empfindlichkeit und Spezifität für jeden möglichen Entscheidungsregel-Cutoff zwischen 0 und 1 für ein Modell auf.
Dieses Diagramm zeigt Ihnen einige verschiedene Dinge.,
Ein Modell, das zufällig vorhersagt, hat eine ROC-Kurve, die wie die diagonale grüne Linie aussieht. Das ist kein diskriminierendes Modell.
Je weiter die Kurve von der diagonalen Linie entfernt ist, desto besser ist das Modell bei der Unterscheidung zwischen Positiven und Negativen im Allgemeinen.
Es gibt nützliche Statistiken, die aus dieser Kurve berechnet werden können, wie die Fläche unter der Kurve (AUC) und der Youden-Index. Diese sagen Ihnen, wie gut das Modell vorhersagt und den optimalen Schnittpunkt für ein bestimmtes Modell (unter bestimmten Umständen).,
Obwohl ROCs häufig zur Auswertung und Interpretation logistischer Regressionsmodelle verwendet werden, sind sie nicht auf logistische Regression beschränkt. Eine häufige Verwendung in medizinischen Studien ist die Durchführung eines ROC, um zu sehen, wie viel besser ein einzelner kontinuierlicher Prädiktor (ein „Biomarker“) den Krankheitsstatus im Vergleich zum Zufall vorhersagen kann.,
