ett otroligt användbart verktyg för att utvärdera och jämföra prediktiva modeller är ROC-kurvan.
dess namn är verkligen konstigt. ROC står för mottagare driftegenskaper. Dess ursprung är från ekolod tillbaka på 1940-talet; ROCs användes för att mäta hur väl en ekolodsignal (t.ex. från en fiendens ubåt) kunde detekteras från buller (en fiskskola).
i sin nuvarande användning är RoC-kurvor ett trevligt sätt att se hur någon prediktiv modell kan skilja mellan de sanna positiva och negativa.,
för att göra detta måste en modell inte bara korrekt förutsäga en positiv som en positiv, men också en negativ som en negativ.
ROC-kurvan gör detta genom att plotta känslighet, sannolikheten att förutsäga en verklig positiv kommer att vara en positiv, mot 1-specificitet, sannolikheten att förutsäga en verklig negativ kommer att vara en positiv. (En tidigare artikel omfattade specifika känslighet och specificitet, om du behöver en recension om vad de menar–och varför det är viktigt att veta hur exakt modellen förutspår positiva och negativa separat.,)
den bästa beslutsregeln är hög på känslighet och låg på 1-specificitet. Det är en regel som förutspår mest sanna positiva kommer att vara en positiv och få sanna negativ kommer att vara en positiv.
beslutsregler och modeller
Jag har pratat om beslutsregler, men hur är det med modeller?
saken är, prediktiva modeller som logistisk regression ger dig inte en beslutsregel. De ger en förutsedd Sannolikhet för en positiv för varje individ baserat på värdena för den individens prediktorvärden.,
din programvara kan skriva ut en klassificeringstabell baserat på en standardavgränsning för sannolikheten (vanligtvis .5). Men egentligen är det upp till dig att bestämma vad sannolikheten cutoff bör vara att klassificera en individ som ”förutsagt positivt.”
standardregeln är inte alltid den bästa beslutsregeln. Chansen är bara .5 om positiva och negativa resultat är lika troliga.
de brukar inte vara det.
På samma sätt är kostnaden för felklassificering ibland annorlunda för positiva och negativa, så du är villig att öka en typ av felklassificering för att undvika den andra.,
och den optimala brytpunkten är inte alltid uppenbar.
olika modeller kan göra bättre på olika beslutsregler. Det är svårt att jämföra modeller som gör bättre eller sämre än varandra om man presterar bättre på en beslutsregel och den andra gör bättre på en annan.
Ange ROC-kurvan.
ROC-kurvan visar känsligheten och specificiteten för alla möjliga beslut regel cutoff mellan 0 och 1 för en modell.
denna plot berättar några olika saker.,
en modell som förutspår en slump kommer att ha en ROC-kurva som ser ut som den diagonala gröna linjen. Det är ingen diskriminerande modell.
ju längre kurvan är från den diagonala linjen, desto bättre är modellen att diskriminera mellan positiva och negativa i allmänhet.
det finns användbar statistik som kan beräknas från denna kurva, som området under kurvan (AUC) och Youden-indexet. Dessa berättar hur bra modellen förutspår och den optimala skärpunkten för en viss modell (under specifika omständigheter).,
Även om ROCs ofta används för att utvärdera och tolka logistiska regressionsmodeller är de inte begränsade till logistisk regression. En vanlig användning i medicinska studier är att köra en ROC för att se hur mycket bättre en enda kontinuerlig prediktor (en ”biomarkör”) kan förutsäga sjukdomsstatus jämfört med chans.,
