et utroligt nyttigt værktøj til evaluering og sammenligning af forudsigelige modeller er ROC-kurven.
dets navn er faktisk mærkeligt. ROC står for modtager Driftskarakteristik. Dens oprindelse er fra sonar tilbage i 1940′ erne; ROCs blev brugt til at måle, hvor godt et sonarsignal (f.eks.
i sin nuværende brug er ROC-kurver en dejlig måde at se, hvordan enhver forudsigelig model kan skelne mellem de sande positive og negative.,
for at gøre dette skal en model ikke kun korrekt forudsige en positiv som en positiv, men også en negativ som en negativ.
Roc-kurven gør dette ved at plotte følsomhed, sandsynligheden for at forudsige en reel positiv vil være positiv, mod 1-specificitet vil sandsynligheden for at forudsige et reelt negativt være positivt. (En tidligere artikel dækkede specifikationerne for følsomhed og specificitet, hvis du har brug for en gennemgang af, hvad de betyder–Og hvorfor det er vigtigt at vide, hvor præcist modellen forudsiger positive og negative separat.,den bedste beslutning regel er høj på følsomhed og lav på 1-specificitet. Det er en regel, der forudsiger mest sande positive vil være en positiv og få sande negativer vil være en positiv.
beslutningsregler og modeller
Jeg har talt om beslutningsregler, men hvad med modeller?
sagen er, at forudsigelige modeller som logistisk regression ikke giver dig en beslutningsregel. De giver en forudsagt Sandsynlighed for en positiv for hvert individ baseret på værdierne af den enkeltes forudsigelsesværdier.,
din Soft .are kan udskrive en klassifikationstabel baseret på en standard Sandsynlighed cutoff (normalt .5). Men det er virkelig op til dig at beslutte, hvad sandsynligheden cutoff skal være at klassificere en person som “forudsagt positiv.”
standard er ikke altid den bedste beslutning regel. Chancen er kun .5 hvis positive og negative resultater er lige sandsynlige.på samme måde er omkostningerne ved fejlklassificering forskellige for positive og negative, så du er villig til at øge en type fejlklassificering for at undgå den anden.,
og det optimale afskæringspunkt er ikke altid indlysende.
forskellige modeller kan gøre det bedre ved forskellige beslutningsregler. Det er svært at sammenligne modeller som at gøre det bedre eller værre end hinanden, hvis man klarer sig bedre ved en beslutningsregel, og den anden gør det bedre ved en anden.
indtast Roc-kurven.
Roc-kurven viser følsomheden og specificiteten for enhver mulig beslutning regel cutoff mellem 0 og 1 for en model.
dette plot fortæller dig et par forskellige ting.,
en model, der forudsiger tilfældigt, vil have en ROC-kurve, der ligner den diagonale grønne linje. Det er ikke en diskriminerende model.
jo længere kurven er fra den diagonale linje, desto bedre er modellen at skelne mellem positive og negative generelt.
Der er nyttige statistikker, der kan beregnes ud fra denne kurve, som området Under kurven (AUC) og Youden-indekset. Disse fortæller dig, hvor godt modellen forudsiger og det optimale skærepunkt for en given model (under særlige omstændigheder).,selvom ROCs ofte bruges til at evaluere og fortolke logistiske regressionsmodeller, er de ikke begrænset til logistisk regression. En almindelig brug i medicinske studier er at køre en ROC for at se, hvor meget bedre en enkelt kontinuerlig forudsigelse (en “biomarkør”) kan forudsige sygdomsstatus sammenlignet med chance.,
