uskomattoman hyödyllinen työkalu ennustemallien arvioinnissa ja vertailussa on ROC-käyrä.
sen nimi on todellakin outo. ROC tarkoittaa vastaanottimen Käyttöominaisuutta. Sen alkuperä on peräisin sonar 1940-luvulla; ROCs käytettiin mittaamaan, kuinka hyvin kaikuluotaimen signaali (esim., alkaen vihollisen sukellusvene) voitiin havaita melusta (koulu kala).
sen nykyinen käyttö, ROC käyrät ovat mukava tapa nähdä, miten kaikki ennustava malli voi erottaa tosi positiivisia ja negatiivisia.,
tätä varten mallin on paitsi oikein ennustettava positiivinen positiivisena, myös negatiivinen negatiivisena.
ROC-käyrä ei tämä piirtämällä herkkyys, todennäköisyys ennustaa todellinen positiivinen on positiivinen, vastaan 1-spesifisyys, todennäköisyys ennustaa todellinen negatiivinen on positiivinen. (Edellisessä artikkelissa kattoi erityispiirteet herkkyys ja spesifisyys, jos tarvitset, tarkistaa, mitä ne tarkoittavat ja miksi se on tärkeää tietää, kuinka tarkasti malli ennustaa positiivisia ja negatiivisia erikseen.,)
paras ratkaisusääntö on herkkyys ja heikko 1-spesifisyys. Se on sääntö, joka ennustaa eniten totta positiivisia tulee olla positiivinen ja muutaman totta negatiivit tulee olla positiivinen.
päätöksenteon säännöt ja mallit
olen puhunut päätöksen sääntöjä, mutta entä malleja?
asia on niin, että logistisen regression kaltaiset ennustemallit eivät anna yhtä ratkaisusääntöä. Ne antavat ennustetun todennäköisyyden positiiviselle kullekin yksilölle perustuen kyseisen yksilön prediktoriarvojen arvoihin.,
ohjelmistosi voi tulostaa luokittelutaulukon oletustodennäköisyysleikkauksen perusteella (yleensä .5). Mutta todella se on kiinni voit päättää, mikä todennäköisyys leikkaus olisi luokitella yksilön ” ennustettu positiivinen.”
oletusarvo ei aina ole paras ratkaisusääntö. Sattuma on ainoa .5 jos positiiviset ja negatiiviset tulokset ovat yhtä todennäköisiä.
Ne eivät yleensä ole.
Lisäksi, joskus kustannukset luokitteluvirheen on erilaisia positiivisia ja negatiivisia, niin olet valmis lisätä yksi tyyppi luokitteluvirheen, jotta voidaan välttää muita.,
Ja optimaalinen katkaisupiste ei ole aina ilmeinen.
eri mallit saattavat pärjätä paremmin eri päätössäännöillä. Malleja on vaikea verrata paremmiksi tai huonommiksi kuin toisiaan, jos toinen suoriutuu paremmin yhden päätöksen säännöillä ja toinen pärjää paremmin toisessa.
syötä ROC-käyrä.
ROC-käyrä määrittää herkkyyden ja spesifisyyden jokaiselle mahdolliselle ratkaisusäännölle, joka on mallille 0-1.
Tämä juoni kertoo sinulle pari eri asioita.,
sattumalta ennustavassa mallissa on ROC-käyrä, joka näyttää diagonaalivihreältä viivalta. Se ei ole syrjivä malli.
edelleen käyrä on diagonaalinen viiva, sitä parempi malli on erotella positiivisia ja negatiivisia yleensä.
tästä käyrästä voidaan laskea hyödyllisiä tilastoja, kuten käyrän alla oleva pinta-ala (AUC) ja Youden-indeksi. Nämä kertovat, kuinka hyvin malli ennustaa ja optimaalinen leikkauspiste mille tahansa mallille (erityisissä olosuhteissa).,
vaikka rokkia käytetään usein logististen regressiomallien arviointiin ja tulkintaan, ne eivät rajoitu logistiseen regressioon. Yleinen käyttö lääketieteellisissä tutkimuksissa on suorittaa ROC nähdä, kuinka paljon paremmin yksittäinen jatkuva ennustaja (”biomarkkeri”) voi ennustaa taudin tilaa verrattuna sattumaan.,
