hihetetlenül hasznos eszköz a prediktív modellek értékelésében és összehasonlításában a ROC görbe.
neve valóban furcsa. ROC jelentése Vevő működési jellemző. Eredete a szonárból származik az 1940-es években; a Rocokat arra használták, hogy megmérjék, mennyire jól észlelhető egy szonárjel (például egy ellenséges tengeralattjáróról) a zajból (egy Haliskola).
jelenlegi használatában a ROC görbék egy jó módja annak, hogy lássuk, hogyan lehet bármely prediktív modell különbséget tenni a valódi pozitívok és negatívok között.,
ehhez a modellnek nemcsak helyesen kell előre jeleznie a pozitív, mint pozitív, hanem negatív, mint negatív.
a ROC görbe ezt az érzékenység ábrázolásával teszi, a valódi pozitív előrejelzésének valószínűsége pozitív lesz, szemben az 1-specifikussággal, a valódi negatív előrejelzésének valószínűsége pozitív lesz. (Egy korábbi cikk az érzékenység és a specificitás sajátosságaira vonatkozott, arra az esetre, ha felülvizsgálatra lenne szükség arról, hogy mit jelentenek–és miért fontos tudni, hogy a modell milyen pontosan jósolja meg a pozitívumokat és negatívokat külön-külön.,)
a legjobb döntési szabály az érzékenység magas, az alacsony az 1-specificitás. Ez egy olyan szabály, amely azt jósolja, hogy a legtöbb valódi pozitív pozitív pozitív lesz, és néhány igaz negatív pozitív lesz.
döntési szabályok és modellek
a döntési szabályokról beszéltem, de mi van a modellekkel?
a helyzet az, hogy a prediktív modellek, mint például a logisztikai regresszió, nem adnak egyetlen döntési szabályt. Adnak egy előre jelzett valószínűsége pozitív minden egyes értékei alapján az egyén prediktor értékek.,
a szoftver kinyomtathat egy osztályozási táblázatot az alapértelmezett valószínűségi kivágás alapján (általában .5). De valójában rajtad múlik, hogy eldöntsd, mi a valószínűsége annak, hogy az egyént “előre jelzett pozitívnak” kell besorolni.”
Az alapértelmezett nem mindig a legjobb döntési szabály. Csak az esély van .5 ha a pozitív és negatív eredmények egyaránt valószínűek.
általában nem.
hasonlóképpen, néha a téves osztályozás költsége eltér a pozitívok és negatívok esetében, így hajlandó növelni az egyik típusú téves osztályozást a másik elkerülése érdekében.,
és az optimális vágási pont nem mindig egyértelmű.
a különböző modellek jobban teljesíthetnek a különböző döntési szabályokban. Nehéz összehasonlítani a modelleket úgy, hogy jobbak vagy rosszabbak, mint egymás, ha az egyik jobban teljesít az egyik döntési szabálynál, a másik pedig jobban teljesít a másiknál.
írja be a ROC görbét.
a ROC-görbe minden lehetséges döntési szabály 0 és 1 közötti vágásának érzékenységét és specifikusságát mutatja egy modell esetében.
Ez a cselekmény néhány különböző dolgot elmond.,
egy olyan modell, amely véletlenszerűen előrejelzi, ROC görbe lesz, amely úgy néz ki, mint az átlós zöld vonal. Ez nem diszkriminatív modell.
minél távolabb van a görbe az átlós vonaltól, annál jobb a modell a pozitívok és általában a negatívok közötti megkülönböztetésnél.
vannak hasznos statisztikák, amelyeket ebből a görbéből lehet kiszámítani, mint például a görbe alatti terület (AUC) és a Youden Index. Ezek azt mutatják, hogy a modell mennyire jósolja meg az adott modell optimális vágási pontját (meghatározott körülmények között).,
bár a Roc-okat gyakran használják a logisztikus regressziós modellek értékelésére és értelmezésére, ezek nem korlátozódnak a logisztikai regresszióra. Az orvosi vizsgálatok közös használata egy ROC futtatása, hogy megtudja, mennyivel jobb egy folyamatos prediktor (a “biomarker”) megjósolni a betegség állapotát a véletlenhez képest.,
