niezwykle przydatnym narzędziem w ocenie i porównywaniu modeli predykcyjnych jest krzywa ROC.
jego nazwa jest rzeczywiście dziwna. ROC oznacza charakterystykę pracy odbiornika. Jego pochodzenie pochodzi z sonaru w latach 40.; ROCs były używane do pomiaru, jak dobrze sygnał sonaru (np. z wrogiego okrętu podwodnego) może być wykryty z szumu (Szkoła ryb).
w obecnym użyciu krzywe ROC są miłym sposobem, aby zobaczyć, jak każdy model predykcyjny może odróżnić prawdziwe pozytywy od negatywów.,
aby to zrobić, model musi nie tylko prawidłowo przewidzieć pozytyw jako pozytyw, ale także negatyw jako negatyw.
krzywa ROC robi to poprzez kreślenie czułości, prawdopodobieństwo przewidywania rzeczywistego dodatniego będzie dodatnie, wobec 1-swoistości, prawdopodobieństwo przewidywania rzeczywistego negatywnego będzie dodatnie. (W poprzednim artykule omówiono specyfikę czułości i swoistości, w przypadku, gdy potrzebujesz przeglądu o tym, co oznaczają–i dlaczego ważne jest, aby wiedzieć, jak dokładnie model przewiduje pozytywy i negatywy oddzielnie.,)
najlepszą zasadą decyzji jest wysoka czułość i niska swoistość 1. Jest to zasada, która przewiduje, że większość prawdziwych pozytywów będzie pozytywna, a kilka prawdziwych negatywów będzie pozytywna.
zasady podejmowania decyzji i modele
mówiłem o zasadach podejmowania decyzji, ale co z modelami?
chodzi o to, że modele predykcyjne, takie jak regresja logistyczna, nie dają jednej reguły decyzyjnej. Dają one przewidywane prawdopodobieństwo dodatnie dla każdej osoby na podstawie wartości predyktorów tej osoby.,
Twoje oprogramowanie może wydrukować tabelę klasyfikacji opartą na domyślnej granicy prawdopodobieństwa (Zwykle .5). Ale tak naprawdę to do ciebie należy decyzja, jakie powinno być Prawdopodobieństwo, aby sklasyfikować osobę jako ” przewidywany dodatni.”
domyślna nie zawsze jest najlepszą regułą decyzyjną. Tylko szansa .5 jeśli wyniki pozytywne i negatywne są równie prawdopodobne.
zazwyczaj nie są.
podobnie, czasami koszt błędnej klasyfikacji jest inny dla pozytywów i negatywów, więc jesteś gotów zwiększyć jeden rodzaj błędnej klasyfikacji, aby uniknąć drugiego.,
a optymalny punkt odcięcia nie zawsze jest oczywisty.
różne modele mogą lepiej radzić sobie z różnymi zasadami decyzyjnymi. Trudno porównywać modele jako lepsze lub gorsze od siebie, jeśli jeden radzi sobie lepiej w jednej zasadzie decyzyjnej, a drugi radzi sobie lepiej w innej.
wprowadź krzywą ROC.
krzywa ROC określa czułość i swoistość dla każdego możliwego odcięcia reguły decyzyjnej od 0 do 1 dla modelu.
ta fabuła mówi ci kilka różnych rzeczy.,
model, który przewiduje przypadek, będzie miał krzywą ROC, która wygląda jak ukośna zielona linia. To nie jest dyskryminujący model.
im dalej krzywa jest od linii przekątnej, tym lepiej model jest w rozróżnianiu pozytywów i negatywów w ogóle.
istnieją przydatne statystyki, które można obliczyć z tej krzywej, takie jak Pole pod krzywą (AUC) i indeks Youdena. Mówią one, jak dobrze model przewiduje i optymalny punkt przecięcia dla danego modelu (w określonych okolicznościach).,
chociaż ROCs są często używane do oceny i interpretacji modeli regresji logistycznej, nie ograniczają się do regresji logistycznej. Powszechnym zastosowaniem w badaniach medycznych jest uruchomienie ROC, aby zobaczyć, o ile lepiej pojedynczy ciągły predyktor („biomarker”) może przewidzieć stan choroby w porównaniu do przypadku.,
