Ostatnia aktualizacja: 20 sierpnia 2020 r.
klastrowanie lub analiza klastrów jest problemem uczenia się bez nadzoru.
jest często używany jako technika analizy danych do odkrywania ciekawych wzorców w danych, takich jak grupy klientów na podstawie ich zachowań.
istnieje wiele algorytmów klastrowania do wyboru i nie ma jednego najlepszego algorytmu klastrowania dla wszystkich przypadków. Zamiast tego dobrym pomysłem jest zbadanie szeregu algorytmów klastrowania i różnych konfiguracji dla każdego algorytmu.,
w tym samouczku dowiesz się, jak dopasować i używać najlepszych algorytmów klastrowania w Pythonie.
Po ukończeniu tego samouczka dowiesz się:
- klastrowanie jest nienadzorowanym problemem znajdowania grup naturalnych w przestrzeni funkcji danych wejściowych.
- istnieje wiele różnych algorytmów klastrowania i nie ma jednej najlepszej metody dla wszystkich zbiorów danych.
- jak zaimplementować, dopasować i używać najlepszych algorytmów klastrowania w Pythonie za pomocą biblioteki uczenia maszynowego scikit-learn.,
Rozpocznij swój projekt z moją nową książką Machine Learning Mastery With Python, zawierającą samouczki krok po kroku i pliki kodu źródłowego Pythona dla wszystkich przykładów.
zaczynajmy.
klastrowanie algorytmów z Pythonem
zdjęcie Larsa Plougmanna, niektóre prawa zastrzeżone.,/div>
przegląd samouczka
Ten samouczek jest podzielony na trzy części:
- klastrowanie
- algorytmy klastrowania
- przykłady algorytmów klastrowania
- instalacja Biblioteki
- klastrowanie zbioru danych
- propagacja powinowactwa
- klastrowanie aglomeracyjne
- BIRCH
- DBSCAN
- K-oznacza
- mini-wsad K-oznacza
- mean Shift
- Optyka
- Spectral clustering
- Gaussian mixture Model
klastrowanie
Analiza klastrów, czyli klastry, jest zadaniem nienadzorowanego uczenia maszynowego.,
polega na automatycznym wykrywaniu naturalnego grupowania w danych. W przeciwieństwie do uczenia nadzorowanego (jak modelowanie predykcyjne), algorytmy klastrowania interpretują tylko dane wejściowe i znajdują naturalne Grupy lub klastry w przestrzeni funkcji.
techniki klastrowania stosuje się, gdy nie ma klasy do przewidzenia, ale raczej, gdy instancje mają być podzielone na grupy naturalne.
— strona 141, Data Mining: Practical Machine Learning Tools and Techniques, 2016.,
klaster jest często obszarem gęstości w przestrzeni cech, gdzie przykłady z dziedziny (obserwacje lub rzędy danych) są bliżej klastra niż inne klastry. Klaster może mieć środek (centroid), który jest próbką lub przestrzenią punktową i może mieć granicę lub zasięg.
te klastry prawdopodobnie odzwierciedlają jakiś mechanizm działający w domenie, z której są rysowane instancje, mechanizm, który powoduje, że niektóre instancje są bardziej podobne do siebie niż pozostałe instancje.,
— p > – Pages 141-142, Data Mining: Practical Machine Learning Tools and Techniques, 2016.
tworzenie klastrów może być pomocne w analizie danych, aby dowiedzieć się więcej o domenie problemu, tak zwanym wykrywaniu wzorców lub odkrywaniu wiedzy.
na przykład:
- drzewo filogenetyczne można uznać za wynik ręcznej analizy klastrów.
- oddzielanie normalnych danych od odstających lub anomalii może być uważane za problem klastrowania.,
- oddzielanie klastrów na podstawie ich naturalnego zachowania jest problemem klastrowym, określanym jako segmentacja rynku.
klastry mogą być również przydatne jako rodzaj inżynierii funkcji, gdzie istniejące i nowe przykłady mogą być mapowane i oznaczone jako należące do jednego z zidentyfikowanych klastrów w danych.
ocena zidentyfikowanych klastrów jest subiektywna i może wymagać eksperta w danej dziedzinie, chociaż istnieje wiele specyficznych dla klastrów miar ilościowych., Zazwyczaj algorytmy klastrowania są porównywane na syntetycznych zestawach danych z wstępnie zdefiniowanymi klastrami, które algorytm ma odkryć.
klastrowanie jest techniką uczenia się bez nadzoru, więc trudno jest ocenić jakość wyników danej metody.
— strona 534, Machine Learning: A Probabilistic Perspective, 2012.
algorytmy klastrowania
istnieje wiele typów algorytmów klastrowania.,
wiele algorytmów wykorzystuje miary podobieństwa lub odległości między przykładami w przestrzeni cech w celu odkrycia gęstych obszarów obserwacji. W związku z tym często dobrą praktyką jest skalowanie danych przed użyciem algorytmów klastrowania.
głównym celem analizy klastrów jest pojęcie stopnia podobieństwa (lub odmienności) między poszczególnymi obiektami będącymi klastrami. Metoda grupowania próbuje grupować obiekty w oparciu o dostarczoną do niej definicję podobieństwa.,
— strona 502, the Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2016.
niektóre algorytmy klastrów wymagają określenia lub odgadnięcia liczby klastrów do odkrycia w danych, podczas gdy inne wymagają określenia pewnej minimalnej odległości między obserwacjami, w których przykłady mogą być uważane za „bliskie” lub „połączone.,”
jako taka analiza klastrów jest procesem iteracyjnym, w którym subiektywna ocena zidentyfikowanych klastrów jest wprowadzana z powrotem do zmian w konfiguracji algorytmu, aż do uzyskania pożądanego lub odpowiedniego wyniku.
biblioteka scikit-learn zapewnia zestaw różnych algorytmów klastrowania do wyboru.,
lista 10 bardziej popularnych algorytmów jest następująca:
- propagacja powinowactwa
- klastrowanie aglomeracyjne
- BIRCH
- DBSCAN
- K-oznacza
- Mini-wsadowe K-oznacza
- Mean Shift
- Optyka
- Spectral Clustering
- mieszanina Gaussów
każdy algorytm oferuje inne podejście do problemu odkrywania grup naturalnych w danych.
nie ma najlepszego algorytmu grupowania i nie ma łatwego sposobu na znalezienie najlepszego algorytmu dla danych bez użycia kontrolowanych eksperymentów.,
w tym samouczku omówimy, jak używać każdego z tych 10 popularnych algorytmów klastrowania z biblioteki scikit-learn.
przykłady będą podstawą do kopiowania i wklejania przykładów i testowania metod na własnych danych.
nie zagłębimy się w teorię działania algorytmów ani nie porównamy ich bezpośrednio. Aby uzyskać dobry punkt wyjścia na ten temat, zobacz:
- klastrowanie, scikit-learn API.
zanurzmy się.,
przykłady algorytmów klastrowania
w tej sekcji przyjrzymy się, jak korzystać z 10 popularnych algorytmów klastrowania w scikit-learn.
obejmuje to przykład dopasowania modelu i przykład wizualizacji wyniku.
przykłady są przeznaczone do kopiowania i wklejania do własnego projektu i zastosowania metod do własnych danych.
instalacja Biblioteki
najpierw zainstalujmy bibliotekę.
nie pomijaj tego kroku, ponieważ musisz upewnić się, że masz zainstalowaną najnowszą wersję.,>
|
1
|
sudo pip install scikit-learn
|
For additional installation instructions specific to your platform, see:
- Installing scikit-learn
Next, let’s confirm that the library is installed and you are using a modern version.,
uruchom następujący skrypt, aby wydrukować numer wersji biblioteki.,
|
1
2
3
|
# check scikit-learn version
import sklearn
Drukuj(sklearn.,__ version__)
|
uruchamiając przykład, powinieneś zobaczyć następujący numer wersji lub wyższy.
|
1
|
0.22.,1
|
grupowanie zbioru danych
użyjemy funkcji make_classification() do utworzenia testowego binarnego zbioru danych klasyfikacji.
zbiór danych będzie miał 1000 przykładów, z dwoma funkcjami wejściowymi i jednym klastrem na klasę. Klastry są wizualnie oczywiste w dwóch wymiarach, dzięki czemu możemy wykreślić dane za pomocą wykresu punktowego i pokolorować punkty na wykresie przez przypisany klaster. Pomoże to zobaczyć, przynajmniej w problemie testowym, jak „dobrze” klastry zostały zidentyfikowane.,
klastry w tym problemie testowym są oparte na wielowymiarowym Gaussie i nie wszystkie algorytmy klastrowania będą skuteczne w identyfikacji tych typów klastrów. Jako takie, wyniki w tym samouczku nie powinny być wykorzystywane jako podstawa do porównywania metod ogólnie.
przykład tworzenia i podsumowania syntetycznego zbioru danych klastrowych jest wymieniony poniżej.
uruchamiając przykład tworzy syntetyczny zestaw danych klastrowych, a następnie tworzy wykres punktowy danych wejściowych z punktami kolorowanymi przez etykietę klasy (klastry wyidealizowane).,
widzimy wyraźnie dwie odrębne grupy danych w dwóch wymiarach i mamy nadzieję, że algorytm automatycznego klastrowania wykryje te grupy.
Wykres punktowy syntetycznego klastra z punktami Kolorowanymi przez znane klastry
następnie możemy zacząć patrzeć na przykłady algorytmów klastrowania zastosowanych do tego zbioru danych.
podjąłem kilka minimalnych prób dostrojenia każdej metody do zbioru danych.
Czy można uzyskać lepszy wynik dla jednego z algorytmów?
Daj mi znać w komentarzach poniżej.,
propagacja powinowactwa
propagacja powinowactwa polega na znalezieniu zestawu przykładów, które najlepiej podsumowują dane.
opracowaliśmy metodę zwaną „propagacja powinowactwa”, która przyjmuje jako wejściowe miary podobieństwa między parami punktów danych. Wiadomości o wartości rzeczywistej są wymieniane między punktami danych, dopóki nie pojawi się stopniowo wysokiej jakości zestaw wzorców i odpowiadających im klastrów
— klastrowanie poprzez przekazywanie wiadomości między punktami danych, 2007.,
technika ta została opisana w artykule:
- grupowanie przez przekazywanie wiadomości między punktami danych, 2007.
jest on zaimplementowany za pomocą klasy AffinityPropagation i główną konfiguracją do dostrojenia jest „tłumienie” ustawione między 0.5 A 1, a być może „preference.”
Pełny przykład znajduje się poniżej.
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku nie mogłem osiągnąć dobrego wyniku.,
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą propagacji powinowactwa
klastry aglomeracyjne
klastry aglomeracyjne obejmują łączenie przykładów, aż do uzyskania żądanej liczby klastrów.
jest to część szerszej klasy metod hierarchicznego klastrowania i możesz dowiedzieć się więcej tutaj:
- hierarchicznego klastrowania, Wikipedia.,
jest on zaimplementowany za pomocą klasy AgglomerativeClustering, a główną konfiguracją do dostrojenia jest zestaw „n_clusters”, Szacunkowa liczba klastrów w danych, np. 2.
Pełny przykład znajduje się poniżej.
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku znajduje się rozsądne zgrupowanie.,
Wykres rozrzutu zbioru danych z klastrami Identyfikowanymi za pomocą aglomeracyjnego klastra
brzozowego
brzozowego klastra (BIRCH to skrót od Balanced Iterative Reducing and Clustering using
Hierarchies) polega na konstruowaniu struktury drzewa, z której centroidy klastra są wydobywane.
BIRCH przyrostowo i dynamicznie grupuje przychodzące wielowymiarowe punkty danych metrycznych, aby spróbować uzyskać najlepszą jakość klastrowania z dostępnych zasobów (tj.,, dostępne ograniczenia pamięci i czasu).
– BIRCH: skuteczna metoda klastrowania danych dla dużych baz danych, 1996.
technika opisana jest w artykule:
- BIRCH: an efficient data clustering method for large databases, 1996.
jest on zaimplementowany za pomocą klasy Birch, a główną konfiguracją do dostrojenia są hiperparametry” threshold „i” n_clusters”, z których ten ostatni dostarcza oszacowania liczby klastrów.
Pełny przykład znajduje się poniżej.,
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku znajduje się doskonałe zgrupowanie.,
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą klastrów brzozowych
DBSCAN
klastry DBSCAN (gdzie DBSCAN jest skrótem od Przestrzennego klastrowania aplikacji opartych na gęstości z szumem) polega na znajdowaniu obszarów o dużej gęstości w domenie i rozszerzenie tych obszarów przestrzeni Cechowej wokół nich w postaci klastrów.
… przedstawiamy nowy algorytm klastrowania DBSCAN oparty na koncepcji klastrów opartych na gęstości, który ma na celu wykrywanie klastrów o dowolnym kształcie., DBSCAN wymaga tylko jednego parametru wejściowego i wspiera użytkownika w określeniu odpowiedniej dla niego wartości
— algorytm oparty na gęstości do odkrywania klastrów w dużych przestrzennych bazach danych z szumem, 1996.
technika opisana jest w artykule:
- algorytm gęstości do odkrywania klastrów w dużych przestrzennych bazach danych z szumem, 1996.
jest on zaimplementowany za pomocą klasy DBSCAN, a główną konfiguracją do dostrojenia są hiperparametry „eps” i „min_samples”.
Pełny przykład znajduje się poniżej.,
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku znajduje się rozsądne zgrupowanie, chociaż wymagane jest większe strojenie.,
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą klastrów DBSCAN
K-Means
k-Means Clustering może być najbardziej znanym algorytmem klastrów i polega na przypisywaniu przykładów do klastrów w celu zminimalizowania wariancji w każdym klastrze.
głównym celem pracy jest opisanie procesu podziału N-wymiarowej populacji na zestawy k na podstawie próbki., Proces, który nazywa się „K-oznacza”, wydaje się dawać partycje, które są w miarę wydajne w sensie wariancji wewnątrz klasy.
– Some methods for classification and analysis of multivariate observations, 1967.
technika jest opisana tutaj:
- k-czyli grupowanie, Wikipedia.
jest on zaimplementowany za pomocą klasy KMeans, a główną konfiguracją do dostrojenia jest hiperparametr „n_clusters” ustawiony na szacunkową liczbę klastrów w danych.
Pełny przykład znajduje się poniżej.,
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku znajduje się rozsądne zgrupowanie, chociaż nierówna równa wariancja w każdym wymiarze sprawia, że metoda jest mniej dostosowana do tego zbioru danych.,
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą klastrów K-Means
Mini-wsad K-Means
Mini-wsad K-Means jest zmodyfikowaną wersją k-means, która sprawia, że aktualizacje centroidów klastrów za pomocą mini-partii próbek, a nie niż cały zbiór danych, co może uczynić go szybszym dla dużych zbiorów danych, a być może bardziej wytrzymałym dla szumów statystycznych.
… proponujemy zastosowanie optymalizacji mini-wsadowej dla K-czyli grupowania., Zmniejsza to koszty obliczeń o rzędy wielkości w porównaniu z klasycznym algorytmem wsadowym, zapewniając znacznie lepsze rozwiązania niż zniżanie gradientu stochastycznego online.
– web-Scale K-Means Clustering, 2010.
technika opisana jest w artykule:
- web-Scale K-Means Clustering, 2010.
jest on zaimplementowany za pomocą klasy MiniBatchKMeans i główną konfiguracją do dostrojenia jest hiperparametr „n_clusters” ustawiony na szacunkową liczbę klastrów w danych.
Pełny przykład znajduje się poniżej.,
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku znajduje się wynik równoważny standardowemu algorytmowi K-oznacza.
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą Mini-wsadowego K-oznacza klastrowanie
Mean Shift
Mean shift clustering polega na znajdowaniu i dostosowywaniu centroidów na podstawie gęstości przykładów w przestrzeni funkcji.,
dla danych dyskretnych udowadniamy zbieżność rekurencyjnej procedury przesunięcia średniej do najbliższego stacjonarnego punktu bazowej funkcji gęstości, a tym samym jej użyteczność w wykrywaniu trybów gęstości.
— Mean Shift: a robust approach toward feature space analysis, 2002.
technika ta została opisana w artykule:
- Mean Shift: a solid approach toward feature space analysis, 2002.
jest on realizowany za pomocą klasy MeanShift, a główną konfiguracją do dostrojenia jest hiperparametr „bandwidth”.,
Pełny przykład znajduje się poniżej.
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku w danych znajduje się rozsądny zbiór klastrów.,
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą Mean Shift Clustering
OPTICS
OPTICS clustering (gdzie optyka jest skrótem od uporządkowania punktów w celu identyfikacji struktury klastrowej) jest zmodyfikowaną wersją DBSCAN opisaną powyżej.
wprowadzamy nowy algorytm do celów analizy klastrów, który nie tworzy klastrów zbioru danych jawnie, ale zamiast tego tworzy rozszerzoną kolejność bazy danych reprezentującą jej strukturę klastrów opartą na gęstości., Ta kolejność klastrów zawiera informacje, które są równoważne Klastrom opartym na gęstości odpowiadającym szerokiemu zakresowi ustawień parametrów.
— OPTICS: ordering points to identify the clustering structure, 1999.
technika opisana jest w artykule:
- Optyka: uporządkowanie punktów do identyfikacji struktury klastrowej, 1999.
jest on realizowany za pomocą klasy optyki, a główną konfiguracją do dostrojenia są hiperparametry „eps” i „min_samples”.
Pełny przykład znajduje się poniżej.,
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku nie mogłem osiągnąć rozsądnego wyniku na tym zbiorze danych.
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą klastrów optycznych
klastry widmowe
klastry widmowe jest ogólną klasą metod klastrowania, pobranych z algebry liniowej.,
obiecującą alternatywą, która pojawiła się niedawno w wielu polach, jest użycie metod spektralnych do klastrowania. Tutaj, jeden używa Top eigenvectors z macierzy pochodnej od odległości między punktami.
— On Spectral Clustering: Analysis and an algorithm, 2002.
technika opisana jest w artykule:
- On Spectral Clustering: Analysis and an algorithm, 2002.,
jest on realizowany za pomocą klasy SpectralClustering, a główne klastry widmowe to OGÓLNA Klasa metod klastrowania, zaczerpnięta z algebry liniowej. aby dostroić jest hiperparametr „n_clusters” używany do określenia szacunkowej liczby klastrów w danych.
Pełny przykład znajduje się poniżej.
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku znaleziono rozsądne klastry.,
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą klastrów widma klastrów
Model mieszaniny Gaussa
model mieszaniny Gaussa podsumowuje wielowymiarową funkcję gęstości prawdopodobieństwa z mieszaniną rozkładów prawdopodobieństwa Gaussa jako jego nazwa sugeruje.
więcej na temat modelu znajdziesz w:
- model mieszany, Wikipedia.,
jest on zaimplementowany za pomocą klasy GaussianMixture, a główną konfiguracją do dostrojenia jest hiperparametr „n_clusters” używany do określenia szacunkowej liczby klastrów w danych.
Pełny przykład znajduje się poniżej.
uruchomienie przykładu pasuje do modelu w zbiorze danych treningowych i przewiduje klaster dla każdego przykładu w zbiorze danych. Następnie tworzony jest wykres punktowy z punktami kolorowanymi przez przypisany klaster.
w tym przypadku widzimy, że klastry zostały zidentyfikowane doskonale., Nie jest to zaskakujące biorąc pod uwagę, że zbiór danych został wygenerowany jako mieszanina Gaussians.
Wykres punktowy zbioru danych z klastrami Identyfikowanymi za pomocą Gaussian Mixture Clustering
dalsze czytanie
Ta sekcja zawiera więcej zasobów na ten temat, jeśli chcesz zajrzeć głębiej.
dokumenty
- klastrowanie poprzez przekazywanie wiadomości między punktami danych, 2007.
- BIRCH: an efficient data clustering method for large databases, 1996.,
- a Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise, 1996.
- Some methods for classification and analysis of multivariate observations ,1967.
- web-Scale K-czyli klastry, 2010.
- Mean Shift: a solid approach toward feature space analysis, 2002.
- On Spectral Clustering: Analysis and an algorithm, 2002.
Książki
- Data Mining: Practical Machine Learning Tools and Techniques, 2016.
- the Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2016.,
- Machine Learning: A Probabilistic Perspective, 2012.
API
- klastrowanie, scikit-learn API.
- sklep.zbiory danych.make_classification API.
- sklep.API klastra.
Artykuły
- Analiza klastrów, Wikipedia.
- hierarchiczne grupowanie, Wikipedia.
- k-czyli grupowanie, Wikipedia.
- model mieszany, Wikipedia.
podsumowanie
w tym samouczku odkryłeś, jak dopasować i używać najlepszych algorytmów klastrowania w Pythonie.,
w szczególności nauczyłeś się:
- klastrowanie jest nienadzorowanym problemem znajdowania grup naturalnych w przestrzeni funkcji danych wejściowych.
- istnieje wiele różnych algorytmów klastrowania i nie ma jednej najlepszej metody dla wszystkich zbiorów danych.
- jak zaimplementować, dopasować i używać najlepszych algorytmów klastrowania w Pythonie za pomocą biblioteki uczenia maszynowego scikit-learn.
masz jakieś pytania?
Zadaj swoje pytania w komentarzach poniżej, a ja Dołożę wszelkich starań, aby odpowiedzieć.
Odkryj szybkie uczenie maszynowe w Pythonie!,
Twórz własne modele w kilka minut
…z zaledwie kilku linijek scikit-ucz się kodu
Dowiedz się, jak w moim nowym ebooku:
opanowanie Uczenia Maszynowego w Pythonie
obejmuje samouczki i kompleksowe projekty, takie jak:
ładowanie danych, wizualizacja, modelowanie, strojenie i wiele innych…
wreszcie Przenieś Uczenie maszynowe do
własnych projektów
Pomiń naukę. Tylko Wyniki.
Zobacz co jest w środku