10 Clustering Algoritmer Med Python

For additional installation instructions specific to your platform, see:

• Installing scikit-learn

Next, let’s confirm that the library is installed and you are using a modern version.,kør følgende script for at udskrive bibliotekets versionsnummer.,

Hvis du kører eksemplet, skal du se følgende versionsnummer eller højere.

Clustering Datasæt

Vi vil bruge make_classification () – funktionen til at oprette en binær test klassificering datasæt.

datasættet vil have 1.000 eksempler, med to input funktioner og en klynge pr klasse. Klyngerne er visuelt indlysende i to dimensioner, så vi kan plotte dataene med et scatter plot og farve punkterne i plottet af den tildelte klynge. Dette vil hjælpe med at se, i det mindste på testproblemet, hvor “godt” klyngerne blev identificeret.,

klyngerne i dette testproblem er baseret på en multivariat Gaussisk, og ikke alle klyngealgoritmer vil være effektive til at identificere disse typer klynger. Som sådan bør resultaterne i denne tutorial ikke bruges som grundlag for at sammenligne metoderne generelt.

et eksempel på at oprette og opsummere det syntetiske klyngedatasæt er angivet nedenfor.

kørsel af eksemplet opretter det syntetiske klyngedatasæt og opretter derefter et scatter plot af inputdataene med punkter farvet efter klasseetiket (idealiserede klynger).,

Vi kan tydeligt se to forskellige grupper af data i to dimensioner, og håbet ville være, at en automatisk klyngealgoritme kan registrere disse grupperinger.

Næste, kan vi begynde at kigge på eksempler på klynger algoritmer, der anvendes til dette datasæt.

Jeg har lavet nogle minimale forsøg på at indstille hver metode til datasættet.

kan du få et bedre resultat for en af algoritmerne?
Lad mig vide i kommentarerne nedenfor.,

Affinitetsformering

Affinitetsformering indebærer at finde et sæt eksempler, der bedst opsummerer dataene.

Vi udtænkte en metode kaldet “affinitetsformering”, der tager som inputmål for lighed mellem par datapunkter. Real-valued meddelelser, der udveksles mellem datapunkter, indtil en høj kvalitet sæt af forbilleder og tilsvarende klynger efterhånden viser sig

— Clustering ved at videregive Beskeder Mellem datapunkter, 2007.,

teknikken er beskrevet i papiret:

• Clustering ved at sende meddelelser mellem datapunkter, 2007.

det implementeres via AffinityPropagation-klassen, og den vigtigste konfiguration til at indstille er “dæmpning”, der er indstillet mellem 0.5 og 1, og måske “præference.”

det komplette eksempel er angivet nedenfor.

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde kunne jeg ikke opnå et godt resultat.,

Agglomerative Clustering

Agglomerative clustering indebærer sammenlægning eksempler på, indtil det ønskede antal klynger er opnået.

det er en del af en bredere klasse af hierarkiske klyngemetoder, og du kan lære mere her:

• hierarkisk klyngedannelse, .ikipedia.,

det implementeres via AgglomerativeClustering-klassen, og den vigtigste konfiguration til at indstille er “n_clusters” – Sættet, et estimat af antallet af klynger i dataene, f.eks. 2.

det komplette eksempel er angivet nedenfor.

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde findes en rimelig gruppering.,

BIRK

BIRK Clustering (BIRK er en forkortelse for Afbalanceret Iterativ Reducere og Klyngedannelse ved hjælp af
Hierarkier) indebærer at opbygge en træstruktur, hvorfra cluster centroids er pakket ud.

BIRCH gradvist og dynamisk klynger indkommende multidimensionelle metriske datapunkter for at forsøge at producere den bedste kvalitet klyngedannelse med de tilgængelige ressourcer (dvs. ,, tilgængelig hukommelse og tidsbegrænsninger).

— BIRCH: en effektiv dataklyngemetode til store databaser, 1996.

teknikken er beskrevet i papiret:

• BIRCH: An efficient data clustering method for large databases, 1996.

det implementeres via Birkeklassen, og hovedkonfigurationen til at indstille er “tærskel” og “n_clusters” hyperparametre, hvoraf sidstnævnte giver et skøn over antallet af klynger.

det komplette eksempel er angivet nedenfor.,

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde findes en fremragende gruppering.,

DBSCAN

DBSCAN Clustering (hvor DBSCAN er en forkortelse for Tæthed-Baserede Geografisk Gruppering af Applikationer med Støj) indebærer at finde high-density områder i domænet og udvide de områder, de har plads omkring dem, som klynger.

… Vi præsenterer den nye klyngealgoritme DBSCAN stole på en densitetsbaseret opfattelse af klynger, der er designet til at opdage klynger af vilkårlig form., DBSCAN kræver kun en input parameter, og understøtter brugeren i at bestemme en passende værdi for det

— En Tæthed-Baseret Algoritme til at Opdage Klynger i Store Rumlige Databaser med Støj, 1996.

teknikken er beskrevet i papiret:

• en Densitetsbaseret algoritme til at opdage klynger i store rumlige databaser med støj, 1996.

det implementeres via dbscan-klassen, og den vigtigste konfiguration til at indstille er “eps” og “min_samples” hyperparametre.

det komplette eksempel er angivet nedenfor.,

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde findes en rimelig gruppering, selvom der kræves mere tuning.,

K-Betyder

K-Means Clustering kan være den mest kendte clustering algoritme og indebærer tildeling af eksempler på, at klynger i et forsøg på at minimere varians inden for hver klynge.

hovedformålet med dette papir er at beskrive en proces til opdeling af en n-dimensionel population i k-sæt på grundlag af en prøve., Processen, som kaldes ‘K-betyder’, ser ud til at give partitioner, der er rimeligt effektive i betydningen varians inden for klassen.

— nogle metoder til klassificering og analyse af multivariate observationer, 1967.

teknikken er beskrevet her:

• k-betyder klyngedannelse, .ikipedia.

det implementeres via kmeans-klassen, og den vigtigste konfiguration til at indstille er “n_clusters” hyperparameter indstillet til det estimerede antal klynger i dataene.

det komplette eksempel er angivet nedenfor.,

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde findes en rimelig gruppering, selvom den ulige lige varians i hver dimension gør metoden mindre egnet til dette datasæt.,

Mini-Batch K-Betyder

Mini-Batch K-Midler er en modificeret version af k-midler, der gør opdateringer til klyngen centroids ved hjælp af mini-partier af prøver, snarere end hele datasættet, som kan gøre det hurtigere for store datasæt, og måske mere robust statistisk støj.

… Vi foreslår brugen af mini-batch optimering til k-betyder clustering., Dette reducerer beregningsomkostningerne ved størrelsesordener sammenlignet med den klassiske batchalgoritme, mens det giver betydeligt bedre løsninger end online stokastisk gradientafstamning.

— Webeb-skala K-betyder klyngedannelse, 2010.

teknikken er beskrevet i papiret:

• Webeb-skala K-betyder klyngedannelse, 2010.

det implementeres via minibatchkmeans-klassen, og den vigtigste konfiguration til at indstille er “n_clusters” hyperparameter indstillet til det estimerede antal klynger i dataene.

det komplette eksempel er angivet nedenfor.,

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde findes et resultat svarende til standard K-middelalgoritmen.

Betyder Shift

Betyder skift clustering går ud på at finde og tilpasse centroids baseret på tætheden af eksempler i feature rummet.,

vi beviser for diskrete data konvergensen af en rekursiv middelskifteprocedure til det nærmeste stationære punkt i den underliggende tæthedsfunktion og dermed dens anvendelighed til at detektere tilstandene for densiteten.

— gennemsnitlig skift: en robust tilgang til funktionsrumsanalyse, 2002.

teknikken er beskrevet i papiret:

• Middelforskydning: en robust tilgang til funktionsrumsanalyse, 2002.

det implementeres via MeanShift-klassen, og den vigtigste konfiguration til at indstille er “båndbredde” hyperparameter.,

det komplette eksempel er angivet nedenfor.

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde findes et rimeligt sæt klynger i dataene.,

OPTIK

OPTIK clustering (hvor OPTIK er en forkortelse for Bestilling af Point At Identificere de Klynger Struktur) er en modificeret version af DBSCAN, der er beskrevet ovenfor.

Vi introducerer en ny algoritme med henblik på klyngeanalyse, som ikke producerer en klynge af et datasæt eksplicit; men i stedet opretter en udvidet bestilling af databasen, der repræsenterer dens densitetsbaserede klyngestruktur., Denne klynge-bestilling indeholder oplysninger, som svarer til densitetsbaserede klynger svarende til en bred vifte af parameterindstillinger.

— optik: bestilling af punkter til identifikation af klyngestrukturen, 1999.

teknikken er beskrevet i papiret:

• optik: bestilling af punkter til identifikation af klyngestrukturen, 1999.

det implementeres via optik-klassen, og den vigtigste konfiguration til at indstille er “eps” og “min_samples” hyperparametre.

det komplette eksempel er angivet nedenfor.,

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde kunne jeg ikke opnå et rimeligt resultat på dette datasæt.

Spektrale Clustering

Spektrale Clustering er en generel klasse af clustering-metoder, der er taget fra lineær algebra.,

et lovende alternativ, der for nylig er opstået inden for en række felter, er at anvende spektrale metoder til klyngedannelse. Her bruger man de øverste egenvektorer af en Matri.afledt af afstanden mellem punkter.

— på spektral Clustering: analyse og en algoritme, 2002.

teknikken er beskrevet i papiret:

• On Spectral Clustering: Analysis and an algorithm, 2002.,

det implementeres via SpectralClustering-klassen, og den vigtigste spektrale klyngedannelse er en generel klasse af klyngemetoder, der er trukket fra lineær algebra. for at indstille er “n_clusters” hyperparameter brugt til at angive det estimerede antal klynger i dataene.

det komplette eksempel er angivet nedenfor.

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde blev der fundet rimelige klynger.,

Gaussian Blanding Model

En Gauss-blanding model opsummerer en multivariat sandsynlighedsfordeling med en blanding af Gaussiske sandsynlighedsfordelinger, som navnet antyder.for mere om modellen, se:

• Blandingsmodel, Mixtureikipedia.,

det implementeres via gaussianmi .ture-klassen, og den vigtigste konfiguration til at indstille er “n_clusters” hyperparameter, der bruges til at specificere det estimerede antal klynger i dataene.

det komplette eksempel er angivet nedenfor.

kørsel af eksemplet passer til modellen på træningsdatasættet og forudsiger en klynge for hvert eksempel i datasættet. Et scatter plot oprettes derefter med punkter farvet af deres tildelte klynge.

i dette tilfælde kan vi se, at klyngerne blev identificeret perfekt., Dette er ikke overraskende, da datasættet blev genereret som en blanding af Gaussere.

Yderligere Læsning

Dette afsnit giver flere ressourcer om emnet, hvis du ønsker at gå dybere.

Papers

• Clustering ved at sende meddelelser mellem datapunkter, 2007.
• BIRCH: en effektiv data clustering metode til store databaser, 1996.,
• en Densitetsbaseret algoritme til at opdage klynger i store rumlige databaser med støj, 1996.
• nogle metoder til klassificering og analyse af multivariate observationer, 1967.
• Webeb-skala K-betyder klyngedannelse, 2010.
• gennemsnitlig skift: en robust tilgang til funktionsrumsanalyse, 2002.
• på spektral Clustering: analyse og en algoritme, 2002.

bøger

• Data Mining: praktiske maskinindlæringsværktøjer og teknikker, 2016.
• elementerne i statistisk læring: Data Mining, inferens, og forudsigelse, 2016.,
• Machine Learning: et probabilistisk perspektiv, 2012.

API ‘ er

• Clustering, scikit-Lær API.
• sklearn.datasæt.make_classification API.
• sklearn.cluster API.

artikler

• klyngeanalyse, Clusterikipedia.
• hierarkisk klyngedannelse, .ikipedia.
• k-betyder klyngedannelse, .ikipedia.
• blanding model, .ikipedia.

resum.

i denne vejledning opdagede du, hvordan du passer og bruger topklyngealgoritmer i python.,

specifikt lærte du:

• Clustering er et uovervåget problem med at finde naturlige grupper i funktionsområdet for inputdata.
• Der er mange forskellige klyngealgoritmer, og ingen enkelt bedste metode til alle datasæt.
• Sådan implementeres, passer og bruges topklyngealgoritmer i Python med scikit-Lær maskinlæringsbiblioteket.

har du spørgsmål?
stil dine spørgsmål i kommentarerne nedenfor, og jeg vil gøre mit bedste for at svare.