det finns tre verktyg som är centrala för funktionaliteten hos varje modern sökmotor. Vad är det för verktyg?,
- ett sätt att upptäcka nytt innehåll automatiskt och kontinuerligt;
- ett sätt att indexera innehåll som det upptäcks;
- ett sätt att söka igenom indexerat innehåll för att hitta bitar som en sökmotoranvändare letar efter.
enligt den definitionen är en sökmotor ett ganska enkelt koncept. Men i praktiken har det visat sig lättare att sätta ihop dessa tre bitar av teknik än gjort, och tidiga sökmotorer uppfyllde bara ett eller två av dessa krav.
idag är ledande sökmotorer några av de mest synliga och värdefulla teknikföretag runt., Och teknik pionjär av sökmotorer genomförs på nästan alla moderna webbplatser.
det var dock inte alltid så här. Dagens sökmotorer kommer från ödmjuk början och sök har kommit långt under de senaste decennierna.
sökmotorer före webben
sökmotorns historia börjar faktiskt vid Cornell University innan internet ens hade skapats. På 1960-talet utvecklade Gerard Salton och hans kollegor på Cornell SMART Information Retrieval System.,
SMART står antingen för system för mekanisk analys och hämtning av Text eller Saltons magiska automatiska Retriever av Text beroende på vem du frågar.
det var ett tidigt informationshämtningssystem som etablerade många av de konceptuella underbyggnaderna som sökmotorerna bygger på, inklusive term weighting, relevant feedback, term dependency och mycket mer.
från SMART går vi vidare till den första generationen internetbaserade sökmotorer. Internet är egentligen bara ett system av datanät som är anslutna via TCP / IP kommunikationsprotokoll., Det utvecklades mer än ett decennium innan Tim Berners-Lee skapade World Wide Web, eller bara webben.
flera olika kommunikationsprotokoll användes för att överföra data via Internetanslutningar innan webben föddes. Och de tidigaste sökmotorerna var utformade för att användas över några av dessa äldre protokoll.
vem är det?
WHOIS-protokollet, som fortfarande används till denna dag, debuterade 1982 och var ett av de första verktygen som användes för att fråga databaser över internet.,
inledningsvis var WHOIS-sökningar ganska kraftfulla och kunde användas för att hitta mycket information om ett block av Internetresurser eller för att spåra alla resurser som är förknippade med en enda person eller organisation.
idag är WHOIS sökparametrar mycket mer begränsade och WHOIS används för att lokalisera den registrerade ägaren till en enda resurs, eller ganska vanligt, för att hitta den integritetstjänst som används för att dölja äganderätten till en enda resurs.,
Archie
offentliga FTP-servrar, som är dokumentlagrings-och hämtningsservrar som vem som helst kan komma åt via en internetanslutning, var vanliga under slutet av 1980-talet och början av 1990-talet.
det fanns dock inget enkelt sätt att hitta information på en offentlig FTP-server om du inte visste var servern fanns och namnet och platsen för det dokument du ville komma åt. Allt detta förändrades när Archie släpptes 1990.
Archie är ofta tänkt som den första riktiga sökmotorn., Medan det fanns sökteknik som WHOIS som utvecklades tidigare var Archie anmärkningsvärt eftersom det var det första verktyget som kunde användas för att söka efter innehåll snarare än användare.
Archie bestod av två komponenter:
- en Archie-server som indexerade innehållet i offentliga FTP-servrar.
- ett sökverktyg som används för att fråga namnen på de filer som indexerades på Archie-servern.
enligt moderna standarder var Archie ett ganska råt verktyg. Men vid den tiden var Archie ett stort steg framåt i användningen av internet för informationssökning., Så här fungerade systemet:
- när en ny offentlig FTP-server kom online, skulle serverns ägare komma i kontakt med administratören för en Archie-server och be om att deras FTP-server inkluderas i Archie-indexet.
- en gång i månaden, mer eller mindre, var och en av dessa servrar skulle ta en ögonblicksbild av namnen på de filer som lagras på varje mappad FTP-server.
- Archie-servrar var sammankopplade och innehållet i var och en speglades periodiskt till alla andra Archie-servrar.,
- på så sätt innehöll varje Archie-server ett relativt komplett och aktuellt index för innehållet i varje FTP-server som mappades av systemet.
innehållet i en Archie-server kan sökas på några olika sätt. Om en användare hade direkt tillgång till en server kunde de använda ett sökprogram installerat direkt på servern.
Kommandoradsanslutningar kan göras för att söka en Archie-server via en Telnet-internetanslutning. Senare kan frågor göras genom att skicka ett korrekt formaterat e-postmeddelande till servern eller genom att använda ett webbaserat sökgränssnitt.,
Archies vänner
vad Archie var till FTP-servrar, Archies vän, Veronica, var att Gopher servrar.Gopher var ett internetkommunikationsprotokoll som utvecklades i början av 1990-talet av Mark McCahill vid University of Minnesota. Det var mycket mer som webben än FTP. Men det fanns också många skillnader.
Gopher var ett ganska strikt protokoll jämfört med webbens HTTP-protokoll. Entusiaster skulle säga att det var snabbare och mer organiserat än webben medan kritiker kan kalla det restriktivt och begränsat.,
Gopher såg mer ut som en filhanterare (tänk: Utforskaren) än en webbsida. Varje Gopher-server bestod av en serie menyer och undermenyer som användes för att organisera de dokument som lagrats på servern.
inledningsvis, att hitta information på en Gopher server krävs manuellt navigera genom en serie menyer och undermenyer baserat på titlar och beskrivningar associerade med varje meny tills resursen du letade efter hittades.
Veronica erbjöd snart ett alternativ till den här manuella navigeringsprocessen.,
Veronica var i grunden tillämpningen av Archie-modellen till Gopher-protokollet. Information om Gopher-servrar lagrades på Veronica-servrar, och Veronica-servrarna frågades för att hitta information om dokument som lagrats på de indexerade Gopher-servrarna.
inte långt efter utvecklingen av Veronica uppträdde Jughead. Även om det var också en Gopher verktyg, Jughead var ett annat djur helt. Jughead kunde bara användas för att söka igenom menyerna och undermenyerna i en mycket begränsad del av Gopher-vanligtvis bara en enda server.,
vissa avancerade sökoperatorer kan användas med Jughead, vilket gör det till ett kraftfullt verktyg för siktning och lokalisering av innehållet på en enda Gopher-server.
Vad finns i ett namn?
Jag är säker på att du just nu undrar om namnen på dessa tre sökmotorer: Archie, Veronica och Jughead.
Archie kom först och hade inget att göra med den populära komiska serien. Namnet skapades genom att ta ordet arkiv och ta bort bokstaven v. namnen Veronica och Jughead var en simulatan hänvisning till deras förhållande till Archie och en nick till serier serien.,
för att låtsas som namnen Veronica och Jughead hade någon form av mening utöver en lekfull hänvisning till Archie, skapades akronymer senare (backronyms).
Veronica sägs vara kort för mycket lätt gnagare-orienterade Net-wide Index till Datorarkiv. Och Jughead var Jonzys universella Gopherhierarki utgrävning och visning.
problemet med Archie och hans vänner
medan Archie, Veronica och Jughead var alla användbara och banbrytande verktyg vid den tiden led de alla av vissa begränsningar.,
först misslyckades alla tre att uppfylla det första kravet på en modern sökmotor: att ha ett sätt att upptäcka nytt innehåll automatiskt och kontinuerligt. Medan Archie och Veronica indexerade innehållet på ett brett utbud av servrar, måste nya servrar läggas till indexet manuellt.
det fanns ingen mekanism för automatisk upptäckt av nya servrar. Jughead, å andra sidan, var begränsad till bara en enda server.
För det andra kunde alla tre sökmotorerna bara söka efter titlar och beskrivningar., Ingen av de tre indexerade innehållet i något av de dokument som ingår i deras index.
medan alla tre av dessa sökmotorer var viktiga steg på vägen för att bygga en modern sökmotor, var alla tre av dessa verktyg effektivt manuella index med begränsad sökfunktionalitet.
vad hände med Gopher?
Gopher expanderade snabbt genom mitten av 1990-talet. men 1993 beslutade University of Minnesota, som ägde immateriella rättigheter till Gopher, att börja ta ut licensavgifter för varje Gopher-installation.,
World Wide Web, som hade lanserats efter Gopher och släpade efter, hade släppts som en helt fri plattform. Som ett resultat, efter 1993 användare började flockas till webben för att undvika licensavgifter associera med Gopher.
medan Gopher så småningom släpptes som GPL-programvara år 2000, och det finns några aktiva Gopher-servrar idag, är Gopher i stor utsträckning ett hobbyprojekt som hålls levande av Gopher-entusiaster.,
webbens första sökmotorer
när webben skapades fanns det inga sökmotorer utformade för att fungera över webbens kommunikationsprotokoll, HTTP. Ursprungligen upprätthöll Tim Berners-Lee och uppdaterade manuellt en katalog över alla webbservrar.
men 1993 hade webben vuxit till den grad att det inte längre var möjligt att hålla en omfattande manuell katalog och behovet av bra sökmotorer var tydligt att se.,
som nämndes i introduktionen måste en webbsökmotor göra tre saker för att vara verkligt användbar:
- innehållsupptäckt: datorprogram som kallas sökrobotar måste användas för att automatiskt och systematiskt genomsöka webben efter nytt eller uppdaterat innehåll.
- Innehållsindexering: ett index för det upptäckta innehållet måste skapas och underhållas.
- Sök: indexet måste vara tillgängligt med ett sökverktyg som jämför söktermer med innehållet i indexet och returnerar användbara resultat.,
verktyg för tidig informationssökning som WHOIS, Archie, Veronica och Jughead uppfyllde inte alla tre kraven.
där de alla föll kort var att de manuellt skapades kataloger med begränsad sökfunktionalitet som inte hade en mekanism för att automatiskt hitta och indexera nytt innehåll.
sökbara manuella Direcotries
de tidigaste webbsökmotorerna var sökbara kataloger som liknar Archie och Veronica.
w3catalog, den allra första webbsökmotorn, var extremt lik Archie eller Veronica i concept., När det skapades 1993 fanns det flera högkvalitativa, kurerade webbplatsindex som var och en omfattade en begränsad del av webben. Vad W3Catalog gjorde var:
- Använd ett datorprogram för att dra informationen från de olika indexerna;
- formatera om innehållet så att listorna presenterades konsekvent oavsett indexet från vilket de härstammar;
- tillhandahålla ett frågeverktyg som kan användas för att söka efter relevanta listor.,
Aliweb följde snabbt på w3catalog klackar och var ett annat indexsökande verktyg i samma ven som Archie, Veronica och W3Catalog.
men medan W3Catalog bara drog in information från några curerade webbplatsindex, kunde alla webbansvariga skicka in sin webbplats för notering på Aliweb.
Index som W3catalog och Aliweb, även kallade webbkataloger, fortsatte att vara populära under 1990-talet. den mest framgångsrika av dessa webbkataloger var Yahoo!
Yahoo!
Yahoo! grundades 1994., En av dess största bidrag till sökningen var dess katalogtjänst: en stor samling auktoritativa webbplatser som används för deras sökresultat.
Yahoo! själv började som en katalog med webbsidor utan att använda en sökrobot. Yahoo! Katalogen var inte den första, men den är förmodligen den största.
Yahoo! var-och är fortfarande-en av de mest igenkännliga sökmotornamnen. I början, dess sökfunktion var bara en front end för resultat som kom från andra sökrobotar.
företaget förgrenade sig ut i andra områden av informationsdistribution som Yahoo! Grupp., Men det var inte förrän 2003 som Yahoo! blev sin egen självkrypande sökmotor. Före detta, Inktomi, följt av Google, powered Yahoo! Ironiskt nog skulle Google senare bli deras största konkurrent.
dessutom Yahoo! köpte flera sökmotorföretag: Inktomi, AlltheWeb och Overture.
Yahoo! introducerad eller populär, ett antal element som många sökmotorer fortfarande använder. Det tillåts för vertikala sökresultat, vilket är en sökning inom en viss kategori.
en person kan köra en sökning bara för bilder, bara för Nyheter, och så vidare. Yahoo!, är fortfarande i drift, men precis som tidigare, driver ett annat sökföretag sökresultaten. Idag är det Bing.
sökrobotar automatiserar och påskyndar indexeringsprocessen
den första sökroboten skapades i juni 1993 och heter World Wide Web Wanderer, eller bara Wanderer för kort.
det skapades av Matthew Gray för att generera ett index som heter Wandex, vilket i huvudsak var ett mått på storleken på webben. Wanderer höll Wandex uppdaterad fram till slutet av 1995 men indexet användes aldrig för informationssökning.,
JumpStation
den första applikationen av en sökrobot för att skapa ett sökmotorindex var JumpStation.
skapad i december 1993 vid University of Stirling i Skottland av Jonathan Fletcher, ”fadern till modern sökning”, använde jumpstation sökrobotar för att skapa ett sökbart index av webbsidor och rubriker.
inom mindre än ett år hade JumpStation: s sökrobotar indexerat 275 000 poster medan de kör på en enda delad server i Skottland.,
Fletcher kunde dock inte övertyga universitetet om att investera ytterligare resurser eller tillhandahålla finansiering för projektet, och när Fletcher lämnade universitetet i slutet av 1994 stängdes JumpStation.
WebCrawler
WebCrawler, som släpptes strax efter JumpStation, var den första sökroboten som genomsökte hela texten på varje indexerad webbsida.
under de följande två till tre åren har många sökrobotar baserade all-text sökmotorer som Magellan, Northern Light, Infoseek, HotBot, MSN Search och Inktomi lanserats, köpts, sålts, slutare och fusionerats.,
Lycos
Lycos startade som ett forskningsprojekt. Den lanserades 1994 och blev den mest populära webbdestinationen 1999.
Till skillnad från andra sökmotorer var Lycos ett fullständigt företag från porten. Det gjorde pengar, och det gjorde så snabbt. Den främsta orsaken till dess popularitet som sökmotor var dess enorma katalog över indexerade dokument.
det indexerade cirka 400,000 dokument per månad vid lanseringen och rammade upp för att indexera totalt 60,000,0000 dokument på mindre än två år — mer indexerade sidor än någon annan sökmotor. Lycos gick igenom flera förvärv och försäljning.,
som företag ägde det många andra företag och webbplatser. Som en sökmotor finns den fortfarande idag.
Excite
Excite startade 1995. Det var den första sökmotorn att använda ordrelationer och statistisk analys för att göra sökresultaten mer relevanta.
idag är det känt mer för vad det inte gjorde. 1999 hade möjlighet att köpa Google — två gånger! För det första erbjöds det för en miljon dollar. Senare sänktes priset till bara $ 750.000. Excite tackade nej till båda avtalen.,
AltaVista
i slutet av 1995 lanserade Digital Equipment Corporation AltaVista. Även om det inte var den första sökmotorn, det förbättrats på sina föregångare, så småningom bli en av de mest populära sökmotorerna i sin tid.
AltaVista var den första som möjliggjorde sökfrågor på naturligt språk, vilket betyder att människor helt enkelt kunde skriva vad de letade efter istället för att använda frågesträngar. Det indexerade också mycket mer av webben än folk ens visste fanns vid den tiden.
slutligen var det en av de första sökmotorerna att använda Booleska operatörer., Det blev så småningom en del av Yahoo!
fråga Jeeves
Ask.com började som Ask Jeeves 1996. Sökmotorn drivs på en fråga-och-svar plattform, där användarna kunde ställa en fråga med naturligt språk och sökmotorn skulle hitta ett svar.
en av Ask: s viktigaste bidrag till sökningen är deras egen algoritm för sidrankning, ExpertRank. ExpertRank arbetar med ämnesspecifik Popularitet. Om en webbplats på ett visst ämne har bakåtlänkar från andra webbplatser på samma ämne är det mer relevant.
Ask slutade slutligen fokusera på sökning., Det finns fortfarande som en sökmotor, men dess kärnprodukt är dess sökbara databas med frågor som besvaras av användare.
Bing
Microsofts Bing lanserades 2009, men det är faktiskt inte så nytt. Bing existerade som MSN Search och Windows Live Search-anor från 1998. Tredje part drivna sina tidiga sökningar.
omkring 2004 började Microsoft använda sina egna sökresultat. Detta drivs den slutliga förändringen från MSN-sökning till Windows Live Search och slutligen Bing. Även om inte nästan lika populär som Google, har Bing lyckats skära ut en anständig del av sökmotormarknaden.,
samma år som Microsoft kom in i sökmotorbranschen (1998) lanserades Google. Det skulle snart revolutionera sökvärlden.
PageRank: en revolutionerande idé
Även om det är omöjligt att tillskriva Googles framgång till någon enskild faktor, är det också svårt att överskatta hur viktig PageRank var för Googles tidiga framgång. Så, vad är PageRank?
Google använder flera algoritmer för att bestämma i vilken ordning sökresultat ska presenteras. PageRank var den första av dessa algoritmer som används av Google., Det är fortfarande en viktig del av Googles övergripande resultat ranking metodik. Det finns två grundläggande idéer bakom PageRank:
- när många webbplatser länkar till en webbsida tyder det på att webbsidan är användbar och pålitlig.
- länkar från en användbar och pålitlig webbsida är mer värdefulla och pålitliga än länkar från en opålitlig webbsida.
dessa två idéer kombineras för att skapa en hierarki av webbplatsens trovärdighet och användbarhet som kallas PageRank.
som du kan se matas dessa idéer in i varandra., Närvaron av fler inkommande länkar innebär att en webbplats är mer trovärdig, och länkar från pålitliga webbplatser är mer värdefulla än länkar från webbplatser som inte har många inkommande länkar.
vad som händer är att varje länk från en webbplats till en annan tilldelas en viss vikt, som vanligtvis kallas länk juice i SEO cirklar. Denna vikt är baserad på PageRank av webbplatsen från vilken länken härstammar och antalet utgående länkar från den ursprungliga webbplatsen.,
Google lägger upp all länkjuice som strömmar från ursprungswebbplatser till den aktuella webbsidan och använder den informationen för att bestämma PageRank att tilldela webbsidan.
PageRank visade sig vara ett bra sätt att identifiera användbara webbplatser, och användarna insåg snabbt att Googles sökresultat var mer användbara än de som genereras av någon annan sökmotor. Som ett resultat, användare snabbt flockade till Google och andra sökmotorer lämnades förvränga för att komma ikapp.,
av 2002, Google hade stigit till framträdande i sökmotormarknaden tack vare delvis deras innovativa PageRank teknik och den strömlinjeformade utformningen av Googles hemsida som stod i skarp kontrast till reklam och innehåll tunga webbportaler genomförs av praktiskt taget alla andra sökmotorer.
Sök växer upp och får ett jobb
på 1990-talet var investeringar i sökning en spekulativ strävan. Alla visste att sökningen var värdefull, men ingen gjorde verkligen några pengar med sökning.,
det hindrade dock inte investerare från att pumpa stora summor till innovativa sökmotorer, vilket gjorde sökinvesteringar till en betydande bidragande faktor till dot-com-bubblan.
i slutet av 1990-talet började ansträngningar på allvar att tjäna pengar på sökning.
sökmotorer insåg att de hade tillgång till webbanvändare som berättade för dem exakt vad de ville ha. Allt som var kvar var för köpmän att placera annonser som skulle visas för de användare som letade efter sina produkter och tjänster.,
Overture Monetizes Search
år 1996 var Open Text den första som försökte kommersialisera sökningen genom att erbjuda betalda söklistor. Reaktionen på att se betalda annonsplaceringar var dock snabb fördömande och tanken misslyckades med att ta av sig.
två år senare tog GoTo, som senare döptes om till Overture, ett andra skott på betalda sökplaceringar och konceptet accepterades. Detta berodde till stor del på att webben hade mognat betydligt mellan 1996 och 1998 och övergått från att i första hand vara en akademisk plattform till en kommersiellt stödd plattform.,
strax efter lanseringen i början av 1998 lånade Google idén om betalda sökplaceringar från Overture och snabbt omvandlas från en kämpande start till en av de mest lönsamma Internetföretag.
som kunde ha förutspått, tog Overture inte alltför vänligt för att Google valde sin idé, och Overture stämde Google för att bryta mot deras patenterade immateriella rättigheter 2002.
Yahoo! blev involverad i rättegången när de köpte Overture i 2003 och fortsatte sedan att lösa fallet. Google fick en evig licens att använda Overture patent i utbyte mot 2.,7 miljoner aktier i Google gemensamma lager.
idag är reklam i sökresultat den primära finansieringsmekanismen som används av sökmotorer och genererar miljarder dollar i årliga intäkter.
det moderna Sökmotorlandskapet
dagens sökmotormarknad domineras av bara fyra konkurrenter vars kombinerade sökvolym utgör cirka 98% av den totala globala sökmotormarknaden.
- Google kommandon om 70% av den globala sökmotormarknaden.
- Bing kommer i andra med lite mer än 10% av marknaden.,
- Baidu kommer i tredje med lite mindre än 10% av marknaden.
- Yahoo! kommer i bundet för tredje med Baidu.
medan andra sökmotorer, som AOL och Ask, fortfarande används miljontals gånger varje dag, är deras kombinerade marknadsandel betydligt mindre än 1% av den globala sökmotormarknaden.
YouTube?!
en anmärkningsvärd utelämnande från de flesta listor över topp sökmotorer är YouTube., Medan YouTube inte är en sökmotor i traditionell mening, söker fler och fler användare YouTube efter hur Videor, produktinformation, musik, nyheter och andra ämnen som tidigare hittats främst via sökmotorer.
om Youtubes sökvolym jämförs med listan över sökmotorer kan YouTube, som ägs av Google, faktiskt vara den näst största sökmotorn på webben.
endast för dina ögon
ett snabbt växande segment av sökmotormarknaden är det privata söksegmentet. Detta segment består av sökmotorer som DuckDuckGo, Startsida av Ixquick, och Qrobe.it. – herr talman!,
det är attraktivt för privatpersoner som inte gör vad deras sökvanor spårade och såldes till annonsörer. Medan dessa sökmotorer fortfarande använder en reklambaserad sökmodell, samlar de inte in, lagrar eller säljer identifierbara användardata.
medan Duckduckgos nuvarande genomsnitt på cirka 10 miljoner frågor per dag pales i jämförelse med de 3,5 miljarder frågor som behandlas varje dag av Google, representerar det en 100-faldig ökning av den totala sökvolymen mellan 2011 och 2016.,
sökmotorns sofistikering
trenden under de senaste åren i utvecklingen av sökteknik har varit mot större sofistikering. Exempel på innovation i Sök sedan 2010 är:
- snabbare sökprestanda tack vare Komplettera automatiskt och omedelbart genererade sökresultat, en innovation som kallas Omedelbar sökning.
- användningen av Schema.org markup för att producera rika sökresultat, till exempel produktbetyg baserat på ett 5-stjärnklassificeringssystem som visas direkt på sökresultatsidan.,
- alltmer riktade crackdowns på spam, innehåll dubbelarbete, låg kvalitet innehåll och webbplatser som gör överdriven användning av annonser.
- sökmotorernas förmåga att bearbeta enhetsomvandlingar, valutaomvandlingar, enkla matematiska beräkningar, termdefinitioner, språköversättning och liknande uppgifter och visa resultaten på sökmotorns resultatsida.
- visning av public domain encyclopedic information direkt i sökresultat, en funktion som kallas knowledge graph.,
klart är ledande sökmotorer inte längre nöjda med att helt enkelt berätta var du kan hitta den information du söker efter.
de ser i allt högre grad ut den informationen själva och levererar den direkt till användarna samtidigt som de levererar ytterligare visningar till betalande annonsörer.
framtiden för sökningen på webben
där sökningen är på väg är någons gissning., Privat sökning, en tydlig pushback mot reklam och spårningsmetoder för branschledare som Google, exploderar i tillväxt, men representerar fortfarande bara en liten del av den totala marknaden.
Google, å andra sidan, har vuxit till ett företag värt hundratals miljarder dollar och genererade nästan $75 miljarder i intäkter i 2015 ensam.
samtidigt ökar antalet internetanslutna enheter, hushåll och användare och sökningen är den grundläggande mekanism som används för att hitta information på webben.,
medan framtiden för sökningen kan vara någons gissning, av en sak som vi kan vara säkra på: sökning kommer inte bort när som helst snart.