Hallo daar, ik wil een korte opmerking toevoegen over wat we zojuist hebben gezien met Airbnb en hoe
zoekwebsites zoals Baidu en Google eigenlijk werken.
Nu is het je misschien opgevallen dat de user-agent, Google-bot, is wat Google gebruikt om websites te indexeren.
Wat betekent dat?
Welnu, Google, de manier waarop het werkt, onthoud, is een zoekmachine.
Wat het doet, is dat het alle websites op het web probeert te achterhalen en ze te indexeren.
Dat wil zeggen, maak in wezen een database van al deze webpagina's, zodat wanneer ik Google-soeprecepten google, Google
me een website geeft met soeprecepten.
Hoe weet het nu welke websites soeprecepten hebben?
Welnu, het gebruikt dit Google-bord en zo is Google begonnen.
Wat ze deden was dat ze een crawler hadden, een programma dat websites verlamde en websites leest, een beetje zoals we gaan
doen met webscraping om te begrijpen waar de website over gaat.
Als de website het woord soeprecepten vermeldde of andere tekst had met betrekking tot soeprecepten.
Welnu, Googlebot gaat zeggen dat deze website over soeprecepten gaat.
Dus als Andre soeprecepten zoekt, weet ik dat dit de websites zijn die we ze willen laten zien.
En dit is wat Google en Bing en Baidu allemaal doen, ze hebben hun eigen bots en ze crawlen constant
websites om te zien wat de meest relevante website is om aan een gebruiker te geven.
Dus Airbnb zegt hier, hey, Google, maar als je mijn website komt crawlen, crawl dan geen van deze dingen omdat ik
niet wil dat je dat doet.
Maar al het andere dat hier niet is, kun je kruipen.
Als je hier echt doorheen kijkt, is dit niet alles op Airbnb, omdat Airbnb wil dat Google
de website doorzoekt.
Rechts.
Als ik naar vakantiehuizen in Costa Rica zoek, is Airbnb geïnteresseerd in Google om een Airbnb-link bovenaan de zoekopdracht
te plaatsen.
Dus wat ze hier niet toestaan, zijn meestal gebruikersspecifieke dingen waar Google geen toegang toe zou moeten
hebben, zoals misschien reserveringen of betalingen.
Maar er zijn een heleboel andere eindpunten die Googlebot daadwerkelijk mag laten zoeken. Google Gekocht mag
bijvoorbeeld naar alle beschikbare huizen in Costa Rica kijken en ze rangschikken, zodat wanneer
ik Costa Rica huishuur intyp, Nou, Googlebot gaat zeggen, hé, Airbnb heeft
een link naar huizen in Costa Rica.
We geven dat aan deze gebruiker.
Dus alles wat niet in deze lijst staat, we mogen een lastig ding gebruiken, is dat we dit
toestaan hier zien wat dit toestaan betekent.
Er staat dat haatkalender hier eigenlijk een niet-toegestaan eindpunt is.
We laten echter binnen in de kalender deze ik noem map toe.
Je hebt alleen toegang tot die ene, maar als het hier niet wordt vermeld.
Dus als iets hier op deze lijst niet wordt vermeld, is dat toegestaan.
Dus bijvoorbeeld Airbnb dot slash, dat mag want dat stond niet op de lijst.
Als ik misschien op ervaringen klik, mag dit omdat deze Dash S.
S slash-ervaringen stonden niet op de lijst.
Dus een website heeft ofwel een robottekstbestand omdat het misschien niet wil dat specifieke dingen worden gekrabbeld of als het geen robuust
punttekstbestand heeft of het gewoon leeg laat, het betekent, hé, het maakt me niet uit, Google, je kunt
mijn website rangschikken, je kunt mijn website crawlen.
Dat is ook goed.
En daarom had Airbnb hier andere informatie.
We hadden speciaal voor Google gekocht omdat ze voor al deze zoekmachines werden gekocht, maar ook voor
alle anderen, misschien programmeurs zoals wij die de website willen schrapen.
Daar ga je.
We leerden stiekem hoe Google en andere zoekmachines werken.
Best cool, toch?
Oke.
Laten we teruggaan naar het onderwerp bij de hand.