Hallo, ich möchte kurz anmerken, was wir gerade bei Airbnb gesehen haben und wie Suchwebsites
wie Baidu und Google tatsächlich funktionieren.
Jetzt haben Sie vielleicht bemerkt, dass der User-Agent, der Google-Bot, das ist, was Google verwendet, um Websites zu indizieren.
Was bedeutet das?
Nun, Google, wie es funktioniert, denken Sie daran, ist eine Suchmaschine.
Es versucht, alle Websites im Web herauszufinden und zu indizieren.
Das heißt, erstellen Sie im Wesentlichen eine Datenbank all dieser Webseiten, damit, wenn ich Suppenrezepte google, Google
mir eine Website mit Suppenrezepten gibt.
Woher weiß es nun, auf welchen Websites Suppenrezepte angeboten werden?
Nun, es verwendet dieses Google-Board und so hat Google angefangen.
Was sie taten, war, dass sie einen Crawler hatten, ein Programm, das Websites lahmlegt und Websites liest, ähnlich wie wir es mit Web Scraping
tun werden, um zu verstehen, worum es auf der Website geht.
Wenn die Website das Wort Suppenrezepte erwähnt oder einen anderen Text zu Suppenrezepten enthält.
Nun, der Googlebot wird sagen, dass es auf dieser Website um Suppenrezepte geht.
Wenn Andre Suppenrezepte durchsucht, weiß ich, dass diese Websites diejenigen sind, die wir ihnen zeigen möchten.
Und das ist es, was Google, Bing und Baidu alle tun. Sie haben ihre eigenen Bots und sie
crawlen ständig Websites, um zu sehen, welche Website für einen Benutzer am relevantesten ist.
Airbnb sagt hier also: Hey, Google, aber wenn du meine Website crawlst, crawle nichts von diesen Dingen, weil ich nicht
möchte, dass du es tust.
Aber alles andere, was nicht hier ist, können Sie kriechen.
Nun, wenn Sie hier wirklich durchsehen, ist dies nicht alles auf Airbnb, denn Airbnb möchte, dass Google
die Website crawlt.
Rechts.
Wenn ich nach Ferienwohnungen in Costa Rica suche, ist Airbnb daran interessiert, dass Google einen Airbnb-Link oben in der
Suche postet.
Was sie hier verbieten, sind also hauptsächlich benutzerspezifische Dinge, auf die Google keinen Zugriff haben
sollte, wie etwa Reservierungen oder Zahlungen.
Aber es gibt viele andere Endpunkte, die der
Googlebot tatsächlich durchsuchen darf. Nun, der Googlebot
wird sagen, hey, Airbnb hat einen Link
zu Costa Rica-Häusern.
Das geben wir diesem Benutzer.
Also alles, was nicht in dieser Liste ist, nun, eine knifflige Sache ist, dass wir hier
das Erlauben sehen, was dieses Erlauben bedeutet.
Es heißt, dass Hasskalender hier tatsächlich ein unzulässiger Endpunkt ist.
Wir erlauben jedoch innerhalb des Kalenders diesen Ordner, den ich nenne.
Sie können nur darauf zugreifen, wenn es hier nicht erwähnt wird.
Wenn also etwas hier auf dieser Liste nicht erwähnt wird, ist das erlaubt.
Also zum Beispiel Airbnb-Punkt-Schrägstrich, das ist erlaubt, weil das nicht auf der Liste stand.
Wenn ich vielleicht auf Erfahrungen klicke, ist dies erlaubt, da dieser Dash S.
S-Slash-Erfahrungen standen nicht auf der Liste.
Eine Website hat also entweder eine Robot-Textdatei, weil sie vielleicht nicht möchte, dass bestimmte Dinge gekritzelt werden, oder wenn sie keine robuste
Punkttextdatei hat oder sie einfach leer lässt, bedeutet dies, hey, das ist mir egal, Google, Sie können meine
Website bewerten, Sie können meine Website crawlen.
Das ist auch gut.
Und deshalb hatte Airbnb hier andere Informationen.
Wir hatten speziell für Google gekauft, um für all diese Suchmaschinen gekauft zu werden, aber auch für
alle anderen, vielleicht Programmierer wie uns, die die Website abkratzen wollen.
Da gehst du.
Wir haben heimlich erfahren, wie Google und andere Suchmaschinen funktionieren.
Ziemlich cool, oder?
Gut.
Kommen wir zurück zum eigentlichen Thema.