Ehi, voglio aggiungere una breve nota su ciò che abbiamo appena visto con Airbnb e su come funzionano effettivamente
i siti di ricerca come Baidu e Google.
Ora, potresti aver notato che l'agente utente, il bot di Google, è, beh, quello che Google usa per indicizzare i siti web.
Che cosa significa?
Bene, Google, il modo in cui funziona, ricorda, è un motore di ricerca.
Quello che fa è cercare di capire tutti i siti web sul Web e indicizzarli.
Cioè, creare essenzialmente un database di tutte queste pagine Web in modo che quando cerco su Google ricette per zuppe, Google mi
dia un sito Web con ricette per zuppe.
Ora, come fa a sapere quali siti web hanno ricette di zuppe?
Bene, usa questa bacheca di Google ed è così che Google ha iniziato.
Quello che hanno fatto è stato avere un crawler che è un programma che paralizza i siti web e legge i siti web, un po' come stiamo per
fare con il web scraping per capire di cosa tratta il sito web.
Se il sito web menzionava la parola ricette di zuppa o aveva un testo diverso relativo alle ricette di zuppa.
Bene, Googlebot dirà che questo sito web riguarda ricette di zuppe.
Quindi, quando Andre cerca ricette di zuppe, so che questi siti Web sono quelli che vogliamo mostrarle.
E questo è ciò che fanno Google, Bing e Baidu, hanno i loro bot e scansionano costantemente i siti
Web per vedere qual è il sito Web più pertinente da offrire a un utente.
Quindi Airbnb qui sta dicendo, ehi, Google, ma quando vieni a scansionare il mio sito web, non scansionare nessuna di queste cose perché
non voglio che tu lo faccia.
Ma qualsiasi altra cosa che non è qui, puoi strisciare.
Ora, se guardi effettivamente qui, questo non è tutto su Airbnb perché Airbnb vuole che Google esegua la scansione
del sito Web.
Destra.
Se cerco case vacanza in Costa Rica, Airbnb è interessato a che Google pubblichi un link Airbnb nella parte superiore
della ricerca.
Quindi ciò che non consentono qui è principalmente una cosa specifica dell'utente a cui Google non dovrebbe
avere accesso, come forse prenotazioni o pagamenti.
Ma ci sono molti altri endpoint che possono effettivamente consentire a Googlebot di cercare, ad esempio, Google ha acquistato è
molto probabilmente autorizzato a guardare tutte le case disponibili in Costa Rica e a classificarle in modo
tale che quando digito in affitto casa in Costa Rica, bene, Googlebot dirà, ehi, Airbnb
ha un collegamento con le case della Costa Rica.
Lo daremo a questo utente.
Quindi tutto ciò che non è in questa lista, beh, siamo autorizzati a usare una cosa complicata è che
vediamo questo allow qui cosa significa questo allow.
Dice che il calendario dell'odio qui è in realtà un endpoint non consentito.
Tuttavia, permettiamo all'interno del calendario questa cartella che chiamo.
Puoi accedere solo a quello, ma se non è menzionato qui.
Quindi, se qualcosa qui in questa lista non è menzionato, è permesso.
Quindi, ad esempio, punto barra Airbnb, è consentito perché non era nell'elenco.
Se forse clicco su esperienze, questo è consentito perché questo Dash S.
S slash experience non era nell'elenco.
Quindi un sito web ha un file di testo robot perché forse non vuole cose specifiche scarabocchiate o se non ha un solido file
di testo a punti o semplicemente lo lascia vuoto, significa, ehi, non mi interessa, Google, puoi classificare il mio sito web,
puoi eseguire la scansione del mio sito web.
Anche questo va bene.
Ed è per questo che Airbnb aveva informazioni diverse qui.
Avevamo acquistato appositamente per Google per essere acquistato per tutti questi motori di ricerca, ma anche per tutti
gli altri, forse programmatori come noi che vogliono raschiare il sito web.
Ecco qua.
Abbiamo segretamente appreso come funzionano Google e altri motori di ricerca.
Abbastanza bello, vero?
Va bene.
Torniamo all'argomento in questione.