Hola, quiero agregar una nota rápida sobre lo que acabamos de ver con Airbnb y cómo funcionan realmente los
sitios web de búsqueda como Baidu y Google.
Ahora, es posible que haya notado que el agente de usuario, el bot de Google, es, bueno, lo que Google usa para indexar sitios web.
¿Qué significa eso?
Bueno, Google, la forma en que funciona, recuerde, es un motor de búsqueda.
Lo que hace es tratar de descubrir todos los sitios web de la Web e indexarlos.
Es decir, crear esencialmente una base de datos de todas estas páginas web para que cuando busque recetas de sopa en Google, Google me
dé un sitio web que tenga recetas de sopa.
Ahora bien, ¿cómo sabe qué sitios web tienen recetas de sopa?
Bueno, usa este tablero de Google y así es como comenzó Google.
Lo que hicieron fue que tenían un rastreador que es un programa que paraliza los sitios web y los lee, algo así como lo que vamos a hacer
con el web scraping para entender de qué se trata el sitio web.
Si el sitio web menciona la palabra recetas de sopa o tiene un texto diferente relacionado con recetas de sopa.
Bueno, Googlebot va a decir que este sitio web trata sobre recetas de sopa.
Entonces, cuando Andre busca recetas de sopa, sé que estos sitios web son los que queremos mostrarles.
Y esto es lo que hacen Google, Bing y Baidu, tienen sus propios bots y están constantemente rastreando sitios
web para ver cuál es el sitio web más relevante para ofrecer a un usuario.
Entonces, Airbnb aquí está diciendo, oye, Google, pero cuando vengas a rastrear mi sitio web, no rastreas ninguna de estas cosas
porque no quiero que lo hagas.
Pero cualquier otra cosa que no esté aquí, puedes arrastrarte.
Ahora, si miras aquí, esto no es todo en Airbnb porque Airbnb quiere que Google rastree el
sitio web.
Derecha.
Si busco casas de vacaciones en Costa Rica, Airbnb está interesado en que Google publique un enlace de Airbnb en la parte superior
de la búsqueda.
Entonces, lo que no permiten aquí es principalmente cosas específicas del usuario a las que Google no debería tener
acceso, como tal vez reservas o pagos.
Pero hay muchos otros puntos finales en los que el robot de Google puede buscar, por ejemplo, lo más probable
es que Google comprado pueda ver todas las casas disponibles en Costa Rica y clasificarlas de modo que
cuando escribo en alquiler de casa en Costa Rica, Bueno, Googlebot va a decir, oye, Airbnb
tiene un enlace a las casas de Costa Rica.
Se lo daremos a este usuario.
Entonces, cualquier cosa que no esté en esta lista, bueno, podemos usar una cosa complicada es que vemos
este permiso aquí lo que significa este permiso.
Dice que el calendario de odio aquí es en realidad un punto final no permitido.
Sin embargo, permitimos dentro del calendario esta carpeta que llamo.
Solo puede acceder a ese, pero si no se menciona aquí.
Entonces, si no se menciona algo aquí en esta lista, eso está permitido.
Entonces, por ejemplo, la barra de puntos de Airbnb está permitida porque no estaba en la lista.
Si quizás hago clic en experiencias, esto está permitido porque este Dash S.
Las experiencias de slash no estaban en la lista.
Entonces, un sitio web tiene un archivo de texto de robot porque tal vez no quiere cosas específicas garabateadas o si no tiene un
archivo de texto de puntos robusto o simplemente lo deja vacío, significa, oye, no me importa, Google, puede clasificar
mi sitio web, puede rastrear mi sitio web.
Eso también es bueno.
Y es por eso que Airbnb tenía información diferente aquí.
Habíamos comprado específicamente para Google para todos estos motores de búsqueda, pero también para todos los demás,
tal vez programadores como nosotros que quieren raspar el sitio web.
Ahí tienes.
Aprendimos en secreto cómo funcionan Google y otros motores de búsqueda.
Bastante bien, ¿verdad?
Está bien.
Volvamos al tema que nos ocupa.