Olá, gostaria de adicionar uma nota rápida sobre o que acabamos de ver com o Airbnb e como sites de pesquisa
como o Baidu e o Google realmente funcionam.
Agora, você deve ter notado que o agente do usuário, o bot do Google, é, bem, o que o Google usa para indexar sites.
O que isso significa?
Bem, o Google, do jeito que funciona, lembre-se, é um mecanismo de busca.
O que ele faz é tentar descobrir todos os sites da Web e indexá-los.
Ou seja, crie essencialmente um banco de dados de todas essas páginas da Web para que, quando eu pesquisar receitas de sopa no Google, o
Google me dê um site com receitas de sopa.
Agora, como ele sabe quais sites têm receitas de sopa?
Bem, ele usa este quadro do Google e é assim que o Google começou.
O que eles fizeram foi ter um rastreador que é um programa que danifica sites e lê sites, mais ou menos como estamos prestes a
fazer com web scraping para entender do que se trata o site.
Se o site mencionava a palavra receitas de sopa ou tinha um texto diferente relacionado a receitas de sopa.
Bem, o Googlebot vai dizer que este site é sobre receitas de sopa.
Então, quando Andre pesquisa receitas de sopa, sei que esses sites são os que queremos mostrar a eles.
E isso é o que o Google, o Bing e o Baidu fazem, eles têm seus próprios bots e estão
constantemente rastreando sites para ver qual é o site mais relevante para oferecer a um usuário.
Então, o Airbnb aqui está dizendo, ei, Google, mas quando você vier rastrear meu site, não rastreie nenhuma dessas coisas porque eu
não quero que você faça isso.
Mas qualquer outra coisa que não esteja aqui, você pode rastejar.
Agora, se você realmente olhar por aqui, isso não é tudo no Airbnb porque o Airbnb quer que o Google
rastreie o site.
Direito.
Se eu pesquisar casas de férias na Costa Rica, o Airbnb está interessado em que o Google poste um link do Airbnb no
topo da pesquisa.
Então, o que eles não permitem aqui é principalmente algo específico do usuário ao qual o Google não deveria
ter acesso, como talvez reservas ou pagamentos.
Mas há muitos outros pontos de extremidade que podem ser pesquisados pelo Googlebot, por exemplo, o Google comprou provavelmente
pode olhar todas as casas disponíveis na Costa Rica e classificá-las de forma que, quando eu digitar
o aluguel da casa na Costa Rica, bem, o Googlebot vai dizer, ei, o Airbnb
tem um link para casas na Costa Rica.
Daremos isso a este usuário.
Então, qualquer coisa que não esteja nesta lista, bem, podemos usar uma coisa complicada é que vemos
isso permitir aqui o que significa permitir.
Diz que o calendário de ódio aqui é, na verdade, um endpoint não permitido.
Porém, permitimos dentro do calendário esta pasta que eu chamo.
Você pode acessar apenas aquele, mas se não estiver mencionado aqui.
Portanto, se algo aqui nesta lista não for mencionado, isso é permitido.
Então, por exemplo, barra de ponto do Airbnb, isso é permitido porque não estava na lista.
Se eu clicar em experiências, isso é permitido porque este Dash S.
As experiências S slash não estavam na lista.
Portanto, um site tem um arquivo de texto de robô porque talvez não queira coisas específicas rabiscadas ou se não tiver um arquivo
de texto de ponto robusto ou apenas o deixa vazio, isso significa, ei, não me importo, Google, você pode
classificar meu site, você pode rastrear meu site.
Isso também é bom.
E é por isso que o Airbnb tinha informações diferentes aqui.
Tínhamos comprado especificamente para o Google por ter sido comprado por todos esses mecanismos de busca, mas também por
todos os outros, talvez programadores como nós que querem raspar o site.
Ai está.
Aprendemos secretamente como funcionam o Google e outros mecanismos de pesquisa.
Muito legal, certo?
Tudo bem.
Voltemos ao tópico em questão.