Salut, je veux ajouter une note rapide sur ce que nous venons de voir avec Airbnb et comment fonctionnent réellement
les sites de recherche comme Baidu et Google.
Maintenant, vous avez peut-être remarqué que l'agent utilisateur, le bot Google, est ce que Google utilise pour indexer les sites Web.
Qu'est-ce que ça veut dire?
Eh bien, Google, la façon dont cela fonctionne, rappelez-vous, est un moteur de recherche.
Ce qu'il fait, c'est qu'il essaie de comprendre tous les sites Web sur le Web et de les indexer.
C'est-à-dire, créez essentiellement une base de données de toutes ces pages Web de sorte que lorsque je recherche des recettes de soupe sur Google, Google
me donne un site Web contenant des recettes de soupe.
Maintenant, comment sait-il quels sites Web proposent des recettes de soupe ?
Eh bien, il utilise ce tableau Google et c'est ainsi que Google a commencé.
Ce qu'ils ont fait, c'est qu'ils avaient un robot d'exploration qui est un programme qui paralysait des sites Web et lisait des sites Web, un peu comme nous sommes sur le
point de le faire avec le grattage Web pour comprendre de quoi parle le site Web.
Si le site Web mentionnait le mot recettes de soupe ou contenait un texte différent lié aux recettes de soupe.
Eh bien, Googlebot va dire que ce site Web concerne les recettes de soupe.
Donc, quand Andre recherche des recettes de soupe, je sais que ces sites Web sont ceux que nous voulons leur montrer.
Et c'est ce que font tous Google, Bing et Baidu, ils ont leurs propres robots et ils explorent constamment des sites
Web pour voir quel est le site Web le plus pertinent à offrir à un utilisateur.
Donc Airbnb ici dit, hé, Google, mais quand vous venez explorer mon site Web, n'explorez aucune de ces choses parce que
je ne le veux pas.
Mais tout ce qui n'est pas ici, vous pouvez ramper.
Maintenant, si vous regardez vraiment ici, ce n'est pas tout sur Airbnb car Airbnb veut que Google explore
le site Web.
À droite.
Si je recherche des maisons de vacances au Costa Rica, Airbnb souhaite que Google publie un lien Airbnb en haut
de la recherche.
Donc, ce qu'ils interdisent ici est principalement une chose spécifique à l'utilisateur à laquelle Google ne devrait pas avoir
accès, comme peut-être les réservations ou les paiements.
Mais il y a beaucoup d'autres points de terminaison qui sont en fait autorisés pour Googlebot à rechercher, par exemple, Google a
acheté est très probablement autorisé à regarder toutes les maisons disponibles au Costa Rica et à les classer de
sorte que lorsque je tape Location de maison au Costa Rica, eh bien, Googlebot va dire, hé,
Airbnb a un lien avec les maisons du Costa Rica.
Nous allons le donner à cet utilisateur.
Donc, tout ce qui n'est pas dans cette liste, eh bien, nous sommes autorisés à utiliser une chose délicate, c'est que
nous voyons ceci autoriser ici ce que cela signifie.
Il dit que le calendrier de haine ici est en fait un point final non autorisé.
Cependant, nous autorisons à l'intérieur du calendrier ce dossier que j'appelle.
Vous ne pouvez accéder qu'à celui-ci, mais s'il n'est pas mentionné ici.
Donc, si quelque chose ici sur cette liste n'est pas mentionné, c'est autorisé.
Ainsi, par exemple, Airbnb dot slash, c'est autorisé car ce n'était pas sur la liste.
Si je clique sur les expériences, c'est autorisé car ce Dash S.
Les expériences de barre oblique S n'étaient pas sur la liste.
Donc, un site Web a soit un fichier texte de robot parce qu'il ne veut peut-être pas que des choses spécifiques soient griffonnées ou s'il n'a
pas de fichier texte à points robuste ou le laisse simplement vide, cela signifie, hé, je m'en fiche, Google, vous pouvez classer
mon site Web, vous pouvez explorer mon site Web.
C'est bien aussi.
Et c'est pourquoi Airbnb avait des informations différentes ici.
Nous avions spécifiquement acheté pour Google pour être acheté pour tous ces moteurs de recherche, mais aussi pour tout
le monde, peut-être des programmeurs comme nous qui veulent gratter le site Web.
Voilà.
Nous avons secrètement appris comment fonctionnent Google et les autres moteurs de recherche.
Plutôt cool, non ?
Très bien.
Revenons au sujet traité.