やあ､ こんにちは｡
先ほどAirbnbで見たことと､ Bing､ Baidu､ Googleといった検索サイトが実際にどのように機能するかについて､ 簡単に補足しておきたいと思います｡
さて､ Googleが購入したユーザーエージェントは､ まあ､ GoogleがWebサイトのインデックスを作成するために使用するものであることにお気づきかもしれません｡
どういう意味ですか？
さて､ Googleの仕組みですが､ 検索エンジンであることを思い出してください｡
これは､ ウェブ上のすべてのウェブサイトを把握し､ インデックスを作成しようとするものです｡
つまり､ これらのウェブページをすべてデータベース化して､ スープのレシピをグーグルで検索すると､ スープのレシピを掲載しているウェブサイトが表示されるようにするのです｡
今すぐ
スープのレシピが載っているサイトをどうやって知ることができるのですか？
まあ､ このGooglebotを使っているわけですが､ これがGoogleの始まりです｡
彼らは何をしたかというと､ クローラーという､ ウェブサイトを這わせて読み取るプログラム､ つまり私たちがこれから行うウェブスクレイピングのようなもので､
ウェブサイトの内容を理解するためのものでした｡
ウェブサイトはスープのレシピという単語を言及したり､ スープのレシピに関連する別のテキストを持っていた場合､ よく､ Googlebotはこのウェブサイトはスープのレシピについてであると言うつもりです｡
だからアンドレがスープのレシピを検索するとき､ これらのサイトが見せたいサイトであることがわかるのです｡
そして､ これはGoogleもBingもBaiduもみんなやっていることなのです｡
彼らは独自のボットを持っていて､ 常にウェブサイトをクロールして､ ユーザーに与えるべき最も関連性の高いウェブサイトは何かを調べているのです｡
つまり､ Airbnbは､ 「Googlebotよ､ 私のウェブサイトをクロールするときは､ これらのものをクロールしないでくれ､ クロールして欲しくないから」と言っているのです｡
でも､ ここにないものは､ 這わせればいいんです｡
さて､ 実際にここに目を通すと､ AirbnbはGoogleにウェブサイトをクロールさせたいので､ これがすべてではありませんね｡
コスタリカの別荘を検索すると､ AirbnbはGoogleが検索のトップにAirbnbのリンクを掲載することに興味を示しています｡
つまり､ Googleがアクセスできないのは､ 予約や支払いなど､ ユーザー固有のものがほとんどなのです｡
しかし､ 実際にはGooglebotの検索が許可されているエンドポイントは他にもたくさんあります｡
例えば､ Googlebotは､ コスタリカで利用可能なすべての家を見て､
実際にランク付けすることができます｡
だから､ このリストにないものは､ まあ､ 使ってもいいんです｡
一つ厄介なのは､ ここで許可されたことがわかることです｡
この許可は､ カレンダーは実際には許可されないエンドポイントであると言うことを意味します｡
ただし､ カレンダー内は許可しています｡
これは､ その1つだけにアクセスできるフォルダですが､ ここに記載がない場合｡
だから､ このリストのここに書かれていないものがあれば､ それは許されるのです｡
例えば､ Airbnbはリストになかったので､ ドットスラッシュが許可されています｡
体験談をクリックすると､ このスラッシュスラッシュの体験談はリストになかったので､ 許可されます｡
つまり､ ウェブサイトにはロボットが存在するのです｡ txtファイルは､ 特定のものをスクロールさせたくないのかもしれないし､
堅牢なテキストファイルを持たないか､ ただ空にしておけば､ おいおい､ Googleなんてどうでもいいということなのでしょう｡
私のウェブサイトをランク付けし､ 私のウェブサイトをクロールすることができます｡
それもいい｡
そして､ Airbnbはここが違う情報だったということです｡
GooglebotやBing botなど､ 検索エンジンのためだけでなく､ 私たちのようなプログラマーがウェブサイトをスクレイピングするためのものもあります｡
これでよしとする｡
Googleをはじめとする検索エンジンの仕組みを密かに学んでいます｡
カッコイイでしょ？
わかりました｡
話を元に戻そう｡