Webスクレイピングの基本を学んだところです｡
結構､ ワクワクしますよね｡
たくさんのパワーをあなたの手で､ 指先で｡
しかし､ さらに上を目指すとしましょう｡
詳しくはこちら
ウェブスクレイパーのプロになるとか？
どうだろう｡
それがやりたいことなのかもしれません｡
オススメのポイントは？
さて､ 美しいスープにもっと親しんでください｡
しかし､ この項の冒頭で述べたことを心に留めておいてください｡
理想は拭き擦りもしないことです｡
理想はAPIを使うことです｡
もしかしたら､ データを取得したいWebサイトが実際にAPIを提供しているかもしれません｡
例えば､ AirbnbのAPIにアクセスすると｡
Airbnbが公式APIを発表していることがわかります｡
ですから､ Airbnbがどのようなデータにアクセスできるのか､ 実際に読むことができるかもしれません｡
そして､ それが最初の目的地となるはずです｡
たぶん､ それがなければ､ 美しいスープに目がいくはずです｡
次に注目したいのは､ 「Scrappy」というフレームワークです｡
美しいスープのようなものと考えてください｡
フレームワークは､ 本質的に､ ウェブサイトをスクレイピングするために使用できるキッチン全体､ ツールベルト全体なのです｡
また､ 大規模なウェブサイトや大量のデータをスクレイピングする際には､ scrappyのようなフレームワークとライブラリの違いを利用します｡
フレームワークというのは､ それ自体が新しい言語を教えてくれるようなものなのでしょうか｡
やりたいことをすべて実現するために必要なツールはすべて揃っています｡
一方､ データをかき集めるとなると､ 美しいスープは小さくなります｡
これはライブラリなので､ ここでやったような小さなことをするための気の利いたツールをいくつか提供してくれます｡
スクラッピー
フレームワークの井戸は､ それだけで全体が成り立っています｡
ドキュメントやチュートリアルに目を通すことができます｡
慣れるまで少し時間がかかりますが､ もしこれをやりたいのであれば､ フルタイムのスクレイピーを視野に入れるべきかもしれません｡
最後に､ これらのデータをどうするのか？
最終的には､ テキストファイルやCSVファイルに保存するなど､ 何かしたいことがあるかもしれません｡
しかし､ Scrappyなどを使ってデータをどんどん集めていくと､ データベースと呼ばれるものの利用を検討するようになるかもしれません｡
そして､ データベースによって､ 大量のデータをどこかに保存し､ いつでもアクセスできるようにすることができるのです｡
しかも､ このコースの目標を超えた､ トンデモないデータベースがあるんです｡
でも､ MongoDBやRedis､ my SQLといったものは聞いたことがあるかもしれませんね｡
ポストグレス
これらはすべて､ データを保存し､ 大量のデータを保存し､ それにアクセスするための方法です｡
そこで､ Scrappyのようなフレームワークを使ってデータを収集し､ チームの他の人がアクセスできるようにデータベースに保存する方法を学ぶとよいでしょう｡
可能性は無限大です｡ しかし､ ここから得られるものがあるとすれば､ どうか親切に､
倫理的に､ そして違法なことはしないでください､ ということです｡
そして､ きっとあなたもそうではないでしょうか｡
次回作でお会いしましょう｡
バイバイ｡