ウェブスクレイピングについて説明します｡
Pythonでできることの1つ｡
ウェブスクレイピングとは何ですか？
Webスクレイピングとは､ Pythonやその他の言語を使って､ プログラムからWebサイトのデータを取得することを意味します｡
例えば､ AmazonやAirbnbのデータを取得することができるのです｡
レシピサイトなど､ どんなサイトでもスクレイピングできます｡
つまり､ ウェブスクレイピングとは､ ウェブページをダウンロードし､ そのウェブページからデータを取得し､
私たちにとって有用なようにクリーニングして､ そのデータを使用することを意味します｡
ほら､ これがWebサイトの仕組みです｡
クロームのようなブラウザがあり､ サーバーがあります｡
サーバーとは､ 簡単に言えば､ Webページを表示するために必要な3つのファイルを持つ､ 世界のどこかにあるコンピュータのことです｡
ウェブサイトのコンテンツであるHTMLファイルを用意しました｡
それは､ Webサイトのテキストや画像と考えればよいでしょう｡
CSSは､ Webサイトが持つ色や美しいスタイルを実現するものです｡
そして､ JavaScriptによって､ フォームの送信やドロップダウンメニューなど､ ウェブサイトでのさまざまな動作が可能になり､
ブラウザはクロームのようにすべての動作を行います｡
例えば､ アンドレがこのウェブサイトを訪れたとして､ 「FIFA」としましょう｡ comのブラウザは､ 私がFifaと入力するとわかるようになっています｡
というメッセージが表示されます｡ コム？
HTML､ CSS､ JavaScriptのファイル｡
サーバーは､ 「はい､ 問題ありません､ ここにあります｡
そして､ そのページがブラウザに表示されるのです｡
つまり､ この3つのファイルは､ その中のデータにアクセスできるわけですね｡
ウェブページに表示されるようになる｡
つまり､ これらのファイルは､ 実際にチェックアウトできるものになったのです｡
例えば､ Fifaに行けば｡ comのウェブサイトをご覧いただくと､ まあ､ きれいなページでいろいろな情報を提供していますね｡
それは素晴らしいことです｡
そして､ ここを右クリックして､ ページソースを表示すると､ これがFIFAのウェブサイトのHTMLページです｡
ご覧の通り､ かなり長いです｡
しかし､ このページで見ているようなデータはすべて入っています｡
これで､ CSSとJavaScriptのファイルがリンクされました｡
しかし､ テキストであるメインのデータは画像かもしれません｡
全員集合です｡
そこで､ 例えば､ 最新ニュースを紹介します｡
私たちはトップ10を目標にしています｡
女子ワールドカップから
さて､ 確かめてみましょう｡
目標トップ10とでも言いましょうか｡
女子ワールドカップから
ほら､ それがあるじゃないですか｡
ここにそのテキストがあります｡
そして､ Webスクレイピングとは､ 簡単に言えばこのデータをつかむことです｡
そして､ 気にならない部分をすべて取り除き､ 気になる部分だけ残す｡
そして､ ウェブスクレイピングが有効なのは､ この情報が公開されているからです｡
ウェブサイトが表示されるためには､ 公開されている必要があります｡
なぜウェブスクレイピングが有用なのか､ あなたはまだ疑問に思っているかもしれません｡
まあ､ いろいろなケースがあるんですけどね｡
例えば､ ウェブスクレイピングの大きな用途について述べているこの資料にリンクしておきます｡
なぜ､ ウェブサイトをスクレイピングしたいのか？
そして､ ここにあるように､ さまざまな理由があるのです｡
サテライトのリードを獲得したいのかもしれません｡
つまり､ あるウェブページにあるすべての電子メールを収集したいとします｡
お問い合わせフォームとか｡
もしかしたら､ ヨガのオフィスソフトをお持ちかもしれません｡
ヨガスタジオのウェブページをひとつひとつ見て､ 連絡先を探してみてください｡
そのデータをスクレイピングすることで､ 手作業で行う必要がなくなります｡
例えば､ ウェブサイト上のすべての求人や募集職種を見つけたい場合､ 手動でさまざまなページをクリックする代わりに､ そのデータをスクレイピングすることができます｡
また､ このセッションで構築するプロジェクトには､ たくさんのユースケースがあります｡
私たちは実際に､ 多くのプログラマーに大人気のウェブサイトであるHacker Newsをスクレイピングし､
これを私たちが読み､ 分析し､ 業界の最新情報を得るためにさらに役立つものに変えていこうとしているのです｡
でも､ それはもう少し先の話です｡
ここで一息ついて､ 次のビデオではWebスクレイピングについてもう少し詳しく学びましょう｡