わかりました｡
そろそろHacker Newsプロジェクトを始めませんか？
さて､ 最初にやることは､ 環境を整えることです｡
今回はsublime textを使用しますが､ テキストエディタはお好みのものをお使いください｡
また､ ターミナルやコマンドプロンプトをここに置いて､ スクレイプ・ドット・パイのファイルを作成しました｡
さて､ Pythonを使ってスクレイピングするために最初にしなければならないことは､ Beautiful Soupをダウンロードすることです｡
これによって､ ウェブサイトをスクレイピングすることができるのです｡
だから､ ピップ3と言うだけで､ 美しいスープ4をインストールしたいのです｡
これが最新版です｡
Enterをクリックします｡
そして､ そこにあるのは
すごい｡
美しいスープを設置しました｡
もうひとつは､ リクエストライブラリです｡
さて､ この講座ではリクエストライブラリをたくさん使いますが､ まだお持ちでない方はぜひご利用ください｡
今回も､ リクエストを使って使うだけです｡
本来はHacker NewsのようなHTMLファイルを取り込むことができる｡
だから
これからやることは､ pip three install requestsと言うことです｡
なぜ両方ダウンロードしなければならないかを説明します｡ まず最初に行うのは､
実際にリクエストをインポートすることです｡
あるいはリクエスト｡
そしてもうひとつは､ スープの美しさです｡
さて､ 私たちの美しいスープの使い方は､ このようなものから言います｡
輸入したいのです｡
美しい｡
スープ
以前､ 美肌スープをインストールしたので､ ちょっと変な感じですが､ 一度インストールしたものをこうやって取り込むんです｡
だからbs4輸入から｡
美しいスープ
今すぐ
なぜ､ この2つが必要なのでしょうか？
さて､ 美しいスープは､ 実はHTMLを使って､ さまざまなデータを取り込むことができるのです｡
そのため､ 集めたデータを使って､ 好きなようにスクレイピングすることができるのです｡
しかし､ そのHTMLを最初にダウンロードできるのは､ 実はrequestsモジュールなのです｡
では､ どういうことか､ お見せしましょう｡
まず最初に､ 新しいレスポンス変数を作成します｡
そしてこのレスポンスは､ リクエストとデータを取得したいURLになります｡
つまり､ これは実際のウィンドウを使わずに使っているウェブブラウザと考えることができます｡
なぜなら､ Google Chromeはその下で､ こんなことをやっているからです｡
そのウェブサイトの情報をサーバーから取り込もうとしているのです｡
では､ ここに戻って､ もう一度Hacker Newsにアクセスしてみましょう｡
このリンクをコピーして､ ここに貼り付けます｡
これでよしとする｡
そんな感じで､ ちょっと大きめに作ってみましょう｡
そして､ ここで実際に必要なのは､ ドットゲットと言うことです｡
だから､ ここで情報を得たいのです｡
このページを取得するためにgetリクエストを行っています｡ 例えば､ print responseと言った場合､ これを保存して､
Python three scraped up byと実行します｡
よし､ 反応があったぞ｡
200の回答ですが｡
うーん｡
さて､ どういうことでしょう？
ここで本質的にやっていることは､ viewを開くことです｡
デベロッパーとドゥ・デベロッパー・ツール｡
私はここでネットワークをクリックします｡
これをもう少し大きくしてみよう｡
これでよしとしよう｡
そして､ このページを更新しています｡
いろいろな情報が入ってきますが､ 一番気になるのは､ ここが最初のドキュメントニュースなんです｡
ここをクリックすると､ こうなっているのがわかると思います｡
すべてのデータを含むHTMLを得ることができます｡
しかし､ ここで手応えが200であることも確認できました｡
つまり､ 何も問題ないということです｡
サーバーは200で応答し､ それは私たちにドキュメントを与えた｡
これが､ 今､ 手に入れたものです｡
そこで､ ここでは実際に取得したレスポンスドットテキストを言うことができます｡
では､ もう一度実行して見てみましょう｡
を表示するHTMLファイル全体を用意しました｡
スタイリングにこだわらないからこそ､ ここにテキストがあるんですよね？
私たちは､ スタイリングにはあまりこだわりません｡
もしかしたら､ 私たちは映像にこだわらないのかもしれません｡
私たちが気にするのは､ 文字だけです｡
そして､ 私たちの目的には､ ストーリーが持つ投票数だけでなく､ 実際のリンクも重要なのです｡
そこで､ このデータを取得し､ 今度は美しいスープを使ってこのデータをクリーンアップすることができます｡
今すぐ
これだけの情報量です｡
これは本当に必要ないのでは？
少なくとも､ 100点未満の話など､ 不要な情報はすべて削除したい｡
例えば､ こちらの176点は絶対に気になるところです｡
では､ 一息ついて､ 次は美しいスープの使い方を考えてみましょう｡