好吧, 我会的
现在是开始Hacker News项目的时候了｡
现在, 我们要做的第一件事是设置环境｡
在这个项目中, 我将使用崇高的文本, 但同样, 使用任何文本编辑器｡
我也有我的终端或命令提示符在这里, 我已经创建了一个刮点饼文件｡
现在, 我们要做的第一件事, 为了刮使用python是好的, 我们需要下载美丽的汤｡
这是什么让我们刮网站｡
我现在要做的就是说Pip3然后我想安装漂亮的汤4.
这是最新版本｡
我将单击Enter｡
就这样｡
太棒了｡
我们有一个美丽的汤安装｡
我们需要的另一个东西是请求库｡
现在, 如果您的计算机上还没有请求库, 我们将在本课程中大量使用它｡
同样, 我们只是通过请求来使用它｡
它基本上允许我们获取HTML文件, 如Hacker News｡
是这样｡
我们要做的是pip三个安装请求｡
一旦我们有了这些, 我们要做的是, 我将向您展示为什么我们必须同时下载这两个文件,
我们要做的第一件事是实际导入请求｡
或请求｡
另一件事是美味的汤｡
现在, 我们使用美丽的汤的方式是我们说从这些为｡
我们要进口｡
真漂亮｡
汤｡
我知道这有点奇怪, 因为我们之前安装了漂亮的汤, 但这是我们如何导入它, 一旦我们安装了它｡
所以从bs4导入｡
汤很好喝｡
现在就去
为什么我们需要这两样东西？
好吧, 漂亮的汤实际上允许我们使用HTML并获取不同的数据｡
所以它允许我们使用我们收集的数据做任何我们想做的事情来刮取它｡
但是requests模块实际上允许我们最初下载HTML｡
让我来告诉你我的意思｡
我们要做的第一件事是创建一个新的响应变量｡
这个响应将是我们要从中获取数据的请求和URL｡
所以你可以把它想象成一个没有实际窗口的网页浏览器｡
因为这是谷歌Chrome在引擎盖下做的事情｡
它试图从服务器上获取该网站的信息｡
让我们回到Hacker News.
我们将复制此链接并将其粘贴到此处｡
你去那里｡
让我们把这个弄大一点｡
我们需要做的就是说.
所以我们想在这里得到信息｡
所以我们用get请求来抓取这个页面, 比如说, 打印响应, 我保存这个, 然后运行Python 3, scratched
up by.
好吧, 我得到了回应｡
一个200的反应, 但是｡
嗯嗯嗯
那是什么意思？
我们现在要做是打开视野
开发者和做开发者工具｡
我在这里点击网络｡
让我们把这个放大一点｡
我们走吧｡
然后我刷新这个页面｡
我得到了很多信息, 但我们最关心的是这是这里的第一个文件新闻｡
如果我点击这里, 你会看到这是我们得到的｡
我们得到一个包含所有数据的HTML｡
但我们也看到这里的回答是200｡
这意味着一切都很好｡
服务器以200响应, 并给了我们一个文档｡
这是我们刚拿到的｡
所以在这里我们可以说我们得到的响应点文本｡
让我再运行一次看看这个｡
我们有一个完整的HTML文件显示｡
因为我们不在乎造型, 对吧？
我们并不在乎造型｡
也许我们根本不在乎图像｡
我们只关心文本｡
就我们的目的而言, 我们关心的是实际的链接以及故事的投票｡
所以我们抓取了这些数据, 现在我们能做的就是用漂亮的汤来清理这些数据｡
现在就去
这是一个很大的信息｡
我们真的不需要这个, 对吧？
或者, 至少我们希望删除所有不需要的信息, 比如得分低于100分的故事｡
例如, 这一个有176分, 我们肯定会关心｡
我们先休息一下, 看看接下来如何使用美味的汤｡