欢迎回来｡
这可能是一个听起来比实际情况复杂得多的练习｡
所以希望你们中的大多数人都能解决这个问题｡
当你看到这个视频的时候, 你会对自己说, 哦, 哇, 这太简单了｡
我早该想到的, 所以别担心, 我们会到的｡
让我们来看看我们怎么做｡
如果我们去看黑客新闻, 你可能会注意到一些东西｡
当你点击more, 当你点击more, 你实际上会得到一个新的URL, 你会看到查询字符串, 这里是一个问号,
写着P 2｡
如果P等于3, 我们翻到第三页, 第四页, 以此类推｡
所以我们实际上只需要这个链接, 我们需要做的就是一直到我们的代码｡
让我们现在最小化它, 简单地重复我们刚刚做的｡
我们呢？
抓取第二个响应, 此响应将被请求｡
这是第二页的链接
从这里, 我们简单地抓｡
这汤又重现了它作为汤地样子｡
这将来自于对文本的回复｡
再来一次｡
我们要做的就是复制这个代码｡
同样, 如果你注意到这可能更有效, 也许我们可以把它提取到一个函数中｡
那就好｡
你开始注意到这些事情了｡
所以这里我们要把潜台词链接到｡
我们的汤里也有｡
又好, 汤到｡
我们现在可以把这两个东西结合起来, 通过简单的调用, 我们称之为mega links,
它会把链接和第二个链接结合起来｡
所以我们把这两个页面结合起来, 我们也会对大量的潜文本做同样的事情｡
其中必有潜台词加潜台词地｡
因为我们已经在很好的函数中运行了代码, 现在我们需要做的就是替换参数, 对吗？
我们在下面要做的就是说｡
如果我保存这个的话, 会有大量的链接和大量的潜台词｡
这不应该起作用｡
我们来看看｡
哦, 如果我们走到这里, 经典的我犯了一个拼写错误｡
这不是潜台词｡
这是一个巨大的潜台词｡
我们再来一遍｡
你会看到, 这需要花更长的时间, 因为我们要读两页.
但你看｡
我们的Hacker News使用两个页面｡
你可以看到它明显更长｡
我们有一个故事在这里与951票｡
我应该我一定要读一读｡
如何评价服装的质量听起来很重要｡
这就是了｡
现在, 您已经了解了刮擦的基本知识｡
正如你所看到的, 它是非常具体的一个网站, 你想刮｡
记住, 你要检查, 以确保, A,
你能够刮网站通过检查该网站和机器人的条款和条件. txt, 并尝试使用数据, 嗯, 不邪恶的方式｡
对我好点
遵守道德｡
在下一个视频中, 我们将讨论如何扩展这一点, 以及如果您希望越来越多地参与web抓取,
您可能希望尝试什么｡
我会看到你在那个｡
再见, 再见, 再见