您刚刚学习了网页抓取的基础知识｡
很令人兴奋, 不是吗？
大量的权力在你的手中, 在你的指尖｡
但假设你想更进一步｡
了解更多信息｡
也许成为一个专业的网页刮刀？
我不知道我不知道
也许这就是你想做的
我会推荐哪些东西？
好吧, 好好熟悉一下漂亮的汤｡
但请记住我在本节开头所说的话｡
理想情况下, 你甚至不必擦刮｡
理想情况下, 您可以使用API｡
也许你想从中获取数据的网站实际上给了你一个API｡
例如, 如果我去Airbnb API｡
大家可以看到Airbnb已经公布了官方API｡
所以我们也许可以读到Airbnb给我们提供的数据｡
那应该是你的第一站｡
也许如果你没有这些, 你会看到漂亮的汤｡
接下来你可能想看看这个叫做Scrappy的框架｡
把它想象成一种漂亮的汤, 但有更多的特点｡
一个框架本质上是一个完整的厨房, 一个完整的工具带, 你可以用来刮网站｡
当你想抓取大量的网站, 大量的数据, 一个框架和一个库时, 你会使用像scrappy这样的东西｡
一个框架本身几乎就在教一门新语言｡
它给你所有必要的工具来做你想做的一切｡
说到刮数据, 靓汤则要小一些｡
它是一个库, 所以它提供了一些漂亮的工具来做一些小事情, 就像我们在这里做的一样｡
很烂｡
框架本身就是一个整体｡
您可以浏览他们的文档和教程｡
这需要一点时间来适应, 但如果你想这样做也许全职瘙痒症是你应该看看的东西｡
最后, 您如何处理所有这些数据？
最后你可能会想做些什么, 把它存储在一个文本文件中, 或者CSV文件中,
这是我们在课程中讨论过的.
但是当你收集越来越多的数据, 也许使用像Scrappy这样的东西, 你可能会想开始使用我们所说的数据库｡
数据库允许我们存储大量的数据, 并将其保存在某个地方, 以便我们可以随时访问它｡
还有大量的数据库, 这超出了本课程的目标｡
但是你可能听说过MongoDB､ Redis和我的SQL｡
后分级｡
这些都是存储数据的方法, 存储大量的数据和访问它.
所以你可能想学习如何使用像Scrappy这样的框架, 收集数据并将其存储在数据库中的某个地方,
以便团队中的其他人可以访问它｡
可能性是无限的, 但如果有一件事, 你要从这件事带走是请友好,
是道德的, 不要做任何违法的事情, 因为, 嗯, 我不想惹上麻烦｡
我相信你也不知道｡
下次见｡
再见, 再见, 再见