欢迎回来｡
为了了解web抓取, 让我们实际构建一个有用的项目, 我们可以实际使用, 甚至可以添加到我们的投资组合中｡
我想建立一个更好的版本的黑客新闻｡
作为一名程序员,
我每天早上醒来时通常都会阅读Hacker News, 因为这是一个让我了解行业最新情况和一般编程新闻的好方法｡
这里有一些非常非常好得文章, 许多程序员通过Hacker News了解行业得最新动态.
这个页面有大量的信息｡
事实上, 每一次刷新, 都是一个新话题｡
新东西｡
例如, 如果我转到此处的新选项卡, 您看到了吗？
这些故事, 因为我刷新新的故事得到不断添加｡
所以这是一个节奏非常快的网站, 因为很多人张贴他们, 使用链接在这里获得牵引力, 因为有这么多的读者在这里｡
现在, 为了让我不被淹没, 我通常只喜欢阅读或查看超过100分的故事｡
也就是说, 他们已经被用户投票支持｡
所以让我们用网页抓取来构建这个工具, 当我早上醒来的时候,
而不是滚动页面, 找出所有超过100分的故事, 因为这些故事是最受欢迎的, 也许是最重要的｡
让我们把这些数据刮下来, 然后去掉所有得分低于100分的故事, 这样我就可以只关注重要的新闻文章了｡
听起来很刺激, 对吧？
这是Python的一个很好的用途, 它使我们的生活变得更容易｡
现在, 在我们完成这个项目之后, 有很多方法可以应用这些知识｡
例如, Hacker News的一个特点是每个月都有一个谁在招聘,
公司在那里发布程序员的工作机会｡
所以一个好的项目可能是收集公司发布的不同工作机会的数据, 然后试着找出趋势｡
什么类型的程序员是最受欢迎的？
嘿, Python程序员是最抢手的吗？
也许通过刮擦和寻找有多少次这个词被提到？
或者也许Java或JavaScript程序员是最常见的？
也许你可以创建一个网站, 跟踪不同帖子的趋势, 看看你应该学习什么技能来保持最新,
并确保这是最需要的技能｡
只是个想法｡
但现在我们先来关注这个｡
为了让我们刮这个网站, 我们想使用一个工具称为美丽的汤｡
而漂亮的汤是我们可以用在Python中的｡
这是一个库, 我们可以用Python来抓取网站｡
他们有一个非常古老的学校网站在这里, 但它是一个非常有用的工具, 大多数网页抓取项目使用｡
所以在下一个视频中, 我们将亲自动手｡
我们将学习美丽的汤, 并开始创建我们的网页抓取项目与黑客新闻｡
我们开始吧