让我们来谈谈网页抓取｡
我们可以用Python做的一件事｡
什么是网页抓取？
好吧, web抓取简单地意味着使用Python或任何语言从网站上抓取数据｡
举个例子, 我可以从亚马逊, 从Airbnb获取数据｡
从也许一个食谱网站, 任何网站都可以刮｡
因此, 当我们谈论web抓取时, 我们的意思是下载一个网页, 从该网页中抓取数据,
以某种方式清理它, 使其对我们有用, 然后使用这些数据｡
你看, 这就是网站的运作方式｡
我们有一个浏览器, 我们使用像一个铬, 我们有一个服务器｡
服务器只是世界上某个地方的一台计算机, 它有三个显示网页所需的文件｡
我们有一个HTML文件, 这是网站的内容｡
您可以将其视为网站的文本和图像｡
我们有CSS, 它给了我们网站所拥有的颜色和漂亮的样式｡
然后, 我们有JavaScript,
它允许我们在我们的网站上有不同的行为, 如提交表单或有下拉菜单, 所有浏览器都像Chrome一样｡
说, 嘿, 如果安德烈访问这个网站, 让我们说国际足联｡ 当我输入国际足联时, 浏览器会知道｡
服务员, 你能给予我一个国际足联的号码吗？ 是否已过期？
HTML､ CSS和JavaScript文件｡
服务员说没问题, 给你.
然后页面就会显示在浏览器上｡
所以这三个文件, 嗯, 其中的数据是我们可以访问的, 对吗？
它会显示在网页上｡
所以这些文件现在是我们可以检查的东西｡
比如说, 如果我们去国际足联｡ com网站, 你看这里, 我们有一个漂亮的页面,
里面有很多信息｡
那太好了｡
如果我右击这里并查看页面源代码, 这是FIFA网站的HTML页面｡
如你所见, 它相当长｡
但它有我们在这页上看到的所有数据｡
现在, CSS和JavaScript文件已链接到该文件｡
但是作为文本的主要数据可以是图像｡
都到齐了｡
比如说, 我们有最新消息
我们有十大目标｡
从女足世界杯｡
好吧, 让我们来看看｡
比如说十大目标｡
从女足世界杯｡
你看, 这就是我们有的｡
我们这里有文字｡
Web抓取就是抓取这些数据｡
然后去掉所有我们不关心的部分, 只保留我们关心的部分｡
而网络抓取之所以有效, 是因为这些信息是公开的｡
为了让一个网站得到显示, 它必须是公开的｡
也许你还在想为什么网页抓取可能是有用的｡
嗯, 有很多很多的例子｡
例如, 我将链接到这个资源, 它讨论了web抓取的一些重要用途｡
为什么我们要刮一个网站？
你可以看到, 有很多原因｡
也许你想找卫星线索｡
也就是说, 您希望收集网页上的所有电子邮件｡
也许是联络表｡
也许你有一个瑜伽办公软件产品｡
也许去每一个瑜伽工作室的网页, 找到联系方式｡
擦除数据, 这样就不必手动执行此操作｡
也许你想在一个网站上找到所有的工作和空缺职位, 而不是手动点击不同的页面, 你可以刮取这些数据｡
在我们的项目中, 我们将为本次会议构建许多使用案例｡
我们实际上是要刮黑客新闻, 一个非常受欢迎的网站,
许多程序员, 我们要把它变成一些更有用的东西, 我们阅读, 分析和保持最新的我们的行业｡
但我们稍后会讲到这个｡
让我们在这里休息一下, 在下一个视频中了解更多有关Web抓取的信息｡