你好啊
我想补充一点, 关于我们刚刚看到的Airbnb, 以及像必应､ 百度和谷歌这样的搜索网站实际上是如何工作的｡
现在你可能已经注意到谷歌购买的用户代理是谷歌用来索引网站的｡
那是什么意思？
好吧, 谷歌的工作方式, 记住, 是一个搜索引擎｡
它所做的是试图找出网络上所有的网站并索引它们｡
也就是说, 创建一个基本上所有这些网页的数据库, 这样当我谷歌汤食谱时,
谷歌会给我一个有汤食谱的网站｡
现在就去
它怎么知道哪些网站有汤的食谱？
它用的是Googlebot, 这就是Google的起源｡
他们所做的是他们有一个爬虫程序, 这是一个爬取网站和阅读网站的程序, 有点像我们即将做的网页抓取,
以了解网站是关于什么的｡
如果网站提到了汤食谱这个词, 或者有不同的文字与汤食谱有关, 那么,
Googlebot会说这个网站是关于汤食谱的｡
所以当安德烈搜索汤食谱时, 我知道这些网站就是我们想给他们看的｡
这是谷歌､ 必应和百度都在做的事情｡
他们有自己的机器人, 他们不断地爬上网站, 看看什么是最相关的网站给予用户｡
所以Airbnb在这里说, 嘿, 谷歌机器人, 当你来爬我的网站, 不要爬任何这些东西,
因为我不希望你这样做｡
但其他不在这里的东西, 你可以爬｡
现在, 如果你仔细看这里, 这并不是Airbnb上的全部内容, 因为Airbnb希望谷歌抓取网站, 对吗？
如果我搜索哥斯达黎加的度假屋, Airbnb有兴趣让谷歌在搜索结果的顶部发布一个Airbnb链接｡
所以他们在这里不允许的主要是谷歌不应该访问的用户特定的东西, 比如预订或支付｡
但是还有很多其他的端点是允许Googlebot搜索的｡
例如, 谷歌机器人最有可能被允许查看哥斯达黎加所有的房子, 并对它们进行排名,
这样当我输入哥斯达黎加的房屋租赁时, 谷歌机器人就会说,
嘿, Airbnb有一个哥斯达黎加房屋的链接, 我们给予它给这个用户｡
所以任何不在这个列表中的东西, 我们都可以使用｡
一个棘手的问题是我们在这里看到了这个允许｡
这个允许的意思是, 嘿, 这里的日历实际上是一个不允许的端点｡
然而我们允许里面的日历｡
这是一个文件夹, 您只能访问该文件夹, 但如果这里没有提到它｡
因此, 如果清单中的任何内容没有被提及, 那是允许的｡
比如说Airbnb, 允许使用点斜杠, 因为它不在列表中｡
如果我可以点击体验, 这是允许的, 因为这个s/s/体验不在列表中｡
所以一个网站要么有一个机器人｡ txt文件, 因为它可能不想滚动特定的内容,
或者如果它没有一个健壮的文本文件, 或者只是让它空着, 这意味着, 嘿, 我不在乎谷歌｡
你可以给我的网站排名, 你可以爬我的网站｡
那也不错｡
这就是为什么Airbnb有不同的信息｡
我们专门为Googlebot､ Bing bot､ 所有这些搜索引擎设计了这些,
但也为其他所有人设计了这些, 也许是像我们这样想要抓取网站的程序员｡
你去那里｡
我们偷偷地学习谷歌和其他搜索引擎是如何工作的｡
很酷吧？
好吧, 我会的
让我们回到手头的话题｡