Này đó.
Tôi muốn thêm một ghi chú nhanh về những gì chúng ta vừa thấy với Airbnb và cách các trang web tìm kiếm như Bing, Baidu
và Google thực sự hoạt động.
Bây giờ bạn có thể nhận thấy rằng tác nhân người dùng mà Google đã mua là thứ mà Google sử dụng để lập chỉ mục các trang web.
Điều đó nghĩa là gì?
Hãy nhớ rằng Google là một công cụ tìm kiếm.
Những gì nó làm là nó cố gắng tìm ra tất cả các trang web trên Web và lập chỉ mục chúng.
Đó là, tạo một cơ sở dữ liệu về cơ bản của tất cả các trang Web này để khi tôi Google công thức nấu súp, Google sẽ cung cấp
cho tôi một trang web có các công thức nấu súp.
Hiện nay.
Làm thế nào nó biết những trang web có công thức nấu súp?
Chà, nó sử dụng Googlebot này và đây là cách Google bắt đầu.
Những gì họ đã làm là họ có một trình thu thập thông tin, một chương trình thu thập dữ liệu các trang web và đọc các trang web, giống như chúng
ta sắp làm với việc tìm kiếm trang web để hiểu nội dung của trang web.
Nếu trang web đề cập đến từ công thức nấu súp hoặc có văn bản khác liên quan đến công thức nấu súp, thì Googlebot sẽ
nói rằng trang web này là về công thức nấu súp.
Vì vậy, khi Andre tìm kiếm các công thức nấu súp, tôi biết rằng những trang web này là những trang web mà chúng tôi muốn hiển thị chúng.
Và đây là những gì Google, Bing và Baidu đều làm.
Họ có bot của riêng mình và họ liên tục thu thập dữ liệu các trang web để xem đâu là trang web phù hợp nhất để
cung cấp cho người dùng.
Vì vậy, Airbnb ở đây đang nói, Này Googlebot, khi bạn thu thập dữ liệu trang web của tôi, đừng thu thập dữ liệu bất kỳ thứ nào trong số
này vì tôi không muốn bạn làm như vậy.
Nhưng bất cứ điều gì khác không có ở đây, bạn có thể thu thập thông tin.
Bây giờ, nếu bạn thực sự xem qua đây, đây không phải là tất cả mọi thứ trên Airbnb vì Airbnb muốn Google thu thập dữ
liệu trang web, phải không?
Nếu tôi tìm kiếm nhà nghỉ ở Costa Rica, Airbnb quan tâm đến việc Google đăng liên kết Airbnb lên
đầu tìm kiếm.
Vì vậy, những gì họ không cho phép ở đây chủ yếu là thứ người dùng cụ thể mà Google không nên có quyền
truy cập, chẳng hạn như đặt chỗ hoặc thanh toán.
Nhưng có rất nhiều điểm cuối khác thực sự được phép cho Googlebot tìm kiếm.
Ví dụ: Googlebot rất có thể được phép xem xét tất cả các ngôi nhà có sẵn ở Costa Rica và
thực sự xếp hạng chúng để khi tôi nhập cho thuê nhà ở Costa Rica, thì Googlebot sẽ
nói, Này, Airbnb có liên kết đến Costa Rica nhà, chúng tôi sẽ cung cấp cho người dùng này.
Vì vậy, bất cứ thứ gì không có trong danh sách này, chúng tôi được phép sử dụng.
Một điều khó khăn là chúng tôi thấy điều này cho phép ở đây.
Điều này cho phép có nghĩa là nó nói, này, lịch ở đây thực sự là một điểm cuối không được phép.
Tuy nhiên, chúng tôi cho phép bên trong lịch.
Đây là thư mục bạn chỉ có thể truy cập vào thư mục đó, nhưng nếu nó không được đề cập ở đây.
Vì vậy, nếu bất cứ điều gì ở đây trong danh sách này không được đề cập, điều đó được cho phép.
Vì vậy, ví dụ, Airbnb, dấu gạch chéo được cho phép vì điều đó không có trong danh sách.
Nếu tôi có thể nhấp vào trải nghiệm, điều này được cho phép vì trải nghiệm cắt giảm này không có trong danh
sách.
Vì vậy, một trang web hoặc có một robot. tệp txt vì có thể nó không muốn những thứ cụ thể được
cuộn hoặc nếu nó không có tệp văn bản mạnh mẽ hoặc chỉ để trống, điều đó có nghĩa là, tôi không quan tâm đến Google.
Bạn có thể xếp hạng trang web của tôi, bạn có thể thu thập thông tin trang web của tôi.
Điều đó cũng tốt.
Và đó là lý do tại sao Airbnb có những thông tin khác nhau ở đây.
Chúng tôi đã dành riêng cho Googlebot, cho bot Bing, cho tất cả các công cụ tìm kiếm này, nhưng cũng cho tất cả
những người khác, có thể là những lập trình viên như chúng tôi muốn đánh cắp trang web.
Của bạn đây.
Chúng tôi bí mật tìm hiểu cách hoạt động của Google và các công cụ tìm kiếm khác.
Khá tuyệt, phải không?
Được rồi.
Hãy quay trở lại chủ đề đang bàn.