สวัสดี.
ฉันต้องการเพิ่มหมายเหตุสั้นๆ เกี่ยวกับสิ่งที่เราเพิ่งเห็นใน Airbnb และวิธีที่เว็บไซต์ค้นหาอย่าง Bing, Baidu
และ Google ใช้งานได้จริง
ตอนนี้ คุณอาจสังเกตเห็นว่าตัวแทนผู้ใช้ที่ Google ซื้อคือสิ่งที่ Google ใช้เพื่อจัดทำดัชนีเว็บไซต์
นั่นหมายความว่าอย่างไร?
Google วิธีการทำงาน อย่าลืมว่ามันเป็นเสิร์ชเอ็นจิ้น
สิ่งที่ทำคือพยายามค้นหาเว็บไซต์ทั้งหมดบนเว็บและจัดทำดัชนี
นั่นคือ สร้างฐานข้อมูลของหน้าเว็บเหล่านี้โดยพื้นฐานแล้ว เพื่อที่ว่าเมื่อฉัน Google สูตรซุป
Google ให้เว็บไซต์ที่มีสูตรซุปแก่ฉัน
ตอนนี้.
รู้ได้อย่างไรว่าเว็บไหนมีสูตรซุป?
มันใช้ Googlebot นี้และนี่คือวิธีที่ Google เริ่มต้น
สิ่งที่พวกเขาทำคือ พวกเขามีโปรแกรมรวบรวมข้อมูลที่เป็นโปรแกรมที่รวบรวมข้อมูลเว็บไซต์และอ่านเว็บไซต์ แบบเดียวกับที่เรากำลังจะทำกับการขูดเว็บเพื่อทำความเข้าใจว่าเว็บไซต์นั้นเกี่ยวกับอะไร
หากเว็บไซต์กล่าวถึงคำว่า สูตรซุป หรือมีข้อความที่เกี่ยวข้องกับสูตรซุปแตกต่างกัน Googlebot
จะบอกว่าเว็บไซต์นี้เกี่ยวกับสูตรซุป
ดังนั้นเมื่ออังเดรค้นหาสูตรซุป ฉันรู้ว่าเว็บไซต์เหล่านี้เป็นเว็บไซต์ที่เราต้องการแสดง
และนี่คือสิ่งที่ Google และ Bing และ Baidu ทำทั้งหมด
พวกเขามีบอทของตัวเองและพวกเขากำลังรวบรวมข้อมูลเว็บไซต์อย่างต่อเนื่องเพื่อดูว่าเว็บไซต์ใดมีความเกี่ยวข้องมากที่สุดที่จะมอบให้กับผู้ใช้
ดังนั้น Airbnb จึงพูดว่า "เฮ้ Googlebot เมื่อคุณมารวบรวมข้อมูลเว็บไซต์ของฉัน อย่ารวบรวมข้อมูลสิ่งเหล่านี้เพราะฉันไม่ต้องการให้คุณทำ
แต่อย่างอื่นที่ไม่ใช่ที่นี่ คุณสามารถคลานได้
ถ้าดูตรงนี้จริงๆ นี่ไม่ใช่ทุกอย่างใน Airbnb เพราะ Airbnb ต้องการให้ Google รวบรวมข้อมูลเว็บไซต์ใช่ไหม
ถ้าฉันค้นหาบ้านพักตากอากาศในคอสตาริกา Airbnb สนใจให้ Google โพสต์ลิงก์ Airbnb ที่ด้านบนสุดของการค้นหา
ดังนั้นสิ่งที่พวกเขาไม่อนุญาตในที่นี้คือส่วนใหญ่เป็นเฉพาะผู้ใช้ที่ Google ไม่ควรเข้าถึง
เช่น การจองหรือการชำระเงิน
แต่มีปลายทางอื่นๆ อีกมากมายที่ Googlebot สามารถค้นหาได้จริงๆ
ตัวอย่างเช่น Googlebot มักจะได้รับอนุญาตให้ดูบ้านทุกหลังที่มีอยู่ในคอสตาริกาและจัดอันดับจริง
ๆ ดังนั้นเมื่อฉันพิมพ์ในคอสตาริกาเช่าบ้าน Googlebot จะบอกว่าเฮ้ Airbnb มีลิงค์ไปยังคอสตาริกา
เราจะมอบสิ่งนั้นให้กับผู้ใช้รายนี้
อะไรก็ตามที่ไม่อยู่ในรายการนี้ เราก็สามารถใช้ได้
สิ่งหนึ่งที่ยุ่งยากคือเราเห็นสิ่งนี้อนุญาตที่นี่
สิ่งที่อนุญาตนี้หมายความว่า เฮ้ ปฏิทินที่นี่เป็นจุดปลายทางที่ไม่อนุญาตจริงๆ
อย่างไรก็ตาม เราอนุญาตภายในปฏิทิน
นี่คือโฟลเดอร์ที่คุณสามารถเข้าถึงได้เท่านั้น แต่ถ้าไม่ได้กล่าวถึงที่นี่
ดังนั้นหากไม่ได้กล่าวถึงสิ่งใดในรายการนี้ ถือว่าอนุญาต
ตัวอย่างเช่น Airbnb ดอทสแลชที่อนุญาตเพราะไม่อยู่ในรายการ
หากฉันคลิกประสบการณ์ อนุญาตเพราะประสบการณ์การทับของเครื่องหมายทับนี้ไม่อยู่ในรายการ
ดังนั้นเว็บไซต์จึงมีหุ่นยนต์ txt เพราะบางทีมันอาจไม่ต้องการเลื่อนบางอย่างออกไป
หรือถ้าไม่มีไฟล์ข้อความที่มีประสิทธิภาพหรือปล่อยว่างไว้ หมายความว่า เฮ้ ฉันไม่สนใจ Google
คุณสามารถจัดอันดับเว็บไซต์ของฉัน คุณสามารถรวบรวมข้อมูลเว็บไซต์ของฉันได้
ก็ดีเหมือนกัน
และนั่นเป็นสาเหตุที่ Airbnb มีข้อมูลที่แตกต่างกันที่นี่
เรามีเฉพาะสำหรับ Googlebot สำหรับ Bing bot สำหรับเครื่องมือค้นหาเหล่านี้ทั้งหมด แต่สำหรับคนอื่น
ๆ อาจเป็นโปรแกรมเมอร์เช่นเราที่ต้องการขูดเว็บไซต์
ไปเลย
เราแอบเรียนรู้วิธีการทำงานของ Google และเครื่องมือค้นหาอื่นๆ
สวยเย็นใช่มั้ย?
ไม่เป็นไร.
ลองกลับไปที่หัวข้อในมือ