Hai, saya ingin menambahkan catatan singkat tentang apa yang baru saja kita lihat dengan Airbnb dan cara kerja
situs web pencarian seperti Baidu dan Google.
Sekarang, Anda mungkin telah memperhatikan bahwa agen pengguna, bot Google, adalah apa yang digunakan Google untuk mengindeks situs web.
Apa artinya?
Nah, Google, cara kerjanya, ingat, adalah mesin pencari.
Apa yang dilakukannya adalah mencoba mencari tahu semua situs web di Web dan mengindeksnya.
Artinya, pada dasarnya membuat database dari semua halaman Web ini sehingga ketika saya Google resep sup, Google memberi
saya situs web yang memiliki resep sup.
Sekarang, bagaimana cara mengetahui situs web apa yang memiliki resep sup?
Yah, ini menggunakan papan Google ini dan inilah cara Google memulai.
Apa yang mereka lakukan adalah mereka memiliki perayap yang merupakan program yang melumpuhkan situs web dan membaca situs web, seperti yang akan kita
lakukan dengan pengikisan web untuk memahami tentang apa situs web itu.
Jika situs web menyebutkan kata resep sup atau memiliki teks berbeda terkait resep sup.
Yah, Googlebot akan mengatakan situs web ini tentang resep sup.
Jadi ketika Andre mencari resep sup, saya tahu bahwa situs web inilah yang ingin kami tunjukkan kepada mereka.
Dan inilah yang dilakukan oleh Google dan Bing dan Baidu, mereka memiliki bot sendiri dan mereka terus merayapi
situs web untuk melihat situs web apa yang paling relevan untuk diberikan kepada pengguna.
Jadi Airbnb di sini berkata, hai, Google, tetapi ketika Anda datang merayapi situs web saya, jangan merayapi hal-hal ini karena
saya tidak ingin Anda melakukannya.
Tapi apa pun yang tidak ada di sini, Anda bisa merangkak.
Sekarang, jika Anda benar-benar melihat ke sini, ini bukan segalanya di Airbnb karena Airbnb ingin Google merayapi
situs Web.
Benar.
Jika saya mencari rumah liburan di Kosta Rika, Airbnb tertarik agar Google memposting tautan Airbnb ke bagian
atas pencarian.
Jadi apa yang mereka larang di sini sebagian besar adalah hal khusus pengguna yang seharusnya tidak dapat diakses
oleh Google, seperti mungkin reservasi atau pembayaran.
Tapi ada banyak titik akhir lain yang sebenarnya diperbolehkan untuk Googlebot untuk mencari, misalnya, Google membeli kemungkinan
besar diizinkan untuk melihat semua rumah yang tersedia di Kosta Rika dan benar-benar memberi peringkat
sehingga ketika saya mengetik sewa rumah Kosta Rika, baik, Googlebot akan mengatakan, hai,
Airbnb memiliki tautan ke rumah Kosta Rika.
Kami akan memberikan itu kepada pengguna ini.
Jadi apa pun yang tidak ada dalam daftar ini, kami diizinkan untuk menggunakan satu hal yang rumit adalah kami melihat
ini mengizinkan di sini apa artinya izin ini.
Dikatakan kalender kebencian di sini sebenarnya adalah titik akhir yang tidak diizinkan.
Namun, kami mengizinkan di dalam kalender ini saya sebut folder.
Anda dapat mengakses yang itu saja, tetapi jika tidak disebutkan di sini.
Jadi, jika ada sesuatu di dalam daftar ini yang tidak disebutkan, itu diperbolehkan.
Jadi, misalnya, garis miring Airbnb, itu diperbolehkan karena tidak ada dalam daftar.
Jika saya mungkin mengklik pengalaman, ini diperbolehkan karena Dash S ini.
Pengalaman slash tidak ada dalam daftar.
Jadi sebuah situs web memiliki file teks robot karena mungkin tidak ingin hal-hal tertentu dicoret atau jika tidak memiliki file teks
titik yang kuat atau membiarkannya kosong, artinya, hei, saya tidak peduli, Google, Anda dapat memberi peringkat situs web
saya, Anda dapat merayapi situs web saya.
Itu bagus juga.
Dan itulah mengapa Airbnb memiliki informasi yang berbeda di sini.
Kami telah membeli khusus untuk Google karena dibeli untuk semua mesin pencari ini, tetapi juga untuk
semua orang, mungkin programmer seperti kami yang ingin mengikis situs web.
Ini dia.
Kami diam-diam mempelajari cara kerja Google dan mesin telusur lainnya.
Cukup keren, bukan?
Baiklah.
Mari kita kembali ke topik yang sedang dibahas.