Merhaba.
Airbnb'de gördüklerimiz ve Bing, Baidu ve Google gibi arama sitelerinin gerçekte nasıl çalıştığı hakkında kısa
bir not eklemek istiyorum.
Şimdi, Google'ın satın aldığı kullanıcı aracısının, Google'ın web sitelerini dizine eklemek için kullandığı şey olduğunu fark etmiş olabilirsiniz.
Bu ne anlama geliyor?
Google'ın çalışma şeklini hatırlayın, bir arama motoru.
Yaptığı şey, Web'deki tüm web sitelerini bulmaya ve onları dizine eklemeye çalışmaktır.
Yani, tüm bu Web sayfalarından oluşan bir veritabanı oluşturun, böylece Google'da çorba tariflerini aradığımda, Google
bana çorba tarifleri içeren bir web sitesi versin.
Şimdi.
Hangi web sitelerinde çorba tarifleri olduğunu nereden biliyor?
Bu Googlebot'u kullanıyor ve Google bu şekilde başladı.
Yaptıkları şey, web sitelerini tarayan ve web sitelerini okuyan bir program olan bir tarayıcıya sahip olmalarıydı, web sitesinin ne hakkında
olduğunu anlamak için web kazıma ile yapmak üzere olduğumuz gibi.
Web sitesi çorba tarifleri kelimesinden bahsediyorsa veya çorba tarifleriyle ilgili farklı metinler içeriyorsa, Googlebot bu web sitesinin
çorba tarifleri hakkında olduğunu söyleyecektir.
Andre çorba tarifleri aradığında, bu web sitelerinin onlara göstermek istediklerimiz olduğunu biliyorum.
Google, Bing ve Baidu'nun yaptığı da budur.
Kendi botları var ve bir kullanıcıya verilecek en alakalı web sitesinin ne olduğunu görmek için sürekli olarak web sitelerini
tarıyorlar.
Yani Airbnb burada şunu söylüyor: Hey Googlebot, web sitemi taramaya geldiğinde bunların hiçbirini tarama
çünkü taramanı istemiyorum.
Ama burada olmayan her şeyi tarayabilirsiniz.
Şimdi, aslında buraya bakarsanız, Airbnb'deki her şey bu değil çünkü Airbnb Google'ın web sitesini taramasını
istiyor, değil mi?
Kosta Rika'da tatil evi aradığımda Airbnb, Google'ın aramanın en üstüne bir Airbnb bağlantısı koymasıyla
ilgileniyor.
Yani burada izin vermedikleri şey çoğunlukla Google'ın erişmemesi gereken, rezervasyonlar veya
ödemeler gibi kullanıcıya özel şeylerdir.
Ancak Googlebot'un arama yapmasına izin verilen pek çok başka uç nokta vardır.
Örneğin, Googlebot'un Kosta Rika'da bulunan tüm evlere bakmasına ve bunları sıralamasına büyük olasılıkla
izin verilir, böylece Kosta Rika ev kiralama yazdığımda, Googlebot şöyle diyecektir: Hey,
Airbnb'nin Kosta Rika evlerine bir bağlantısı var, bunu bu kullanıcıya vereceğiz.
Yani bu listede olmayan her şeyi kullanmamıza izin var.
Zor olan bir şey de bu izni burada görüyor olmamız.
Bu izin, "hey, takvim aslında izin verilmeyen bir uç noktadır" anlamına gelir.
Ancak takvim içinde izin veriyoruz.
Bu, yalnızca burada belirtilmemişse erişebileceğiniz bir klasördür.
Dolayısıyla, bu listede belirtilmeyen herhangi bir şey varsa, buna izin verilir.
Örneğin, Airbnb, nokta eğik çizgi buna izin verilir çünkü bu listede yoktu.
Belki deneyimlere tıklarsam, bu s slash s slash deneyimleri listede olmadığı için buna izin verilir.
Yani bir web sitesinde ya robotlar vardır. txt dosyası çünkü belki de belirli şeylerin kaydırılmasını
istemiyordur veya sağlam bir metin dosyası yoksa veya boş bırakıyorsa, hey, Google umurumda değil demektir.
Web sitemi sıralayabilirsin, web sitemi tarayabilirsin.
Bu da iyi.
İşte bu yüzden Airbnb burada farklı bilgilere sahipti.
Özellikle Googlebot için, Bing bot için, tüm bu arama motorları için ve aynı zamanda diğer herkes için,
belki de bizim gibi web sitesini kazımak isteyen programcılar için vardı.
Al bakalım.
Google ve diğer arama motorlarının nasıl çalıştığını gizlice öğreniyoruz.
Çok havalı, değil mi?
Tamam.
Konumuza geri dönelim.