Web kazımanın temellerini yeni öğrendiniz.
Oldukça heyecan verici, değil mi?
Elinizde, parmaklarınızın ucunda çok fazla güç var.
Ama diyelim ki daha ileri gitmek istiyorsunuz.
Daha fazlasını öğrenin.
Belki profesyonel bir web kazıyıcı olursunuz?
Bilmiyorum.
Belki de yapmak istediğin budur.
Tavsiye edebileceğim bazı şeyler nelerdir?
Güzel çorbayı daha yakından tanıyın.
Ancak bu bölümün başında söylediklerimi aklınızda tutun.
İdeal olarak silmeniz bile gerekmez.
İdeal olarak bir API kullanabilirsiniz.
Belki de veri almak istediğiniz web sitesi size bir API veriyordur.
Örneğin, Airbnb API'sine gidersem.
Airbnb'nin resmi bir API duyurduğunu görebilirsiniz.
Böylece Airbnb'nin bize hangi verilere erişim sağladığını okuyabiliriz.
Ve bu ilk durağınız olmalı.
Belki buna sahip değilseniz, o zaman güzel çorbaya bakarsınız.
Bakmak isteyebileceğiniz bir sonraki şey Scrappy adı verilen bu çerçevedir.
Bunu güzel bir çorba gibi düşünün, ancak çok daha fazla özelliği var.
Bir çerçeve aslında web sitelerini kazımak için kullanabileceğiniz bütün bir mutfak, bütün bir alet kemeridir.
Ve büyük web sitelerini, büyük miktarda veriyi kazımak istediğinizde scrappy gibi şeyler kullanırsınız, bir kütüphaneye
karşı bir çerçeve.
Bu çerçeve neredeyse kendi içinde yeni bir dil öğretiyor.
İstediğiniz her şeyi yapmanız için gerekli tüm araçları size sunar.
Veri kazıma söz konusu olduğunda ise güzel çorba daha küçüktür.
Bu bir kütüphanedir, bu yüzden burada yaptığımız gibi küçük şeyler yapmak için size birkaç şık araç verir.
Scrappy.
Çerçeve kuyusu kendi başına bir bütündür.
Belgelerini ve eğitimlerini inceleyebilirsiniz.
Alışmak biraz zaman alıyor, ancak bunu yapmak istiyorsanız belki de tam zamanlı scrapie bir göz atmanız
gereken bir şeydir.
Son olarak, tüm bu verilerle ne yapıyorsunuz?
Sonunda bir şey yapmak isteyebilirsiniz, belki bir metin dosyasında, bir CSV dosyasında saklayabilirsiniz, daha önce bahsettiğimiz
ve kursta bahsedeceğimiz bir şey.
Ancak daha fazla veri topladıkça, belki Scrappy gibi bir şey kullanarak, veritabanları dediğimiz
şeyi kullanmaya başlamak isteyebilirsiniz.
Ve veri tabanları büyük miktarda veriyi depolamamıza ve istediğimiz zaman erişebilmemiz için bir yere kaydetmemize
olanak tanır.
Ve bu kursun amacının ötesinde bir şey olan bir ton veri tabanı var.
Ancak MongoDB, Redis, benim SQL'im gibi şeyleri duymuş olabilirsiniz.
Post gress.
Bunların hepsi veri depolamanın, büyük miktarda veri depolamanın ve bunlara erişmenin yollarıdır.
Bu nedenle, Scrappy gibi bir çerçeveyi nasıl kullanacağınızı öğrenmek ve bu verileri toplayıp bir veritabanında bir yerde saklamak
isteyebilirsiniz, böylece ekibinizdeki diğer kişiler bu verilere erişebilir.
Olasılıklar sonsuzdur, ancak bundan çıkaracağınız bir şey varsa, lütfen nazik
olun, etik olun ve yasadışı bir şey yapmayın çünkü başımın belaya girmesini istemiyorum.
Ve eminim sen de bilmiyorsundur.
Bir sonrakinde görüşürüz.
Güle güle.