Tamam.
Hacker News projemize başlama zamanı geldi.
Şimdi yapacağımız ilk şey ortamımızı ayarlamak olacak.
Bu proje için benim durumumda, sublime text kullanacağım, ancak yine de istediğiniz metin düzenleyicisini kullanın.
Ayrıca burada terminalim veya komut istemim var ve bir scrape dot pie dosyası oluşturdum.
Şimdi python kullanarak kazıma yapmak için yapmamız gereken ilk şey, Beautiful Soup'u indirmemiz
gerekiyor.
Bu, web sitelerini kazımamızı sağlayan şeydir.
Bu yüzden tek yapacağım Pip üç demek ve güzel çorba dördü kurmak istiyorum.
Bu en son sürümdür.
Gir'e tıklayacağım.
Ve işte oldu.
Harika.
Güzel bir çorba tesisimiz var.
İhtiyacımız olan bir diğer şey de talepler kütüphanesi.
Eğer bilgisayarınızda yoksa bu kursta istek kütüphanesini çok kullanacağız.
Yine, sadece istekleri kullanarak kullanıyoruz.
Esasen Hacker News gibi HTML dosyalarını almamızı sağlar.
Evet.
Yapacağımız şey pip üç yükleme isteği demek.
Bunu yaptıktan sonra, yapacağımız şey ve size neden her ikisini de indirmemiz gerektiğini
göstereceğim, yapacağımız ilk şey aslında talebi içe aktarmaktır.
Ya da istekleri.
Bir diğer şey de güzel çorba.
Şimdi, güzel çorbayı kullanma şeklimiz şunlar için diyoruz.
İthal etmek istiyoruz.
Çok güzel.
Çorba.
Biraz garip olduğunu biliyorum çünkü güzel çorbayı daha önce kurduk, ancak kurduktan sonra bu şekilde içe
aktarıyoruz.
Yani bs4 ithalatından.
Güzel çorba.
Şimdi.
Bu iki şeye neden ihtiyacımız var?
Güzel çorba aslında HTML'yi kullanmamıza ve farklı verileri yakalamamıza olanak tanır.
Böylece topladığımız bu verileri istediğimiz her şeyi yapmak için kullanmamıza olanak tanıyor.
Ancak requests modülü aslında başlangıçta bu HTML'yi indirmemizi sağlayan şeydir.
Size ne demek istediğimi göstereyim.
Yapacağımız ilk şey yeni bir yanıt değişkeni oluşturmak.
Ve bu yanıt, verileri almak istediğimiz istekler ve URL olacaktır.
Yani bunu gerçek pencere olmadan kullandığımız bir web tarayıcısı olarak düşünebilirsiniz.
Çünkü Google Chrome'un kaputun altında yaptığı şey budur.
Bu web sitesinin bilgilerini bir sunucudan almaya çalışıyor.
Şimdi buraya geri dönelim ve tekrar Hacker News'e gidelim.
Bu bağlantıyı kopyalayacağız ve buraya yapıştıracağım.
Al bakalım.
Bunu böyle biraz daha büyütelim.
Aslında burada yapmamız gereken şey nokta atışı yapmak.
Bu yüzden buradan bilgi almak istiyoruz.
Bu sayfayı almak için bir get isteği yapıyoruz, böylece şimdi diyelim ki yanıtı yazdırırsam, bunu kaydediyorum ve Python
üç tarafından kazındı diyerek çalıştırıyorum.
Pekala, bir cevap aldım.
200'lük bir cevap ama.
Hmm.
Peki, bu ne anlama geliyor?
Burada esasen yaptığımız şey, görünümü açarsam.
Geliştirici ve geliştirici araçları yapın.
Buradaki ağa tıklıyorum.
Bunu biraz daha büyütelim.
İşte oldu.
Ve bu sayfayı yeniledim.
Birçok bilgi alıyorum ama asıl önemsediğimiz şey bu ilk belge haberi burada.
Buraya tıklarsam, elde ettiğimiz şeyin bu olduğunu görürsünüz.
Tüm verileri içeren bir HTML alırız.
Ancak burada tepkinin 200 olduğunu da gördük.
Bu her şey yolunda demek.
Sunucu 200 ile yanıt verdi ve bize bir belge verdi.
Elimizde olan bu.
Yani burada aslında aldığımız yanıt nokta metnini söyleyebiliriz.
Bunu tekrar çalıştırmama ve buna bakmama izin verin.
Görüntüleyen HTML dosyamızın tamamına sahibiz.
Metin burada çünkü stil umurumuzda değil, değil mi?
Şekillendirmeyi gerçekten umursamıyoruz.
Belki de görüntüler umurumuzda bile değildir.
Tek önemsediğimiz şey metin.
Ve bizim amaçlarımız doğrultusunda, hikayenin sahip olduğu oyların yanı sıra gerçek bağlantıyı da önemsiyoruz.
Böylece bu verileri alıyoruz ve şimdi yapabileceğimiz şey bu verileri temizlemek için güzel çorba kullanmak.
Şu anda.
Bu çok fazla bilgi demek.
Buna gerçekten ihtiyacımız yok, değil mi?
Ya da en azından 100 puandan az olan hikayeler gibi ihtiyacımız olmayan tüm bilgileri kaldırmak
istiyoruz.
Örneğin, şuradaki 176 puanı kesinlikle önemsiyoruz.
Şimdi bir ara verelim ve güzel çorbayı nasıl kullanabileceğimize bakalım.