ไม่เป็นไร.
ได้เวลาเริ่มต้นกับโครงการ Hacker News ของเราแล้ว
สิ่งแรกที่เราจะทำคือเราจะตั้งค่าสภาพแวดล้อมของเรา
ในกรณีของฉันสำหรับโครงการนี้ ฉันจะใช้ข้อความที่ประเสริฐ แต่อีกครั้ง ใช้โปรแกรมแก้ไขข้อความใดก็ได้ที่คุณต้องการ
ฉันยังมีเทอร์มินัลหรือพรอมต์คำสั่งที่นี่ และฉันได้สร้างไฟล์ scrape dot pie แล้ว
ตอนนี้ สิ่งแรกที่เราต้องทำเพื่อขูดโดยใช้ python ก็คือ เราต้องดาวน์โหลด Beautiful
Soup
นี่คือสิ่งที่ช่วยให้เราสามารถขูดเว็บไซต์ได้
ทั้งหมดที่ฉันจะทำคือพูดว่า Pip 3 และฉันต้องการติดตั้งซุป 4 อันที่สวยงาม
นี่คือเวอร์ชันล่าสุด
ฉันจะคลิกเข้าไป
และที่นั่นคุณไป
สุดยอด.
น้ำซุปสวยๆเราก็มีติดไว้
อีกอย่างที่เราต้องการคือห้องสมุดคำขอ
ตอนนี้เราจะใช้ไลบรารีคำขอเป็นจำนวนมากในหลักสูตรนี้ หากคุณยังไม่มีห้องสมุดดังกล่าวในคอมพิวเตอร์ของคุณ
อีกครั้ง เราแค่ใช้มันโดยใช้คำขอ
โดยพื้นฐานแล้วช่วยให้เราคว้าไฟล์ HTML เช่น Hacker News
ดังนั้น.
สิ่งที่เราจะทำคือพูดว่าคำขอติดตั้ง pip สาม
เมื่อเรารู้แล้ว สิ่งที่เราจะทำ และฉันจะแสดงให้คุณเห็นว่าทำไมเราต้องดาวน์โหลดทั้งสองอย่าง
อย่างแรกที่เราจะทำคือนำเข้าคำขอจริงๆ
หรือขอ.
และอีกอย่างคือน้ำซุปที่สวยงาม
วิธีที่เราใช้ซุปที่สวยงามคือเราพูดจากสิ่งเหล่านี้
เราต้องการนำเข้า
สวยงาม.
ซุป.
ฉันรู้ว่ามันค่อนข้างแปลกเพราะเราติดตั้งซุปที่สวยงามมาก่อน แต่นี่คือวิธีที่เรานำเข้าเมื่อเราติดตั้งแล้ว
ดังนั้นจากการนำเข้า bs4
ซุปที่สวยงาม
ตอนนี้.
ทำไมเราต้องการสองสิ่งนี้?
ซุปที่สวยงามทำให้เราสามารถใช้ HTML และดึงข้อมูลที่แตกต่างกันได้
ดังนั้นจึงช่วยให้เราใช้ข้อมูลที่เราได้รวบรวมมาเพื่อทำสิ่งที่เราต้องการเพื่อขูดมัน
แต่โมดูลคำขอเป็นสิ่งที่ช่วยให้เราดาวน์โหลด HTML นั้นในขั้นต้นได้
ให้ฉันแสดงให้คุณเห็นว่าฉันหมายถึงอะไร
สิ่งแรกที่เราจะทำคือสร้างตัวแปรตอบกลับใหม่
และการตอบสนองนี้จะเป็นคำขอและ URL ที่เราต้องการดึงข้อมูล
ดังนั้น คุณสามารถคิดได้ว่านี่เป็นเว็บเบราว์เซอร์ที่เราใช้โดยไม่มีหน้าต่างจริง
เพราะนี่คือสิ่งที่ Google Chrome ทำภายใต้ประทุน
มันพยายามดึงข้อมูลของเว็บไซต์นั้นจากเซิร์ฟเวอร์
กลับมาที่นี่และไปที่ Hacker News กันอีกครั้ง
เราจะคัดลอกลิงก์นี้และฉันจะวางลงในนี้
ไปเลย
มาทำให้มันใหญ่ขึ้นอีกหน่อยแบบนั้น
และสิ่งที่เราต้องทำตรงนี้คือบอกว่า ดอท เก็ท
ดังนั้นเราจึงต้องการรับข้อมูลที่นี่
ดังนั้นเราจึงทำการร้องขอให้คว้าหน้านี้เพื่อที่ว่าตอนนี้ถ้าสมมติว่าการตอบกลับการพิมพ์ฉันบันทึกสิ่งนี้และเรียกใช้โดยบอกว่า
Python สามคัดลอกมา
ได้เลย ฉันได้รับคำตอบแล้ว
ตอบกลับ 200 แต่
อืม.
แล้วมันหมายความว่ายังไง?
สิ่งที่เรากำลังทำอยู่นี้คือถ้าฉันเปิดมุมมอง
นักพัฒนาและทำเครื่องมือสำหรับนักพัฒนา
ฉันคลิกที่เครือข่ายที่นี่
มาทำให้มันใหญ่ขึ้นอีกหน่อย
เราจะไปที่นั่น.
และฉันรีเฟรชหน้านี้
ฉันได้รับข้อมูลมากมาย แต่สิ่งสำคัญที่เราสนใจคือ นี่คือเอกสารข่าวแรกที่นี่
ถ้าฉันคลิกตรงนี้ คุณจะเห็นว่านี่คือสิ่งที่เราได้รับ
เราได้รับ HTML พร้อมข้อมูลทั้งหมด
แต่เรายังเห็นที่นี่ว่าคำตอบคือ 200
นั่นหมายความว่าทุกอย่างโอเค
เซิร์ฟเวอร์ตอบกลับด้วย 200 และให้เอกสารกับเรา
นี่คือสิ่งที่เราเพิ่งได้รับ
ในที่นี้เราสามารถพูดได้ว่าข้อความดอทตอบกลับที่เราได้รับ
ขอผมเรียกใช้สิ่งนี้อีกครั้งและดูสิ่งนั้น
เรามีไฟล์ HTML ทั้งหมดที่แสดงไฟล์.
ข้อความในนี้เพราะเราไม่สนใจเกี่ยวกับสไตล์ใช่ไหม
เราไม่ค่อยสนใจเรื่องการจัดแต่งทรงผม
บางทีเราอาจจะไม่สนใจเกี่ยวกับภาพด้วยซ้ำ
ทั้งหมดที่เราใส่ใจคือข้อความ
และเพื่อจุดประสงค์ของเรา เราให้ความสำคัญกับลิงก์จริงและการโหวตของเรื่องราว
เราจึงดึงข้อมูลนี้ และตอนนี้สิ่งที่เราทำได้คือใช้ซุปที่สวยงามเพื่อล้างข้อมูลนี้
ตอนนี้.
นี่เป็นข้อมูลจำนวนมาก
เราไม่ต้องการสิ่งนี้จริงๆ ใช่ไหม
หรืออย่างน้อยเราต้องการลบข้อมูลทั้งหมดที่เราไม่ต้องการออก เช่น เรื่องราวที่มีคะแนนน้อยกว่า
100 คะแนน
ตัวอย่างเช่น อันนี้ตรงนี้มี 176 คะแนนที่เราสนใจ
มาดูกันว่าจะใช้ซุปที่สวยงามได้อย่างไรต่อไป