มาว่ากันเรื่องการขูดเว็บ
สิ่งหนึ่งที่เราทำได้ด้วย Python
การขูดเว็บคืออะไร?
การขูดเว็บหมายถึงการใช้ Python โดยทางโปรแกรมหรือภาษาใด ๆ ที่ดึงข้อมูลจากเว็บไซต์
ตัวอย่างเช่น ฉันสามารถดึงข้อมูลจาก Amazon จาก Airbnb
จากเว็บไซต์สูตรอาจเป็นเว็บไซต์ใดก็ได้
โดยพื้นฐานแล้ว เมื่อเราพูดถึงการขูดเว็บ เราหมายถึงการดาวน์โหลดหน้าเว็บ ดึงข้อมูลจากหน้าเว็บนั้น
ล้างข้อมูลเพื่อให้มีประโยชน์สำหรับเรา และจากนั้นใช้ข้อมูลนั้น
คุณเห็นไหม นี่คือวิธีการทำงานของเว็บไซต์
เรามีเบราว์เซอร์ที่เราใช้เหมือน Chrome และเรามีเซิร์ฟเวอร์
เซิร์ฟเวอร์เป็นเพียงคอมพิวเตอร์สักแห่งในโลกที่มีไฟล์สามไฟล์ที่จำเป็นสำหรับการแสดงหน้าเว็บ
เรามีไฟล์ HTML ซึ่งเป็นเนื้อหาของเว็บไซต์
คุณสามารถคิดได้ว่าเป็นข้อความและรูปภาพของเว็บไซต์
เรามี CSS ซึ่งทำให้เรามีสีสันและสไตล์ที่สวยงามที่เว็บไซต์มี
แล้วเราก็มี JavaScript ที่ช่วยให้เรามีพฤติกรรมที่แตกต่างกันในเว็บไซต์ของเรา
เช่น การส่งแบบฟอร์ม หรือมีเมนูดรอปดาวน์ และเบราว์เซอร์ทั้งหมดก็เหมือนกับ Chrome
พูด เฮ้ ถ้าอังเดรเข้าชมเว็บไซต์นี้ สมมติว่าฟีฟ่า เบราว์เซอร์ com จะรู้เมื่อฉันพิมพ์ในฟีฟ่า
ในคอมที่เขียนว่า เฮ้ เซิฟเวอร์ ขอฟีฟ่าให้หน่อยได้ไหม คอม?
ไฟล์ HTML, CSS และ JavaScript
และเซิร์ฟเวอร์บอกว่าใช่ ไม่มีปัญหา พวกเขาอยู่นี่แล้ว
จากนั้นหน้าก็จะแสดงบนเบราว์เซอร์ของเรา
ดังนั้นสามไฟล์นี้ ข้อมูลในไฟล์นั้น สามารถเข้าถึงได้สำหรับเรา ใช่ไหม?
จะแสดงบนหน้าเว็บ
ดังนั้นไฟล์เหล่านี้จึงเป็นสิ่งที่เราสามารถตรวจสอบได้จริง
เช่น ถ้าเราไปฟีฟ่า com เว็บไซต์ คุณจะเห็นว่าที่นี่เรามีเพจสวย ๆ
ที่มีข้อมูลมากมาย
ที่ที่ดี
และหากฉันคลิกขวาที่นี่และดูที่มาของหน้า นี่คือหน้า HTML ของเว็บไซต์ FIFA
อย่างที่คุณเห็นมันค่อนข้างยาว
แต่มีข้อมูลทั้งหมดที่เราเห็นในหน้านี้
ตอนนี้ไฟล์ CSS และ JavaScript เชื่อมโยงกับมันแล้ว
แต่ข้อมูลหลักที่เป็นข้อความอาจเป็นภาพ
ทั้งหมดอยู่ที่นี่
ตัวอย่างเช่น เรามีข่าวล่าสุด
เรามีเป้าหมายสิบอันดับแรก
จากบอลโลกหญิง.
มาดูกันดีกว่า
สมมุติว่าเป้าหมายสิบอันดับแรก
จากบอลโลกหญิง.
คุณเห็นนั่นคือสิ่งที่เรามี
เรามีข้อความตรงนี้
และการขูดเว็บเป็นเพียงการดึงข้อมูลนี้
แล้วเอาทุกส่วนที่เราไม่สนใจออก และเก็บเฉพาะส่วนที่เราสนใจ
และการขูดเว็บได้ผลเพราะข้อมูลนี้เป็นข้อมูลสาธารณะ
เว็บไซต์นั้นจะต้องเป็นสาธารณะเพื่อให้แสดงเว็บไซต์ได้
บางทีคุณอาจยังคงสงสัยว่าเหตุใดการขูดเว็บจึงมีประโยชน์
มีหลายกรณีมากมายสำหรับมัน
ตัวอย่างเช่น ฉันจะเชื่อมโยงไปยังแหล่งข้อมูลนี้ซึ่งกล่าวถึงประโยชน์ที่สำคัญบางประการสำหรับการขูดเว็บ
ทำไมเราถึงต้องการขูดเว็บไซต์?
และคุณสามารถดูได้ที่นี่ มีหลายสาเหตุ
บางทีคุณอาจต้องการรับสัญญาณดาวเทียม
นั่นคือคุณต้องการรวบรวมอีเมลทั้งหมดที่อยู่บนเว็บเพจ
อาจจะเป็นแบบฟอร์มการติดต่อ
บางทีคุณอาจมีผลิตภัณฑ์ซอฟต์แวร์สำนักงานสำหรับโยคะ
อาจไปที่หน้าเว็บของสตูดิโอโยคะทุกแห่งและค้นหาข้อมูลการติดต่อ
ขูดข้อมูลนั้นเพื่อที่คุณจะได้ไม่ต้องทำเอง
บางทีคุณอาจต้องการหางานทั้งหมดและตำแหน่งที่เปิดอยู่บนเว็บไซต์ และแทนที่จะคลิกผ่านหน้าต่างๆ ด้วยตนเอง
คุณสามารถขูดข้อมูลนั้นได้
และมีกรณีการใช้งานมากมายในโครงการของเราที่เราจะสร้างสำหรับเซสชันนี้
ที่จริงแล้วเรากำลังจะขูด Hacker News ซึ่งเป็นเว็บไซต์ยอดนิยมสำหรับโปรแกรมเมอร์หลายๆ คน และเราจะเปลี่ยนสิ่งนี้ให้เป็นประโยชน์มากยิ่งขึ้นสำหรับเราในการอ่าน
วิเคราะห์ และติดตามอุตสาหกรรมของเรา
แต่เราจะไปที่นั้นในอีกสักครู่
มาพักที่นี่และเรียนรู้เพิ่มเติมเล็กน้อยเกี่ยวกับการขูดเว็บในวิดีโอหน้า