คุณเพิ่งเรียนรู้พื้นฐานของการขูดเว็บ
มันค่อนข้างน่าตื่นเต้นใช่มั้ย
พลังมากมายอยู่ใกล้แค่ปลายนิ้ว
แต่สมมุติว่าคุณอยากไปต่อ
เรียนรู้เพิ่มเติม.
อาจจะกลายเป็นเว็บมีดโกนมืออาชีพ?
ฉันไม่รู้.
บางทีนั่นอาจเป็นสิ่งที่คุณต้องการทำ
มีอะไรอยากแนะนำบ้าง?
ทำความคุ้นเคยกับซุปที่สวยงามมากขึ้น
แต่อย่าลืมว่าผมพูดอะไรไว้ตอนต้นของหัวข้อนี้
เป็นการดีที่คุณไม่จำเป็นต้องเช็ดถู
คุณสามารถใช้ API ได้
บางทีเว็บไซต์ที่คุณต้องการรับข้อมูลอาจให้ API แก่คุณ
ตัวอย่างเช่น ถ้าฉันไปที่ Airbnb API
คุณจะเห็นได้ว่า Airbnb ได้ประกาศเปิดตัว API อย่างเป็นทางการแล้ว
ดังนั้นเราจึงสามารถอ่านได้ว่าข้อมูลใดที่ Airbnb อนุญาตให้เราเข้าถึงได้
และนั่นควรเป็นจุดแวะแรกของคุณ
บางทีถ้าคุณไม่มีอย่างนั้น คุณก็จะได้ดูซุปที่สวยงาม
สิ่งต่อไปที่คุณอาจต้องการดูคือเฟรมเวิร์กที่เรียกว่า Scrappy
คิดว่าเป็นซุปที่สวยงาม แต่มีคุณสมบัติมากมาย
เฟรมเวิร์กคือทั้งห้องครัว แถบเครื่องมือทั้งหมดที่คุณสามารถใช้เพื่อขูดเว็บไซต์ได้
และคุณใช้สิ่งต่าง ๆ เช่น กระท่อนกระแท่น เมื่อคุณต้องการขูดเว็บไซต์ขนาดใหญ่ ข้อมูลจำนวนมหาศาล
กรอบงานกับไลบรารี
คือกรอบที่เกือบจะสอนภาษาใหม่ในตัวเอง
มันให้เครื่องมือทั้งหมดที่จำเป็นในการทำทุกสิ่งที่คุณต้องการ
เมื่อพูดถึงการขูดข้อมูล ในทางกลับกัน ซุปที่สวยงามนั้นมีขนาดเล็กกว่า
มันคือห้องสมุด คุณจึงมีเครื่องมือดีๆ สองสามอย่างในการทำสิ่งเล็กๆ น้อยๆ เช่น สิ่งที่เราทำที่นี่
กระท่อนกระแท่น.
เฟรมเวิร์กนั้นเป็นสิ่งทั้งหมดในตัวมันเอง
คุณสามารถอ่านเอกสารและบทช่วยสอนของพวกเขาได้
ต้องใช้เวลาเล็กน้อยในการทำความคุ้นเคย แต่ถ้าคุณต้องการทำสิ่งนี้ บางที scrapie แบบเต็มเวลาก็เป็นสิ่งที่คุณควรพิจารณา
สุดท้ายนี้ คุณจะทำอย่างไรกับข้อมูลทั้งหมดนี้?
ในที่สุด คุณอาจต้องการทำบางสิ่ง บางทีอาจเก็บไว้ในไฟล์ข้อความ ในไฟล์ CSV สิ่งที่เราได้พูดถึงและเราจะพูดถึงในหลักสูตร
แต่เมื่อคุณเก็บรวบรวมข้อมูลมากขึ้นเรื่อยๆ อาจใช้บางอย่างเช่น Scrappy คุณอาจต้องการเริ่มมองหาการใช้สิ่งที่เราเรียกว่าฐานข้อมูล
และฐานข้อมูลช่วยให้เราสามารถจัดเก็บข้อมูลจำนวนมหาศาลและบันทึกข้อมูลไว้ที่ใดที่หนึ่ง เพื่อให้เราสามารถเข้าถึงได้ทุกเมื่อที่ต้องการ
และมีฐานข้อมูลมากมาย ซึ่งอยู่นอกเหนือเป้าหมายของหลักสูตรนี้
แต่คุณอาจเคยได้ยินเกี่ยวกับ MongoDB, Redis, SQL ของฉัน
โพสต์เกรซ
ทั้งหมดนี้คือวิธีการจัดเก็บข้อมูล จัดเก็บข้อมูลจำนวนมหาศาล และเข้าถึงข้อมูลดังกล่าว
ดังนั้น คุณอาจต้องการเรียนรู้เกี่ยวกับวิธีใช้เฟรมเวิร์กอย่าง Scrappy และรวบรวมข้อมูลนั้นและจัดเก็บไว้ในฐานข้อมูลเพื่อให้คนอื่นๆ
ในทีมของคุณสามารถเข้าถึงได้
ความเป็นไปได้ไม่มีที่สิ้นสุด แต่ถ้ามีสิ่งหนึ่งที่คุณจะเอาออกไปจากสิ่งนี้ได้โปรดเป็นคนดี
มีจริยธรรม และอย่าทำอะไรที่ผิดกฎหมายเพราะฉันไม่อยากมีปัญหา
และฉันแน่ใจว่าคุณไม่ได้เช่นกัน
เจอกันใหม่ตอนหน้าค่ะ
ลาก่อน.