لقد تعلمت للتو أساسيات تجريف الويب.
إنه مثير جدًا ، أليس كذلك؟
الكثير من القوة بين يديك ، في متناول يدك.
ولكن لنفترض أنك تريد أن تذهب أبعد من ذلك.
يتعلم أكثر.
ربما تصبح مكشطة ويب احترافية؟
لا أعلم.
ربما هذا ما تريد القيام به.
ما هي بعض الأشياء التي أنصح بها؟
حسنًا ، تعرف أكثر على الحساء الجميل.
لكن ضع في اعتبارك ما قلته في بداية هذا القسم.
من الناحية المثالية ، ليس عليك حتى مسح الكشط.
من الناحية المثالية ، يمكنك استخدام API.
ربما يمنحك موقع الويب الذي تريد الحصول على بيانات منه واجهة برمجة تطبيقات.
على سبيل المثال ، إذا ذهبت إلى Airbnb API.
يمكنك أن ترى أن Airbnb قد أعلنت عن واجهة برمجة تطبيقات رسمية.
لذلك ربما يمكننا في الواقع قراءة البيانات التي تتيح لنا Airbnb الوصول إليها.
وهذا يجب أن يكون محطتك الأولى.
ربما إذا لم يكن لديك ذلك ، فسوف تنظر إلى حساء جميل.
الشيء التالي الذي قد ترغب في إلقاء نظرة عليه هو إطار العمل هذا المسمى Scrappy.
فكر في الأمر على أنه حساء جميل ، ولكن مع الكثير من الميزات.
إطار العمل هو في الأساس مطبخ كامل ، حزام أدوات كامل يمكنك استخدامه لكشط مواقع الويب.
وأنت تستخدم أشياء مثل scrappy عندما تريد كشط مواقع الويب الضخمة ، وكميات هائلة من البيانات
، وإطار عمل مقابل مكتبة.
هل هذا إطار يكاد يعلم لغة جديدة في حد ذاته.
يمنحك كل الأدوات اللازمة للقيام بكل ما تريد.
عندما يتعلق الأمر بكشط البيانات ، فإن الحساء الجميل ، من ناحية أخرى ، أصغر.
إنها مكتبة ، لذا فهي تمنحك بعض الأدوات الرائعة للقيام بأشياء صغيرة مثل ما فعلناه هنا.
هراء.
الإطار الجيد هو شيء كامل في حد ذاته.
يمكنك الاطلاع على وثائقهم والبرامج التعليمية الخاصة بهم.
يستغرق الأمر بعض الوقت لتعتاد عليه ، ولكن إذا كنت ترغب في القيام بذلك ، فربما يكون سكرابي بدوام كامل شيئًا يجب عليك
إلقاء نظرة عليه.
أخيرًا ، ماذا تفعل بكل هذه البيانات؟
في النهاية ، قد ترغب في القيام بشيء ما ، ربما تخزينه في ملف نصي ، في ملف CSV ، وهو شيء تحدثنا عنه
وسنتحدث عنه في الدورة التدريبية.
ولكن مع قيامك بجمع المزيد والمزيد من البيانات ، ربما باستخدام شيء مثل Scrappy ، قد ترغب في البدء في
البحث في استخدام ما نسميه قواعد البيانات.
وتسمح لنا قواعد البيانات بتخزين كميات هائلة من البيانات وحفظها في مكان ما حتى نتمكن من الوصول
إليها متى أردنا.
وهناك الكثير من قواعد البيانات ، شيء يتجاوز الهدف من هذه الدورة.
لكن ربما سمعت عن أشياء مثل MongoDB و Redis و SQL الخاص بي.
بعد gress.
هذه كلها طرق لتخزين البيانات وتخزين كمية هائلة من البيانات والوصول إليها.
لذلك قد ترغب في التعرف على كيفية استخدام إطار عمل مثل Scrappy وجمع تلك البيانات وتخزينها في مكان ما على
قاعدة بيانات حتى يتمكن الأشخاص الآخرون في فريقك من الوصول إليها.
الاحتمالات لا حصر لها ، ولكن إذا كان هناك شيء واحد ستفقده من هذا ، فالرجاء أن تكون
لطيفًا ، وكن أخلاقيًا ، ولا تفعل أي شيء غير قانوني لأنني ، حسنًا ، لا أريد الوقوع في مشكلة.
وأنا متأكد من أنك لست كذلك.
سأراك في المرحلة التالية.
مع السلامة.