دعنا نتحدث عن تجريف الويب.
أحد الأشياء التي يمكننا القيام بها باستخدام بايثون.
ما هو تجريف الويب؟
حسنًا ، يعني تجريف الويب ببساطة استخدام Python برمجيًا أو أي لغة تستحوذ على البيانات من موقع
ويب.
على سبيل المثال ، يمكنني الحصول على بيانات من أمازون ومن Airbnb.
ربما من موقع ويب للوصفات ، يمكن كشط أي موقع ويب.
لذلك عندما نتحدث بشكل أساسي عن تجريف الويب ، فإننا نعني تنزيل صفحة ويب ، والحصول على البيانات
من صفحة الويب تلك ، وتنظيفها بطريقة ما بحيث تكون مفيدة لنا ثم استخدام تلك البيانات.
كما ترى ، هذه هي الطريقة التي تعمل بها المواقع الإلكترونية.
لدينا متصفح نستخدمه مثل Chrome ولدينا خادم.
الخادم هو ببساطة جهاز كمبيوتر في مكان ما في العالم يحتوي على ثلاثة ملفات مطلوبة لعرض
صفحة ويب.
لدينا ملف HTML وهو محتوى الموقع.
يمكنك التفكير في ذلك كنص وصور لموقع ويب.
لدينا CSS ، والذي يمنحنا الألوان والتصميم الجميل الذي تتمتع به مواقع الويب.
ومن ثم لدينا JavaScript الذي يسمح لنا بأن يكون لدينا سلوكيات مختلفة
في موقعنا ، مثل إرسال النماذج أو وجود قوائم منسدلة وكل متصفح مثل Chrome.
قل ، مرحبًا ، إذا زار أندريه هذا الموقع ، دعنا نقول فيفا. سوف يعرف متصفح com عندما أكتب
في Fifa. com التي تقول مرحبًا الخادم ، هل يمكن أن تعطيني الفيفا. كوم؟
ملفات HTML و CSS و JavaScript.
والخادم يقول نعم ، لا مشكلة ، ها هم.
ثم يتم عرض الصفحة على متصفحنا.
إذن فهذه الملفات الثلاثة ، حسنًا ، البيانات الموجودة فيها متاحة لنا ، أليس كذلك؟
يتم عرضها على صفحة الويب.
إذن هذه الملفات الآن شيء يمكننا التحقق منه بالفعل.
على سبيل المثال ، إذا ذهبنا إلى الفيفا. com ، كما ترى هنا جيدًا ، لدينا صفحة جميلة بها الكثير
من المعلومات.
ذلك رائع.
وإذا نقرت بزر الماوس الأيمن هنا وقمت بعرض مصدر الصفحة ، فهذه هي صفحة HTML لموقع FIFA على الويب.
كما ترى ، إنها طويلة جدًا.
لكنها تحتوي على كل البيانات التي نراها في هذه الصفحة.
الآن تم ربط ملفات CSS و JavaScript بها.
لكن البيانات الرئيسية التي هي النص قد تكون الصور.
هل كل شيء هنا.
لذلك ، على سبيل المثال ، لدينا آخر الأخبار.
لدينا أفضل عشرة أهداف.
من كأس العالم للسيدات.
حسنًا ، دعنا نكتشف ذلك.
لنفترض أن الأهداف العشرة الأولى.
من كأس العالم للسيدات.
كما ترى ، هذا ما لدينا.
لدينا النص هنا.
وتجريف الويب هو ببساطة هذا الاستيلاء على هذه البيانات.
ثم نزيل جميع الأجزاء التي لا نهتم بها ونحتفظ فقط بالأجزاء التي نهتم بها.
ويعمل تجريف الويب لأن هذه المعلومات عامة.
لكي يتم عرض موقع الويب ، يجب أن يكون عامًا.
ربما لا تزال تتساءل لماذا قد يكون تجريف الويب مفيدًا.
حسنًا ، هناك حالات كثيرة جدًا لذلك.
على سبيل المثال ، سأربط هذا المورد حيث يتحدث عن بعض الاستخدامات الكبيرة لكشط الويب.
لماذا نريد كشط موقع على شبكة الإنترنت؟
ويمكنك أن ترى هنا ، هناك العديد من الأسباب.
ربما تريد الحصول على خيوط الأقمار الصناعية.
أي أنك تريد جمع كل رسائل البريد الإلكتروني الموجودة على صفحة الويب.
ربما نموذج الاتصال.
ربما لديك منتج برنامج مكتب يوغا.
ربما تذهب إلى كل صفحة ويب استوديوهات اليوغا والعثور على معلومات الاتصال.
كشط تلك البيانات حتى لا تضطر إلى القيام بذلك يدويًا.
ربما ترغب في العثور على جميع الوظائف وفتح المناصب على موقع ويب ، وبدلاً من النقر يدويًا على الصفحات المختلفة
، يمكنك كشط تلك البيانات.
وهناك العديد والعديد من حالات الاستخدام في مشروعنا والتي سنقوم ببنائها لهذه الجلسة.
سنقوم بالفعل بكشط موقع Hacker News ، وهو موقع شهير للغاية للعديد من المبرمجين
، وسنحوله إلى شيء أكثر فائدة لنا لقراءة صناعتنا وتحليلها والبقاء على اطلاع دائم بها.
لكننا سنصل إلى ذلك بعد قليل.
دعنا نأخذ استراحة هنا ونتعلم المزيد عن تجريف الويب في الفيديو التالي.