Sprechen wir über Web-Scraping, eines der Dinge, die wir mit Python tun können. Was ist Web-Scraping?
Nun, Web-Scraping bedeutet einfach, programmgesteuert Python oder eine beliebige Sprache zu verwenden, die Daten von einer Website erfasst.
So kann ich zum Beispiel Daten von Amazon abrufen, von Airbnb.
Von vielleicht einer Rezept-Website aus kann jede Website gescrapt werden. Wenn wir also über Web-Scraping sprechen, meinen wir im Wesentlichen das Herunterladen
einer Webseite, das Aufnehmen der Daten von dieser Webseite und das Bereinigen irgendwie, damit es für uns
nützlich ist.
Und wenn Sie diese Daten verwenden, sehen Sie, wie Websites funktionieren.
Wir haben einen Browser, den wir wie einen Chrome verwenden, und wir haben einen Server.
Ein Server ist einfach ein Computer irgendwo auf der Welt, der drei Dateien hat, die benötigt werden, um eine
Webseite anzuzeigen.
Wir haben eine HTML-Datei, die den Inhalt der Website darstellt.
Sie können sich das als Text und Bilder einer Website vorstellen.
Wir haben Zugriff, was uns die Farben und das hübsche Styling von Websites gibt.
Und dann haben wir JavaScript, das uns verschiedene Verhaltensweisen auf unserer Website ermöglicht, wie das
Senden von Formularen oder Dropdown-Menüs.
Und alles, was ein Browser wie Chrome tut, ist zu sagen, hey, wenn Andre diese Website besucht,
sagen wir, der FIFA-Dotcom-Browser weiß, wenn ich FIFA-Dotcom eingebe, der sagt: Hey, Server, kannst du
mir die FIFA-Dotcom-E- Mailzugriff in JavaScript-Dateien?
Und der Server sagt, ja, kein Problem.
Hier sind sie.
Und dann wird die Seite in unserem Browser angezeigt.
Diese drei Dateien, nun ja, die Daten darin sind für uns zugänglich, oder?
Es wird auf einer Webseite angezeigt.
Diese Dateien können wir jetzt also tatsächlich überprüfen.
Wenn wir zum Beispiel auf die FIFA dot com-Website gehen, sehen Sie hier, dass wir eine hübsche
Seite mit vielen Informationen haben.
Das ist großartig.
Und wenn ich.
Rechts.
Klicken Sie hier und sehen Sie sich die Seitenquelle an.
Dies ist die HTML-Seite der FIFA-Website.
Wie Sie sehen, ist es ziemlich lang.
Aber es enthält alle Daten, die wir auf dieser Seite sehen.
Jetzt sind die erfahrenen JavaScript-Dateien damit verknüpft.
Aber die Hauptdaten, die der Text sind, können die Bilder sein.
Sind alle hier, so haben wir zum Beispiel die neuesten Nachrichten, wir haben Top-10-Tore.
Von der Frauen-Weltmeisterschaft, lass es uns herausfinden, sagen wir Top-10-Tore.
Von der Frauen-WM, sehen Sie, das ist, was wir haben, wir haben hier den Text.
Und Web-Scraping ist einfach das, diese Daten zu erfassen.
Und dann entfernen Sie alle Teile, die uns nicht wichtig sind, und behalten nur die
Teile, die uns wichtig sind, und das Web-Scraping funktioniert, weil diese Informationen öffentlich sind, damit eine Website angezeigt werden kann.
Es muss öffentlich sein.
Vielleicht fragen Sie sich immer noch, warum Web-Scraping nützlich sein könnte.
Nun, es gibt viele, viele Fälle dafür.
Ich werde zum Beispiel auf diese Ressource verlinken, in der über einige der großen Einsatzmöglichkeiten für Web-Scraping gesprochen wird.
Warum sollten wir eine Website verschrotten?
Und Sie können hier sehen, es gibt viele Gründe, warum Sie möglicherweise Leads erhalten möchten.
Das heißt, Sie möchten alle E-Mails sammeln, die sich auf einer Webseite befinden, vielleicht ein Kontaktformular, vielleicht haben
Sie ein Yoga-Büro, ein Softwareprodukt, vielleicht gehen Sie zu jeder einzelnen Yoga-Studio-Webseite und finden Sie die Kontaktinformationen, kratzen Sie diese
Daten Sie müssen es also nicht manuell tun.
Vielleicht möchten Sie alle Stellenangebote und offenen Stellen auf einer Website finden und diese Daten abrufen, anstatt sich
manuell durch verschiedene Seiten zu klicken.
Und es gibt viele, viele Anwendungsfälle in unserem Projekt, die wir für diese Sitzung entwickeln werden.
Wir werden tatsächlich Hacker News durcharbeiten, eine sehr beliebte Website für viele Programmierer, und wir werden
diese Website noch nützlicher machen, damit wir sie lesen, analysieren und über unsere Branche auf dem Laufenden bleiben
können.
Aber dazu kommen wir gleich.
Machen wir hier eine Pause und erfahren Sie im nächsten Video etwas mehr über Web-Scraping.