Laten we het hebben over webscraping, een van de dingen die we met Python kunnen doen, wat is webscraping?
Welnu, webscraping betekent eenvoudigweg programmatisch gebruik van Python of een taal die gegevens van een website haalt.
Zo kan ik bijvoorbeeld data van Amazon halen, van Airbnb.
Van misschien een receptenwebsite kan elke website worden geschraapt, dus als we het hebben over webscraping, bedoelen we het downloaden van een webpagina,
de gegevens van die webpagina pakken, het op de een of andere manier opschonen zodat het nuttig voor
ons is.
En dan die gegevens gebruiken, zie je, zo werken websites.
We hebben een browser die we gebruiken als een chrome en we hebben een server.
Een server is simpelweg een computer ergens ter wereld die drie bestanden heeft die nodig zijn om een webpagina weer
te geven.
We hebben een HTML-bestand, dat de inhoud van de website is.
Je kunt dat zien als tekst en afbeeldingen van een website.
We hebben toegang, wat ons de kleuren en mooie styling geeft die websites hebben.
En dan hebben we JavaScript, waarmee we verschillende gedragingen op onze website kunnen hebben, zoals het indienen van
formulieren of het hebben van vervolgkeuzemenu's.
En alles wat een browser zoals Chrome doet, is zeggen, hey, als Andre deze website bezoekt, laten we zeggen dat de
FIFA dotcom-browser het zal weten wanneer ik FIFA dotcom typ en zegt: hey server, kun je me
de FIFA dotcom e- geven mailtoegang in JavaScript-bestanden?
En de server zegt, ja, geen probleem.
Daar zijn ze.
En dan wordt de pagina weergegeven in onze browser.
Dus deze drie bestanden, nou ja, de gegevens erin zijn voor ons toegankelijk, toch?
Het wordt weergegeven op een webpagina.
Dus deze bestanden zijn nu iets dat we kunnen controleren.
Als we bijvoorbeeld naar de FIFA dot com-website gaan, zie je hier dat, nou ja, we hebben een
mooie pagina met veel informatie.
Dat is geweldig.
En als ik.
Rechts.
Klik hier en bekijk de paginabron.
Dit is de HTML-pagina van de FIFA-website.
Zoals je kunt zien, is het vrij lang.
Maar het heeft alle gegevens die we op deze pagina zien.
Nu zijn de doorgewinterde JavaScript-bestanden eraan gekoppeld.
Maar de belangrijkste gegevens die de tekst zijn, kunnen de afbeeldingen zijn.
Zijn er allemaal, dus we hebben bijvoorbeeld het laatste nieuws, we hebben top 10 doelen.
Van de Women's World Cup, laten we eens kijken, laten we zeggen top 10 goals.
Van de Women's World Cup, zie je, dat is wat we hebben, we hebben de tekst hier.
En webscraping is gewoon dit, deze gegevens pakken.
En dan alle onderdelen verwijderen waar we niet om geven en gewoon de onderdelen
houden waar we om geven en webscraping werkt omdat deze informatie openbaar is om een website te laten zien.
Het moet openbaar zijn.
Misschien vraag je je nog steeds af waarom webscraping nuttig kan zijn.
Welnu, er zijn vele, vele gevallen voor.
Ik zal bijvoorbeeld een koppeling maken naar deze bron waar wordt gesproken over enkele van de grote toepassingen van webscraping.
Waarom zouden we een website willen schrappen?
En je kunt hier zien, er zijn veel redenen waarom je misschien leads wilt krijgen.
Dat wil zeggen, je wilt alle e-mails verzamelen die op een webpagina staan, misschien een contactformulier, misschien heb
je een yogakantoor, een softwareproduct, misschien ga je naar elke webpagina van elke yogastudio en vind je de contactgegevens, schrap die
gegevens zodat u het niet handmatig hoeft te doen.
Misschien wil je alle vacatures en openstaande vacatures op een website vinden en in plaats van handmatig door verschillende pagina's te
klikken, kun je die gegevens schrapen.
En er zijn vele, vele use-cases in ons project die we voor deze sessie gaan bouwen.
We gaan Hacker News schrappen, een zeer populaire website voor veel programmeurs, en we gaan dit veranderen
in iets dat nog nuttiger is voor ons om te lezen, analyseren en op de hoogte te blijven van onze
branche.
Maar daar komen we zo op.
Laten we hier een pauze nemen en in de volgende video iets meer leren over webscraping.