Parliamo di web scraping, una delle cose che possiamo fare con Python, cos'è il web scraping?
Bene, il web scraping significa semplicemente usare a livello di codice Python o qualsiasi linguaggio che afferri i dati da un sito
web.
Quindi, per esempio, posso prendere i dati da Amazon, da Airbnb.
Forse da un sito Web di ricette, qualsiasi sito Web può essere raschiato, quindi essenzialmente quando parliamo di scraping Web, intendiamo scaricare una
pagina Web, acquisire i dati da quella pagina Web, ripulirli in qualche modo in modo che siano utili
per noi.
E poi usando quei dati, vedi, ecco come funzionano i siti web.
Abbiamo un browser che usiamo come Chrome e abbiamo un server.
Un server è semplicemente un computer da qualche parte nel mondo che ha tre file necessari per visualizzare una
pagina web.
Abbiamo un file HTML, che è il contenuto del sito web.
Puoi pensarlo come testo e immagini di un sito web.
Abbiamo accesso, che ci dà i colori e lo stile carino che hanno i siti web.
E poi abbiamo JavaScript, che ci permette di avere comportamenti diversi nel nostro sito web, come inviare moduli
o avere menu a tendina.
E tutto ciò che un browser fa come Chrome è dire, ehi, se Andre visita questo sito Web, diciamo che il
browser FIFA dotcom lo saprà quando digito FIFA dotcom che dice, ehi, server, puoi darmi il FIFA
dotcom e- accesso alla posta nei file JavaScript?
E il server dice, sì, nessun problema.
Eccoli.
E poi la pagina viene visualizzata sul nostro browser.
Quindi questi tre file, beh, i dati in essi contenuti sono accessibili a noi, giusto?
Viene visualizzato su una pagina Web.
Quindi questi file sono ora qualcosa che possiamo effettivamente controllare.
Ad esempio, se andiamo sul sito web di FIFA dot com, qui puoi vedere che, beh, abbiamo una
bella pagina con molte informazioni.
È fantastico.
E se io.
Destra.
Fare clic qui e visualizzare l'origine della pagina.
Questa è la pagina HTML del sito FIFA.
Come puoi vedere, è piuttosto lungo.
Ma ha tutti i dati che vediamo in questa pagina.
Ora, i file JavaScript stagionati sono collegati ad esso.
Ma il dato principale che è il testo possono essere le immagini.
Sono tutti qui, quindi, ad esempio, abbiamo le ultime notizie, abbiamo i primi 10 obiettivi.
Dai Mondiali femminili, beh, scopriamolo, diciamo i primi 10 gol.
Dalla Coppa del Mondo femminile, vedete, questo è quello che abbiamo, abbiamo il testo proprio qui.
E il web scraping è semplicemente questo, afferrare questi dati.
E poi rimuovere tutte le parti che non ci interessano e mantenere solo le parti
che ci interessano e il web scraping funziona perché queste informazioni sono pubbliche affinché un sito Web venga visualizzato.
Deve essere pubblico.
Forse ti stai ancora chiedendo perché il web scraping potrebbe essere utile.
Bene, ci sono molti, molti casi per questo.
Ad esempio, collegherò a questa risorsa in cui parla di alcuni dei grandi usi per il Web scraping.
Perché dovremmo demolire un sito web?
E puoi vedere qui, ci sono molte ragioni per cui forse vuoi ottenere contatti.
Cioè, vuoi raccogliere tutte le e-mail che si trovano su una pagina Web, forse un modulo di contatto, forse
hai un ufficio yoga, un prodotto software, forse andare su ogni singola pagina Web degli studi di yoga e trovare le informazioni
di contatto, raschiare quei dati quindi non devi farlo manualmente.
Forse vuoi trovare tutti i lavori e le posizioni aperte su un sito Web e invece di fare clic manualmente su
pagine diverse, puoi raschiare quei dati.
E ci sono molti, molti casi d'uso nel nostro progetto che creeremo per questa sessione.
In realtà stiamo per raschiare Hacker News, un sito Web molto popolare per molti programmatori, e
lo trasformeremo in qualcosa di ancora più utile per noi da leggere, analizzare e rimanere aggiornati con il nostro
settore.
Ma ci arriveremo tra un po'.
Facciamo una pausa qui e impariamo qualcosa in più sul Web scraping nel prossimo video.