Bem vindo de volta.
Para aprender sobre web scraping, vamos construir um projeto útil que possamos usar e talvez até
adicionar ao nosso portfólio.
O que eu quero construir é uma versão melhor das notícias de um hacker.
Você vê todas as manhãs como um programador, eu acordo e costumo ler Hacker News porque é
uma ótima maneira de me manter atualizado com a indústria e apenas aprender sobre notícias gerais de programação.
Eles têm alguns artigos muito, muito bons aqui.
E muitos programadores usam Hacker News como uma forma de se manterem atualizados com a indústria.
Esta página contém muitas informações.
Na verdade, toda vez que você atualiza, é um novo tópico.
E você acha que se eu for para a nova guia aqui, por exemplo, você vê isso?
Essas histórias, conforme eu atualizo novas histórias, são adicionadas constantemente, então é um site muito rápido porque muitas pessoas postam
notícias como o Cierra para ganhar força porque há tantos leitores aqui.
Agora, para não ficar confuso, normalmente só gosto de ler ou verificar as histórias que
têm mais de 100 pontos.
Ou seja, eles foram carregados por usuários.
Então vamos construir a ferramenta usando Web scraping que quando eu acordar de manhã em vez de
ter que rolar e descobrir todas as histórias que têm mais de cem pontos,
porque essas são as mais populares, talvez as mais importantes, vamos raspe esses dados e, em seguida, remova todas as histórias que terão menos
de cem pontos para que eu possa me concentrar apenas na notícia importante.
Parece muito emocionante, certo?
Esse é um ótimo uso do Python para tornar nossa vida mais fácil.
Agora, depois de terminarmos com este projeto, existem muitas maneiras de aplicar esse conhecimento.
Por exemplo, uma das coisas que o Hacker News tem é que todos os meses eles têm um quem está contratando, onde
as empresas publicam oportunidades de emprego para programadores.
Portanto, um bom projeto pode ser aproveitar esses dados de empresas que publicam diferentes oportunidades de trabalho e talvez
tentar descobrir quais são as tendências.
Que tipo de programador é mais íntimo?
Ei, os programadores Python são os mais procurados?
Talvez rastreando e descobrindo quantas vezes a palavra python é mencionada, ou talvez os programadores de Java ou JavaScript sejam
os mais comuns?
E talvez você possa criar um site que monitore as tendências de diferentes postagens para ver, bem, que habilidade você deve aprender para se manter
atualizado e ter certeza de que é a habilidade mais íntima.
Apenas uma ideia.
Mas vamos nos concentrar nisso por enquanto.
Para que possamos raspar este site, queremos usar uma ferramenta chamada Beautiful Soup.
E uma bela sopa é o que podemos usar em Python, é uma biblioteca que podemos usar em Python para copiar
sites.
Eles têm um site da velha escola aqui, mas é uma ferramenta muito útil que a maioria dos projetos de Web scraping
usam.
Então, no próximo vídeo, vamos sujar as mãos.
Vamos aprender sobre sopa bonita e começar a criar nosso projeto de Web scraping com Hacker News.
Vamos começar.