Certo, é hora de começar nosso projeto de notícias de hackers.
Agora, a primeira coisa que vamos fazer é configurar nosso ambiente no meu caso para este projeto,
vou usar texto sublime.
Mas, novamente, use qualquer editor de texto que desejar.
Eu também tenho meu terminal ou prompt de comando aqui e criei um arquivo scrape dot py.
Agora, a primeira coisa que precisamos fazer para fazer o scrape usando Python é, bem, precisamos baixar uma
bela sopa.
Isso é o que nos permite raspar sites, então tudo que vou fazer é um PIP três e quero instalar uma sopa
linda, pois esta é a versão mais recente.
Vou clicar em entrar.
E aí está.
Incrível, temos uma sopa linda instalada.
A outra coisa de que precisamos é a biblioteca de solicitações.
Agora vamos usar muito a biblioteca solicitada neste curso, se você ainda não a tiver em seu
computador.
Novamente, nós apenas o usamos por meio de solicitações.
Essencialmente, ele nos permite pegar arquivos HTML como Hacker News, então.
Bem, vamos fazer três solicitações de instalação do APEP.
Assim que tivermos isso, o que faremos e mostrarei por que tivemos que fazer o
download de ambos, a primeira coisa que faremos é realmente importar a solicitação.
Ou pedidos, e a outra coisa é a sopa linda.
Agora, a maneira como usamos uma sopa bonita é o que dizemos de B. S. para.
Queremos importar.
Bela.
Sopa, eu sei que é meio estranho porque instalamos uma sopa linda para, mas é assim que importamos
depois de instalá-la.
Então, desde antes, importava uma sopa linda.
Agora, por que precisamos dessas duas coisas?
Que bela sopa realmente nos permite usar o A. M. e obter dados diferentes, de modo que
nos permita usar os dados que coletamos para fazer o que quisermos para eliminá-los.
Mas o módulo de solicitações é o que realmente nos permite fazer o download inicialmente.
Então, deixe-me mostrar o que quero dizer.
A primeira coisa que faremos é criar uma nova variável de resposta.
E essa resposta serão as solicitações e o euro dos quais queremos obter os dados, para que você possa pensar nisso
como um navegador da Web que estamos usando sem a janela real.
Porque é isso que o Google Chrome está fazendo por baixo do capô, ele está tentando obter as informações desse
site de um servidor.
Então, vamos voltar aqui e voltar ao Hacker News novamente.
Vamos copiar este link e colá-lo aqui.
Ai está.
Vamos tornar isso um pouco maior assim.
E o que realmente precisamos fazer aqui é dizer não receba, então queremos obter as informações aqui.
Portanto, estamos fazendo uma solicitação get para obter esta página para que agora se, digamos, uma resposta de impressão, eu
salve isso e corra dizendo Python três raspado por.
Tudo bem, recebo uma resposta, uma resposta de duzentos, mas, bem, o que isso significa?
O que estamos essencialmente fazendo aqui é abrir a visualização.
Desenvolvedor e faço ferramentas de desenvolvedor, clico em rede aqui, vamos aumentar um pouco mais.
Lá vamos nós e eu atualizo esta página.
Recebo muitas informações, mas o principal que nos preocupa é este o primeiro noticiário de documento.
Se eu clicar aqui, você verá que é isso que obtemos.
Recebemos um e-mail com todos os dados.
Mas também vimos aqui que a resposta foi duzentos.
Isso significa que está tudo bem.
O servidor respondeu com duzentos e nos deu um documento.
Isso é o que acabamos de receber.
Portanto, aqui podemos realmente dizer o texto do ponto de resposta que obtivemos.
Então, deixe-me executar isso de novo e dar uma olhada nisso.
Temos todo o nosso arquivo de e-mail que exibe o.
Texto aqui porque não nos importamos com estilo, certo?
Não nos importamos muito com o estilo, talvez nem nos importemos com as imagens.
Tudo o que importa é o texto.
E, para nossos propósitos, nos preocupamos com o link real, bem como com os votos que a história tem.
Então, pegamos esses dados e agora o que podemos fazer é usar uma sopa bonita para limpar esses dados.
No momento, há muita informação.
Nós realmente não precisamos disso, precisamos?
Ou, pelo menos, queremos remover todas as informações de que não precisamos, como histórias com menos de
cem pontos.
Por exemplo, este aqui com cento e setenta e seis pontos, definitivamente nos importamos.
Então, vamos fazer uma pausa e ver como podemos usar uma bela sopa a seguir.