Mari kita bicara tentang web scraping, salah satu hal yang bisa kita lakukan dengan Python, apa itu web scraping?
Yah, pengikisan web berarti secara terprogram menggunakan Python atau bahasa apa pun yang mengambil data dari situs web.
Jadi, misalnya, saya dapat mengambil data dari Amazon, dari Airbnb.
Dari mungkin situs web resep, situs Web mana pun dapat digores, jadi pada dasarnya ketika kita berbicara tentang pengikisan Web, yang
kita maksudkan adalah mengunduh halaman Web, mengambil data dari halaman Web itu, membersihkannya entah bagaimana sehingga berguna
bagi kita.
Dan kemudian menggunakan data itu, beginilah cara kerja situs web.
Kami memiliki browser yang kami gunakan seperti chrome dan kami memiliki server.
Server hanyalah sebuah komputer di suatu tempat di dunia yang memiliki tiga file yang diperlukan untuk menampilkan halaman
web.
Kami memiliki file HTML, yang merupakan konten dari situs Web.
Anda dapat menganggapnya sebagai teks dan gambar situs web.
Kami memiliki akses, yang memberi kami warna dan gaya cantik yang dimiliki situs web.
Dan kemudian kami memiliki JavaScript, yang memungkinkan kami untuk memiliki perilaku yang berbeda di situs web kami, seperti
mengirimkan formulir atau memiliki menu tarik-turun.
Dan semua browser yang menyukai Chrome mengatakan, hei, jika Andre mengunjungi situs web ini, katakanlah browser dot com FIFA
akan tahu ketika saya mengetik FIFA dotcom yang mengatakan, hei, server, dapatkah Anda memberi saya FIFA
dotcom e- akses email dalam file JavaScript?
Dan server berkata, ya, tidak masalah.
Di sini mereka.
Dan kemudian halaman tersebut ditampilkan ke browser kami.
Jadi ketiga file ini, nah, data di dalamnya bisa kita akses, kan?
Itu akan ditampilkan pada halaman Web.
Jadi file-file ini sekarang adalah sesuatu yang benar-benar dapat kita periksa.
Misalnya, jika kita pergi ke situs FIFA dot com, Anda melihat di sini bahwa, kami memiliki halaman
yang bagus dengan banyak informasi.
Itu keren.
Dan jika saya.
Benar.
Klik di sini dan lihat sumber halaman.
Ini adalah halaman HTML dari situs FIFA.
Seperti yang Anda lihat, itu cukup panjang.
Tetapi memiliki semua data yang kita lihat di halaman ini.
Sekarang, file JavaScript berpengalaman ditautkan ke sana.
Tetapi data utama yang berupa teks mungkin berupa gambar.
Semua ada di sini, jadi, misalnya, kami memiliki berita terbaru, kami memiliki 10 gol teratas.
Dari Piala Dunia Wanita, nah, mari kita cari tahu, katakanlah 10 gol teratas.
Dari Piala Dunia Wanita, Anda tahu, itulah yang kami miliki, kami memiliki teksnya di sini.
Dan pengikisan web hanyalah ini, mengambil data ini.
Dan kemudian menghapus semua bagian yang tidak kami pedulikan dan hanya menyimpan bagian
yang kami pedulikan dan pengikisan web berfungsi karena informasi ini bersifat publik agar situs web dapat ditampilkan.
Itu harus publik.
Mungkin Anda masih bertanya-tanya mengapa web scraping mungkin berguna.
Nah, ada banyak, banyak kasus untuk itu.
Misalnya, saya akan menautkan ke sumber ini di mana ia berbicara tentang beberapa kegunaan besar untuk pengikisan Web.
Mengapa kami ingin menghapus situs web?
Dan Anda dapat melihat di sini, ada banyak alasan mengapa Anda ingin mendapatkan petunjuk.
Artinya, Anda ingin mengumpulkan semua email yang ada di halaman Web, mungkin formulir kontak, mungkin Anda
memiliki kantor yoga, produk perangkat lunak, mungkin pergi ke setiap halaman web studio yoga dan menemukan informasi kontak,
mengikis data itu jadi tidak perlu manual.
Mungkin Anda ingin menemukan semua pekerjaan dan posisi terbuka di situs Web dan alih-alih mengklik secara manual melalui halaman yang
berbeda, Anda dapat mengikis data itu.
Dan ada banyak, banyak kasus penggunaan dalam proyek kami yang akan kami buat untuk sesi ini.
Kami benar-benar akan mengikis Hacker News, situs Web yang sangat populer bagi banyak programmer, dan kami
akan mengubah ini menjadi sesuatu yang lebih berguna bagi kami untuk membaca, menganalisis, dan tetap mengikuti perkembangan industri
kami.
Tapi kita akan membahasnya sebentar lagi.
Mari kita istirahat di sini dan belajar sedikit lebih banyak tentang web scraping di video berikutnya.