Hãy nói về việc nạo web.
Một trong những điều chúng ta có thể làm với Python.
Tìm kiếm web là gì?
Chà, tìm kiếm web đơn giản có nghĩa là lập trình sử dụng Python hoặc bất kỳ ngôn ngữ nào để lấy dữ liệu từ một trang
web.
Vì vậy, ví dụ, tôi có thể lấy dữ liệu từ Amazon, từ Airbnb.
Có thể là từ một trang web công thức, bất kỳ trang web nào cũng có thể bị loại bỏ.
Vì vậy, về cơ bản khi chúng ta nói về việc quét web, chúng ta có nghĩa là tải xuống một trang Web, lấy dữ liệu
từ trang web đó, làm sạch nó bằng cách nào đó để nó hữu ích cho chúng ta và sau đó sử dụng dữ liệu đó.
Bạn thấy đấy, đây là cách các trang web hoạt động.
Chúng tôi có một trình duyệt mà chúng tôi sử dụng như chrome và chúng tôi có một máy chủ.
Máy chủ chỉ đơn giản là một máy tính ở đâu đó trên thế giới có ba tệp cần thiết để hiển thị một
trang web.
Chúng tôi có một tệp HTML, là nội dung của trang web.
Bạn có thể coi đó là văn bản và hình ảnh của một trang web.
Chúng tôi có CSS, cung cấp cho chúng tôi màu sắc và kiểu dáng đẹp mà các trang web có.
Và sau đó, chúng tôi có JavaScript cho phép chúng tôi thực hiện các hành vi khác nhau trong trang
web của mình, như gửi biểu mẫu hoặc có menu thả xuống và tất cả những gì một trình duyệt làm như chrome.
Nói, Này, nếu Andre truy cập trang web này, hãy giả sử Fifa. trình duyệt com sẽ biết khi tôi
nhập Fifa. com nói rằng Này máy chủ, bạn có thể cho tôi fifa được không. com?
Các tệp HTML, CSS và JavaScript.
Và máy chủ nói Yep, không vấn đề gì, chúng đây.
Và sau đó trang được hiển thị trên trình duyệt của chúng tôi.
Vì vậy, ba tệp này, tốt, dữ liệu trong chúng có thể truy cập được cho chúng ta, phải không?
Nó được hiển thị trên một trang web.
Vì vậy, những tệp này bây giờ là một cái gì đó mà chúng tôi thực sự có thể kiểm tra.
Ví dụ, nếu chúng ta vào Fifa. trang web com, bạn thấy ở đây tốt, chúng tôi có một trang đẹp
với rất nhiều thông tin.
Thật tuyệt.
Và nếu tôi nhấp chuột phải vào đây và xem nguồn trang, đây là trang HTML của trang web FIFA.
Như bạn có thể thấy, nó khá dài.
Nhưng nó có tất cả dữ liệu mà chúng ta thấy trong trang này.
Bây giờ các tệp CSS và JavaScript được liên kết với nó.
Nhưng dữ liệu chính là văn bản có thể là hình ảnh.
Tất cả đều ở đây.
Vì vậy, ví dụ, chúng tôi có tin tức mới nhất.
Chúng tôi có mười mục tiêu hàng đầu.
Từ Giải vô địch bóng đá nữ thế giới.
Vâng, chúng ta hãy tìm hiểu.
Giả sử mười mục tiêu hàng đầu.
Từ Giải vô địch bóng đá nữ thế giới.
Bạn thấy đấy, đó là những gì chúng tôi có.
Chúng tôi có văn bản ngay tại đây.
Và việc nạo web chỉ đơn giản là lấy dữ liệu này.
Và sau đó loại bỏ tất cả các bộ phận mà chúng ta không quan tâm và chỉ giữ lại các bộ phận mà chúng ta quan tâm.
Và web cạo hoạt động vì thông tin này được công khai.
Để một trang web được hiển thị, nó phải được công khai.
Có thể bạn vẫn đang thắc mắc tại sao việc tìm kiếm trên web có thể hữu ích.
Chà, có rất nhiều trường hợp cho nó.
Ví dụ: tôi sẽ liên kết đến tài nguyên này, nơi nó nói về một số ứng dụng lớn cho việc tìm kiếm trang web.
Tại sao chúng ta muốn loại bỏ một trang web?
Và bạn có thể thấy ở đây, có rất nhiều lý do.
Có lẽ bạn muốn có được các vệ tinh dẫn đường.
Đó là, bạn muốn thu thập tất cả các email có trên một trang web.
Có thể là một biểu mẫu liên hệ.
Có thể bạn có một sản phẩm phần mềm văn phòng yoga.
Có thể vào từng trang web của các phòng tập yoga và tìm thông tin liên hệ.
Xoá dữ liệu đó để bạn không phải làm thủ công.
Có thể bạn muốn tìm tất cả các công việc và vị trí đang mở trên một trang web và thay vì nhấp chuột qua các trang khác nhau theo cách
thủ công, bạn có thể thu thập dữ liệu đó.
Và có rất nhiều trường hợp sử dụng trong dự án của chúng tôi mà chúng tôi sẽ xây dựng cho phiên này.
Chúng tôi thực sự sẽ lấy tin tức về Hacker, một trang web rất phổ biến đối với nhiều lập trình viên và
chúng tôi sẽ biến điều này thành một thứ thậm chí còn hữu ích hơn để chúng tôi đọc, phân tích và cập nhật trong ngành của
chúng tôi.
Nhưng chúng ta sẽ làm được điều đó sau một chút.
Hãy tạm nghỉ ở đây và tìm hiểu thêm một chút về Web cạo trong video tiếp theo.