Web Crawler là gì?

Hôm này ngồi cafe buồn quá, chẳng biết làm gì, ngồi nghĩ 1 cái đơn giản để viết. Vào muare xem có gì vui không, gặp ngay quảng cáo trang 123go.vn. Thấy nó kêu “sử dụng công nghệ tìm kiếm tin đăng rao vặt từ tất cả các webiste rao vặt, giúp bạn dễ dàng tìm thấy thông tin rao vặt mình cần chỉ với 1 lần click chuột“. Đến đây mới thấy là các kiểu website này ở VN đang bắt đầu mọc lên rồi. Đó là các website thu thập dữ liệu, lọc dữ liệu, tìm kiếm dữ liệu từ những website có sẵn trên mạng với nguồn dữ liệu lớn ví dụ như Google, Youtube, MySpace,…

Nhân tiện nghĩ đến cái thuật ngữ Web Crawler mà lần đầu tiên mình biết và trực tiếp làm nó là năm 2006. Thuật ngữ khác của Web Crawler có thể dễ hiểu hơn là Web Spider hoặc Web Robot. Được hiểu nó là 1 chương trình hoặc các đoạn mã có khả năng tự động duyệt các trang web # theo 1 phương thức, cách thức tự động. Những từ dùng để chỉ thuật ngữ Web Crawler như ants, automatic indexers, bots, and worms.

Quá trình thực hiện được gọi là Web crawling hay spidering, rất nhiều các công cụ tìm kiếm trên thế giới sử dụng spidering để cập nhật kho dữ liệu website của mình. Chẳng hạn như google dùng nó để lấy các thông tin trên các website ồi cập nhật vào cơ sở dữ liệu của nó giúp người dùng search ra các trang theo ý muốn.

Web crawler là 1 loại của cái gọi là bot (là 1 tác tử thực hiện tự động, đại loại nghĩa giống như spider). Đại loại, nó bắt đầu từ danh sách các địa chỉ URL được gọi là seeds (hạt giống). Nó sẽ vào các địa chỉ này lọc thông tin rồi tìm ra các địa chỉ URL khác thêm chúng vào danh sách các địa chỉ đã duyệt qua gọi là crawl frontier. Sau nó nó lại lặp lại quá trình đó duyệt qua những URL mới. Cứ thế, cứ thể nó lần qua rất nhiều địa chỉ website và thu thập rất nhiều nội dung khác nhau giúp ta dễ dàng tìm kiếm thông tin mình cần.

Trên thế giới những web crawler rất nhiều và áp dụng vào rất nhiều loại hình website khác nhau như: web xxx, web rao vặt, web so sánh giá, web tổng hợp tin tức, web tìm kiếm,…

Ở Việt Nam cũng đã xuất hiện khá nhiều như:

- Web so sánh giá cả aha.vn

- Web tổng hợp tìm kiếm rao vặt 123g0.com

- Web tổng hợp tin tức như: baomoi.com, timnhanh.com,…

- Web tổng hợp nhạc, tìm kiếm nhạc như: baamboo.com, mp3.zing.vn, 7sac.com

- Web tổng hợp tìm kiếm như: vnnsearch.com, vnsearch.net,…

- Và còn có thể có nhiều trang web nữa mà tôi chưa biết…

Trong tương lai việc lọc các tin tức trên internet sẽ là rất quan trọng giúp cho người sử dụng dễ dàng tìm được cái minh muốn. Internet ngày càng lớn mạnh cũng có người là lượng thông tin ngày càng nhiều và càng trở nên hỗn độn hơn. Hy vọng sẽ có nhiều website tốt hơn cho người dùng internet.