Rangkuman Web Crawler & Routing Protocol
Web Crawler Web Crawler biasa juga disebut Web Spider atau Web Robot merupakan suatu proses untuk melakukan crawl atau merayapi suatu laman atau halaman informasi dari suatu website. Tidak hanya merayapi, web crawler juga mengambil halaman informasi dari website tersebut. Fungsi Web Crawler 1.Web crawler digunakan untuk melakukan penelusuran atau merayapi informasi dari suatu website. 2.Web crawler biasa digunakan untuk membuat salinan sebagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan. 3.Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web. 4.Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email atau nomor telepon. Contoh Penggunaan Web Crawler di Internet •Bingbot dari Bing •Slurp Bot dari Yahoo •DuckDuckBot dari DuckDuckGO •Baiduspider dari Baidu (mesin pencar...