Rangkuman Web Crawler & Routing Protocol
Web Crawler
Web Crawler biasa juga disebut Web Spider atau Web Robot merupakan suatu proses untuk melakukan crawl atau merayapi suatu laman atau halaman informasi dari suatu website. Tidak hanya merayapi, web crawler
juga mengambil halaman informasi dari website tersebut.
Fungsi Web Crawler
1.Web crawler digunakan untuk melakukan penelusuran atau merayapi informasi dari suatu website.
2.Web crawler biasa digunakan untuk membuat salinan sebagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.
3.Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.
4.Web crawler
juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email atau nomor telepon.
Contoh Penggunaan Web Crawler di Internet
•Bingbot dari Bing
•Slurp Bot dari Yahoo
•DuckDuckBot dari DuckDuckGO
•Baiduspider dari Baidu (mesin pencari dari China)
•Yandex Bot dari Yandex (mesin pencari dari Rusia)
•Sogou Spider dari Sogou (mesin pencari dari China)
•Exabot dari Exalead
•Alexa Crawler dari Amazon
Macam-macam Crawling Policies
•Revisit Policy : digunakan untuk menentukan biaya yang terkait dengan sumber daya yang using
•Politeness Policy : digunakan agar kinerja situs tidak terlalu terpengaruh ketika perayap web mengunduh sebagian dari situs tersebut
•Parallelization
policy : digunakan untuk mengoordinasikan beberapa perayap web yang merayapi ruang Web yang sama. Tujuannya adalah untuk memaksimalkan kecepatan unduhan sumber daya serta menahan perayap web agar tidak mengunduh halaman yang sama
Routing Protocol
Routing
Protocol adalah komunikasi antar router yang mengizinkan router-router
untuk sharing informasi tentang jaringan dan koneksi antar router. Router menggunakan informasi ini untuk membangun dan memperbaiki table routingnya. Tabel ini berisi jaringan-jaringan dan interface
yang terhubung dengan jaringan tersebut.
Routing
Protocol berbeda dengan Routed
Protocol. Pada dasarnya sebuah routing
protocol menentukan jalur (path) yang dilalui oleh sebuah paket melalui sebuah internerwork.
ada 5 Jenis routing protocol :
1. Routing Information Protocol (RIP)
2. Interior Gateway Routing Protocol
3. Open Short Path First
4. Enhanced Interior Gateway Routing Protocol
5. Border Gateway Protocol
Komentar
Posting Komentar