Rangkuman Web Crawler & Routing Protocol

Web Crawler

Web Crawler biasa juga disebut Web Spider atau Web Robot merupakan suatu proses untuk melakukan crawl atau merayapi suatu laman atau halaman informasi dari suatu website. Tidak hanya merayapi, web crawler juga mengambil halaman informasi dari website tersebut.

Fungsi Web Crawler

1.Web crawler digunakan untuk melakukan penelusuran atau merayapi informasi dari suatu website.
2.Web crawler biasa digunakan untuk membuat salinan sebagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.
3.Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.

4.Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email atau nomor telepon.

Contoh Penggunaan Web Crawler di Internet

•Bingbot dari Bing 
•Slurp Bot dari Yahoo 
•DuckDuckBot dari DuckDuckGO 
•Baiduspider dari Baidu (mesin pencari dari China) 
•Yandex Bot dari Yandex (mesin pencari dari Rusia) 
•Sogou Spider dari Sogou (mesin pencari dari China) 
•Exabot dari Exalead 
•Alexa Crawler dari Amazon

 Macam-macam Crawling Policies

•Selection Policy  : digunakan untuk menentukan sumber daya mana yang relevan untuk diunduh

•Revisit Policy   : digunakan untuk menentukan biaya yang terkait dengan sumber daya yang using

•Politeness Policy  : digunakan agar kinerja situs tidak terlalu terpengaruh ketika perayap web mengunduh sebagian dari situs tersebut 
          Parallelization policy : digunakan untuk mengoordinasikan beberapa perayap web yang merayapi ruang Web yang sama. Tujuannya adalah untuk memaksimalkan kecepatan unduhan sumber daya serta menahan perayap web agar tidak mengunduh halaman yang sama
 

Routing Protocol

Routing Protocol adalah komunikasi antar router yang mengizinkan router-router untuk sharing informasi tentang jaringan dan koneksi antar router.  Router menggunakan informasi  ini untuk membangun dan memperbaiki table routingnya. Tabel  ini berisi jaringan-jaringan dan interface yang terhubung dengan jaringan tersebut.

Routing Protocol berbeda dengan Routed Protocol. Pada dasarnya sebuah routing protocol menentukan jalur (path) yang dilalui oleh sebuah paket melalui sebuah internerwork.
ada 5 Jenis routing protocol :
1. Routing Information Protocol (RIP)
2. Interior Gateway Routing Protocol
3. Open Short Path First
4. Enhanced Interior Gateway Routing Protocol
5. Border Gateway Protocol  

Tabel Perbandingan Routing Protocol

Komentar

Postingan populer dari blog ini

Pengukuran Website dan Esensi Web

Profil Perusahaan Gojek

Cara Membuat Pitch Deck yang Menarik