Pertemuan 7 : Pengantar Web Science
1.Jelaskan pengertian dan berikan contoh tentang Web Crawler 2.Jelaskan cara kerja dari Web Crawler 3.Jelaskan fungsi dari Web Crawler 4.Jelaskan cara memblokir Web Crawler Jawaban 1.Pengertian web crawler–atau sering juga disebut spiders— adalah sebuah tool untuk mengindeks dan mengunduh konten dari internet, lalu disimpan ke dalam database mesin pencari.Sehingga saat ada orang yang mencari suatu informasi, mesin pencari akan langsung menampilkan hasil yang relevan dari database tersebut. Contoh: Bingbot dari Bing Slurp Bot dari Yahoo DuckDuckBot dari DuckDuckGO Baiduspider dari Baidu (mesin pencari dari China) Yandex Bot dari Yandex (mesin pencari dari Rusia) Sogou Spider dari Sogou (mesin pencari dari China) Exabot dari Exalead Alexa Crawler dari Amazon 2.Internet selalu berubah dan berkembang setiap waktunya. Karena tak memungkinkan untuk mengetahui jumlah pasti berapa banyak halaman yang ada di internet, web crawler ini memulai pekerjaannya berdasarkan daftar link halaman yan