Mengenal Googlebot: Penjelajah Web dari Google

googlebot


Admin web memainkan peran penting dalam mengelola dan mengoptimalkan kinerja situs web mereka agar dapat terlihat dan diindeks dengan baik oleh mesin pencari, terutama oleh Google. Salah satu aspek yang sangat penting untuk dipahami oleh admin web adalah cara kerja Googlebot, penjelajah web dari Google yang bertanggung jawab untuk mengumpulkan informasi dari setiap halaman web yang ada di internet. 

Memahami bagaimana Googlebot beroperasi akan membantu admin web untuk mengoptimalkan pengalaman pengguna, meningkatkan visibilitas situs dalam hasil pencarian, serta menerapkan praktik SEO yang efektif.

Googlebot adalah nama umum untuk dua jenis penjelajah web yang dimiliki oleh Google:

1. Googlebot Smartphone

Googlebot Smartphone adalah penjelajah web versi mobile yang mensimulasikan pengguna pada perangkat mobile. Hal ini memungkinkan Google untuk mengindeks versi konten yang dioptimalkan untuk pengguna mobile.

2. Googlebot Desktop

Googlebot Desktop adalah penjelajah web versi desktop yang mensimulasikan pengguna pada perangkat komputer atau laptop. Meskipun versi desktop, Googlebot ini juga tetap relevan dalam pengindeksan konten.

Identifikasi Googlebot

Anda dapat mengidentifikasi jenis Googlebot yang mengakses situs Anda dengan melihat header permintaan user-agent HTTP dalam permintaan. Namun demikian, baik Googlebot Smartphone maupun Googlebot Desktop mengikuti token produk yang sama dalam file robots.txt, sehingga tidak mungkin untuk secara selektif menargetkan salah satu dari keduanya menggunakan robots.txt.

Bagaimana Googlebot Mengakses Situs Anda

Untuk sebagian besar situs, Googlebot seharusnya tidak mengakses situs Anda lebih dari sekali setiap beberapa detik rata-rata. Namun, terkadang keterlambatan mungkin membuat laju kunjungan terlihat sedikit lebih tinggi dalam periode pendek.

Googlebot dirancang untuk dijalankan secara simultan oleh ribuan mesin untuk meningkatkan kinerja dan skala seiring dengan pertumbuhan web. Untuk mengurangi penggunaan bandwidth, Google menjalankan banyak penjelajah di mesin yang berlokasi dekat dengan situs-situs yang mungkin dijelajahi. Tujuannya adalah untuk mengindeks sebanyak mungkin halaman dari situs Anda pada setiap kunjungan tanpa membebani server Anda. Jika situs Anda mengalami kesulitan untuk mengatasi permintaan pengindeksan dari Google, Anda dapat mengurangi laju pengindeksannya.

Googlebot sebagian besar melakukan pengindeksan dari alamat IP di Amerika Serikat. Namun, jika Googlebot mendeteksi bahwa sebuah situs memblokir permintaan dari Amerika Serikat, ia dapat mencoba melakukan pengindeksan dari alamat IP yang berlokasi di negara lain.

Protokol Pengindeksan

Googlebot melakukan pengindeksan melalui protokol HTTP/1.1 dan, jika didukung oleh situs, juga melalui HTTP/2. Tidak ada keuntungan peringkat berdasarkan versi protokol yang digunakan untuk mengindeks situs Anda; namun pengindeksan melalui HTTP/2 dapat menghemat sumber daya komputasi (misalnya CPU, RAM) untuk situs Anda dan Googlebot.

Batasan Ukuran File

Googlebot dapat mengindeks hingga 15MB pertama dari sebuah file HTML atau file teks yang didukung lainnya. Setiap sumber daya yang dirujuk dalam HTML seperti CSS dan JavaScript diambil secara terpisah, dan setiap pengambilan terikat oleh batas ukuran file yang sama. Setelah 15MB pertama dari file, Googlebot akan berhenti mengindeks dan hanya mengirimkan 15MB pertama untuk pertimbangan indeksasi.

Blokir Googlebot dari Situs Anda

Jika Anda ingin mencegah Googlebot mengakses konten di situs Anda, Anda memiliki beberapa opsi. Namun, penting untuk dicatat bahwa memblokir Googlebot dari mengindeks sebuah halaman tidak mencegah halaman tersebut muncul dalam hasil pencarian:

  • Untuk mencegah Googlebot mengindeks halaman? Gunakan file robots.txt.
  • Tidak ingin Google mengindeks halaman? Gunakan tag noindex.
  • Ingin mencegah halaman dapat diakses sama sekali baik oleh penjelajah maupun pengguna? Gunakan metode lain seperti perlindungan kata sandi.

Verifikasi Googlebot

Sebelum Anda memutuskan untuk memblokir Googlebot, penting untuk memverifikasi bahwa permintaan yang bermasalah benar-benar berasal dari Googlebot. Cara terbaik untuk memverifikasi bahwa permintaan berasal dari Googlebot adalah dengan melakukan pencarian reverse DNS pada IP sumber permintaan atau mencocokkan IP sumber dengan rentang IP Googlebot yang tersedia.

Dengan memahami cara kerja Googlebot, Anda dapat mengoptimalkan pengalaman pengguna dan indeksasi konten situs Anda dengan lebih baik sesuai dengan kebutuhan dan strategi SEO Anda.

Posting Komentar

Lebih baru Lebih lama