Pemeriksa Ukuran Crawl Googlebot

Pemeriksa Ukuran Crawl Googlebot mengukur ukuran uncompressed dari halaman web atau PDF apa pun untuk memverifikasi apakah masih dalam batas perayapan resmi Googlebot. Ketika sebuah halaman melebihi batas ini, Googlebot memotong konten yang diprosesnya, yang berpotensi menyebabkan informasi penting, data terstruktur, dan tautan diabaikan selama pengindeksan.

Memahami Batas Ukuran Crawl Googlebot

Google mendokumentasikan secara resmi ambang batas ukuran tertentu untuk berbagai jenis file. Ketika Googlebot mencapai batas ini, ia berhenti mengunduh dan hanya memproses konten yang telah diambil:

• HTML dan file yang didukung: Googlebot merayapi 2 MB pertama dari konten yang tidak dikompresi. Ini mencakup dokumen HTML itu sendiri beserta inline CSS dan JavaScript. Sumber daya eksternal (stylesheet, skrip, gambar) diambil secara terpisah, masing-masing dengan batasnya sendiri.
• File PDF: Googlebot merayapi 64 MB pertama dari dokumen PDF. Meskipun batas ini cukup besar, laporan atau katalog PDF yang sangat besar tetap harus diperiksa.

Batas-batas ini berlaku untuk ukuran konten yang tidak dikompresi (uncompressed), bukan ukuran transfer terkompresi yang mungkin Anda lihat di alat jaringan. Meskipun server Anda mengirimkan respons terkompresi gzip, Googlebot tetap mengukur ukuran penuh setelah didekompresi.

Mengapa Ukuran Halaman Penting untuk SEO

Pemotongan Pengindeksan

Jika halaman Anda melebihi batas ukuran, segala sesuatu di luar ambang tersebut tidak terlihat oleh Google. Hal ini dapat menyebabkan:

• Konten isi yang penting tidak terindeks
• Data terstruktur (skema JSON-LD) di bagian bawah halaman terlewatkan
• Tautan internal di footer atau navigasi bawah tidak ditemukan
• Hasil kaya (rich results) dan fitur pencarian tidak muncul di hasil pencarian

Penyebab Umum Halaman Berukuran Besar

• Inline CSS/JavaScript yang berlebihan: Framework besar atau pustaka komponen yang tertanam langsung di HTML
• Konten Server-side rendered (SSR): SPA yang melakukan serialisasi data payload besar ke dalam HTML
• Halaman daftar produk yang panjang: Halaman kategori e-commerce dengan ratusan produk
• Komentar HTML yang bertele-tele: Alat build yang menyisipkan blok komentar besar
• Data tertanam: Gambar terenkode Base64 atau data JSON besar di sumber halaman

Cara Kerja Alat Ini

1. Ambil dengan UA Googlebot: Alat ini meminta URL Anda menggunakan string user agent resmi Googlebot, meminta konten uncompressed (Accept-Encoding: identity) untuk mengukur ukuran uncompressed yang sebenarnya.
2. Deteksi jenis konten: Secara otomatis mendeteksi apakah responsnya berupa HTML atau PDF dan menerapkan batas yang sesuai (2 MB atau 64 MB).
3. Ukur dan analisis: Ukuran konten uncompressed diukur dan dibandingkan dengan batas tersebut. Untuk HTML, rincian inline CSS, JavaScript, dan komentar disediakan.
4. Pelacakan pengalihan: Setiap pengalihan HTTP (301, 302, dll.) dideteksi dan ditampilkan, menunjukkan rantai pengalihan lengkap dari URL asli ke URL akhir.

Cara Mengurangi Ukuran Halaman

Pindahkan Kode Inline ke File Eksternal

Optimasi yang paling efektif adalah memindahkan blok <style> dan <script> inline yang besar ke file CSS dan JavaScript eksternal. Setiap file eksternal mendapatkan batas 2 MB-nya sendiri dan akan disimpan di cache oleh peramban.

Hapus Konten yang Tidak Perlu

• Hapus komentar HTML dari build produksi
• Hapus blok konten yang tersembunyi atau duplikat
• Minifikasi inline CSS dan JavaScript
• Hapus atribut data yang tidak terpakai dan elemen kosong

Optimalkan Struktur Halaman

• Gunakan paginasi untuk halaman konten yang panjang daripada scroll tanpa batas (infinite scroll)
• Gunakan lazy-load untuk bagian konten di bawah lipatan (below-the-fold)
• Kurangi kedalaman DOM dan jumlah elemen
• Pindahkan payload data besar ke endpoint API

Cara Memeriksa Ukuran Halaman Anda Terhadap Batas Googlebot

1. Masukkan URL Anda: Ketik atau tempel URL lengkap halaman yang ingin Anda periksa ke kolom input. Alat ini menerima URL HTTP dan HTTPS.
2. Klik Periksa Ukuran: Klik tombol "Periksa Ukuran Crawl". Alat ini akan mengambil halaman menggunakan string user agent Googlebot dan mengukur ukuran konten yang tidak dikompresi.
3. Tinjau hasilnya: Lihat indikator visual yang menunjukkan ukuran halaman Anda relatif terhadap batas, analisis rincian konten, dan rekomendasi spesifik untuk optimasi jika diperlukan.

Pertanyaan yang Sering Diajukan

Apa saja batas ukuran crawl Googlebot?

Googlebot merayapi 2 MB pertama dari HTML dan jenis file yang didukung (seperti CSS dan JavaScript). Untuk file PDF, Googlebot merayapi 64 MB pertama. Konten apa pun di luar batas ini mungkin tidak diproses atau diindeks oleh Google. Batas ini berlaku untuk ukuran file yang tidak dikompresi, bukan ukuran transfer yang dikompresi.

Apa yang terjadi jika halaman saya melebihi batas ukuran Googlebot?

Jika halaman Anda melebihi batas ukuran crawl, Googlebot hanya akan memproses konten dalam batas tersebut dan mengabaikan sisanya. Ini berarti konten penting, data terstruktur, atau tautan di bagian bawah halaman mungkin tidak diindeks. Hal ini dapat menyebabkan pengindeksan yang tidak lengkap, hilangnya fitur pencarian (seperti rich results), dan performa SEO yang buruk.

Apakah batas 2 MB berlaku untuk konten yang dikompresi atau tidak dikompresi?

Batas 2 MB berlaku untuk konten yang tidak dikompresi (uncompressed). Meskipun server Anda mengirimkan respons terkompresi (gzip atau brotli), Googlebot mengukur ukuran uncompressed setelah dekompresi. Alat ini meminta konten uncompressed untuk memberi Anda pengukuran akurat tentang apa yang sebenarnya diproses oleh Googlebot.

Bagaimana cara mengurangi ukuran halaman saya agar sesuai dengan batas Googlebot?

Untuk mengurangi ukuran halaman: (1) Pindahkan inline CSS ke stylesheet eksternal, (2) Pindahkan inline JavaScript ke file eksternal, (3) Hapus komentar HTML yang tidak perlu, (4) Minimalkan kedalaman dan kompleksitas DOM, (5) Gunakan server-side rendering secara selektif, (6) Gunakan lazy-load untuk konten non-kritis, (7) Hapus konten tersembunyi atau duplikat, (8) Gunakan paginasi untuk halaman konten yang sangat panjang.

Apakah Googlebot merayapi file CSS dan JavaScript eksternal secara terpisah?

Ya, Googlebot mengambil setiap sumber daya CSS, JavaScript, dan gambar eksternal secara individual. Setiap sumber daya eksternal memiliki batas 2 MB masing-masing. Hanya gaya inline dan skrip di dalam dokumen HTML yang dihitung terhadap batas 2 MB halaman utama. Itulah sebabnya memindahkan kode inline yang besar ke file eksternal adalah strategi optimasi yang efektif.

Sumber Daya Tambahan

• Google Search Central - Ringkasan Googlebot