Generator Robots.txt

Cara Penggunaan

• Pilih mode buat atau validasi. Gunakan `Buat robots.txt` untuk membangun file baru dari input terstruktur, atau beralih ke `Validasi robots.txt yang ada` jika Anda sudah memiliki draf atau file langsung.
• Masukkan aturan perayapan dan detail sitemap. Tambahkan URL situs publik, `User-agent` utama Anda, satu jalur allow atau disallow per baris, dan bagian khusus bot atau URL sitemap tambahan yang Anda butuhkan.
• Buat laporan. Jalankan alat untuk membangun file akhir, tinjau grup perayap yang diurai, dan periksa peringatan untuk pola berisiko seperti aset yang diblokir atau URL sitemap absolut yang hilang.
• Publikasikan hanya setelah peninjauan. Salin output ketika aturan mencerminkan niat perayapan Anda yang sebenarnya, lalu tempatkan file di `/robots.txt` pada nama host langsung dan uji URL yang telah diterapkan.

Strategi Direktif dan Kesalahan Umum

Kasus Penggunaan Praktis

Pada situs WordPress, aturan umum adalah melarang `/wp-admin/` sambil mengizinkan `/wp-admin/admin-ajax.php`, karena itu menjauhkan sebagian besar layar admin dari jalur perayapan tanpa memblokir endpoint yang sering dibutuhkan. Pada situs e-commerce, robots.txt sering digunakan untuk membatasi pemborosan perayapan dari halaman keranjang, area akun, alur checkout, navigasi faset, atau halaman hasil internal yang dihasilkan oleh parameter sortir dan filter. Pada situs staging, pelarangan sementara di seluruh situs dapat dianggap wajar, tetapi harus dihapus sebelum peluncuran dan diperiksa ulang setelah perubahan DNS atau penerapan.

Validator juga berguna saat mewarisi file dari tim lain. Alat ini dapat menangkap masalah halus seperti baris sitemap non-absolut, direktif `Host` yang salah bentuk, atau nilai `Crawl-delay` yang ditulis sebagai teks biasa alih-alih angka. Detail tersebut penting karena file robots.txt itu sederhana, tetapi kesalahan produksi sering kali sederhana juga.

Apa yang Tidak Dilakukan oleh Robots.txt

Robots.txt adalah file manajemen perayapan, bukan sistem kontrol akses dan bukan sakelar de-indeks yang dijamin. Jika sebuah URL diblokir tetapi ditautkan dari tempat lain, mesin pencari mungkin masih menampilkan URL tersebut di hasil pencarian tanpa merayapi konten lengkapnya. Dokumen sensitif, alat admin, dan lingkungan pribadi harus dilindungi dengan autentikasi, pembatasan jaringan, atau strategi noindex eksplisit pada halaman yang dapat dirayapi. Perbedaan tersebut adalah salah satu kesalahpahaman paling umum dalam percakapan SEO teknis.