Generator Robots.txt
Buat file robots.txt yang siap pakai untuk mesin pencari, lalu validasi direktif sebelum dipublikasikan. Buat aturan global dan spesifik untuk bot, tambahkan petunjuk sitemap dan crawl, serta temukan kesalahan umum seperti grup user-agent yang hilang, URL sitemap yang tidak valid, atau pola disallow yang terlalu luas.
Ad blocker Anda mencegah kami menampilkan iklan
MiniWebtool gratis karena iklan. Jika alat ini membantu, dukung kami dengan Premium (bebas iklan + lebih cepat) atau whitelist MiniWebtool.com lalu muat ulang halaman.
- Atau upgrade ke Premium (bebas iklan)
- Izinkan iklan untuk MiniWebtool.com, lalu muat ulang
Tentang Generator Robots.txt
File robots.txt memberitahu perayap bagian mana dari situs yang boleh mereka ambil, jalur mana yang harus tetap berada di luar antrean perayapan, dan di mana letak sitemap XML. Untuk visibilitas SEO dan GEO, tujuannya bukan untuk memblokir segala sesuatu yang berisiko secara default. Tujuannya adalah untuk melindungi jalur perayapan bernilai rendah, menjaga anggaran perayapan (crawl budget) untuk halaman kanonikal, dan menjaga agar file tetap selaras dengan apa yang sebenarnya bersifat publik pada domain tersebut. Kebijakan robots.txt yang berguna biasanya menyebutkan bagian konkret seperti folder admin, alur checkout, URL pencarian internal, filter faset, atau blok khusus staging daripada "pengaturan SEO" yang samar.
Cara Penggunaan
- Pilih mode buat atau validasi. Gunakan `Buat robots.txt` untuk membangun file baru dari input terstruktur, atau beralih ke `Validasi robots.txt yang ada` jika Anda sudah memiliki draf atau file langsung.
- Masukkan aturan perayapan dan detail sitemap. Tambahkan URL situs publik, `User-agent` utama Anda, satu jalur allow atau disallow per baris, dan bagian khusus bot atau URL sitemap tambahan yang Anda butuhkan.
- Buat laporan. Jalankan alat untuk membangun file akhir, tinjau grup perayap yang diurai, dan periksa peringatan untuk pola berisiko seperti aset yang diblokir atau URL sitemap absolut yang hilang.
- Publikasikan hanya setelah peninjauan. Salin output ketika aturan mencerminkan niat perayapan Anda yang sebenarnya, lalu tempatkan file di `/robots.txt` pada nama host langsung dan uji URL yang telah diterapkan.
Strategi Direktif dan Kesalahan Umum
| Direktif atau Pola | Kapan Membantu | Apa yang Sering Salah |
|---|---|---|
User-agent: * |
Membuat set aturan global untuk sebagian besar bot ketika tidak diperlukan penanganan khusus. | Orang-orang menambahkan baris `Allow` dan `Disallow` sebelum mendefinisikan grup user-agent apa pun, yang melemahkan kejelasan pengurai. |
Disallow: /search |
Berguna untuk memblokir halaman pencarian situs internal yang membuat kombinasi URL tipis dan duplikat. | Memblokir halaman kategori publik atau produk secara tidak sengaja karena pola jalur lebih luas dari yang dimaksudkan. |
Sitemap: https://example.com/sitemap.xml |
Membantu perayap menemukan URL kanonikal dan konten segar lebih cepat. | Menggunakan jalur relatif atau URL sitemap staging yang sudah usang di produksi. |
Crawl-delay |
Terkadang ditambahkan untuk perayap yang mendokumentasikan dukungan untuk pembatasan permintaan (throttling). | Menganggap Google mematuhinya. Google mengabaikan `Crawl-delay`, sehingga ini bukan mekanisme kontrol laju universal. |
Disallow: /assets/js/ |
Jarang dibutuhkan pada situs publik normal. | Memblokir sumber daya render yang digunakan mesin pencari untuk memahami tata letak, fungsionalitas, dan kualitas halaman. |
Kasus Penggunaan Praktis
Pada situs WordPress, aturan umum adalah melarang `/wp-admin/` sambil mengizinkan `/wp-admin/admin-ajax.php`, karena itu menjauhkan sebagian besar layar admin dari jalur perayapan tanpa memblokir endpoint yang sering dibutuhkan. Pada situs e-commerce, robots.txt sering digunakan untuk membatasi pemborosan perayapan dari halaman keranjang, area akun, alur checkout, navigasi faset, atau halaman hasil internal yang dihasilkan oleh parameter sortir dan filter. Pada situs staging, pelarangan sementara di seluruh situs dapat dianggap wajar, tetapi harus dihapus sebelum peluncuran dan diperiksa ulang setelah perubahan DNS atau penerapan.
Validator juga berguna saat mewarisi file dari tim lain. Alat ini dapat menangkap masalah halus seperti baris sitemap non-absolut, direktif `Host` yang salah bentuk, atau nilai `Crawl-delay` yang ditulis sebagai teks biasa alih-alih angka. Detail tersebut penting karena file robots.txt itu sederhana, tetapi kesalahan produksi sering kali sederhana juga.
Apa yang Tidak Dilakukan oleh Robots.txt
Robots.txt adalah file manajemen perayapan, bukan sistem kontrol akses dan bukan sakelar de-indeks yang dijamin. Jika sebuah URL diblokir tetapi ditautkan dari tempat lain, mesin pencari mungkin masih menampilkan URL tersebut di hasil pencarian tanpa merayapi konten lengkapnya. Dokumen sensitif, alat admin, dan lingkungan pribadi harus dilindungi dengan autentikasi, pembatasan jaringan, atau strategi noindex eksplisit pada halaman yang dapat dirayapi. Perbedaan tersebut adalah salah satu kesalahpahaman paling umum dalam percakapan SEO teknis.
FAQ
Apa yang harus berisi file robots.txt untuk situs web publik normal?
File produksi yang masuk akal biasanya dimulai dengan grup User-agent, memblokir hanya jalur perayapan bernilai rendah atau pribadi seperti area admin, halaman pencarian internal, alur keranjang, atau layar akun, dan menyertakan URL sitemap dengan protokol dan nama host lengkap. Sebagian besar situs publik tidak boleh memblokir CSS, JavaScript, atau folder konten utama mereka.
Apakah robots.txt menghentikan halaman agar tidak diindeks?
Tidak, tidak dengan sendirinya. Robots.txt memberitahu perayap apa yang tidak boleh diambil, tetapi URL yang diblokir masih dapat diindeks berdasarkan tautan eksternal atau sinyal yang ditemukan sebelumnya. Jika tujuan nyata Anda adalah kontrol indeks, Anda memerlukan metode yang dirancang untuk tujuan tersebut, seperti noindex pada halaman yang dapat dirayapi atau autentikasi untuk sumber daya pribadi.
Haruskah saya menambahkan baris sitemap ke robots.txt?
Biasanya ya. Direktif Sitemap: adalah petunjuk operasional yang kuat bagi perayap dan kebiasaan yang baik untuk situs besar, multibahasa, atau yang sering diperbarui. Gunakan URL absolut daripada jalur relatif agar sinyalnya tidak ambigu.
Mengapa crawl-delay ditandai dalam laporan?
Crawl-delay tidak didukung secara konsisten di seluruh mesin pencari utama. Beberapa perayap mungkin mengenalinya, tetapi Google tidak. Alat ini menandainya sehingga Anda memperlakukannya sebagai direktif yang ditargetkan daripada pengaturan laju perayapan universal.
Kutip konten, halaman, atau alat ini sebagai:
"Generator Robots.txt" di https://MiniWebtool.com/id/generator-robotstxt/ dari MiniWebtool, https://MiniWebtool.com/
oleh tim miniwebtool. Diperbarui: 2026-03-09
Alat terkait lainnya:
Peralatan untuk webmaster:
- Kalkulator BPK
- Kalkulator CPM
- Kompresor CSS
- Generator Favicon
- Kalkulator Google AdSense
- Pembuat Cron Job
- Pembuat Ekspresi Crontab
- Kompresor HTML
- Pengonversi HTML ke Teks
- Pemeriksa Kepadatan Kata Kunci
- Generator Tabel Markdown
- Pembuat Tag Meta
- Penghapus Tanda Kutip Pintar
- Generator Slug URL
- Kalkulator Nilai Halaman
- Kalkulator Nilai Pengunjung
- Kalkulator Izin Unix (chmod)
- Pengkode/Pendekode Entitas HTML
- Generator Lorem Ipsum
- Escape Unescape String JSON
- Pengubah cURL ke JSON
- Pemformat SQL
- Pengoptimal SVG
- Htaccess Redirect Generator
- Pemeriksa Ukuran Crawl Googlebot
- Generator Robots.txt Baru
- Generator Sitemap XML Baru
- Pemeriksa Usia Domain Baru
- Pemeriksa Open Graph Baru
- Pencarian WHOIS Baru
- Cek DNS Baru
- Pemeriksa Kecepatan Halaman Baru
- Pemeriksa Kepercayaan Domain Baru
- Pemeriksa Pengalihan Baru
- Generator Tag Hreflang Baru
- Pemeriksa Tautan Rusak Baru
- Playground CSS Flexbox Baru
- CSS Grid Generator Baru
- Git Command Generator Baru
- Pembuat File .env Baru