Generator Robots.txt

Buat robots.txt siap produksi untuk mesin pencari dan validasi direktifnya sebelum dipublikasikan. Hasilkan aturan global dan khusus bot, tambahkan sitemap dan crawl hint, serta tangkap kesalahan seperti pola disallow yang terlalu luas.

Gratis digunakanTidak perlu mendaftarDiperbarui Mar 2026

Generator Robots.txtCoba sekarang — gratis ▼

▦ Contoh cepat

Muat preset lengkap untuk membuat file robots.txt yang praktis bagi situs langsung, uji kebijakan perayapan e-commerce yang lebih ketat, atau tempelkan file yang sudah ada dan periksa sebelum penerapan.

Mode

Pilih alur kerja

Tindakan Buat file robots.txt baru dari bidang terstruktur, atau validasi file yang sudah Anda miliki.

Dasar

Tentukan konteks situs

URL Situs Digunakan untuk mengubah jalur sitemap menjadi URL absolut seperti `https://example.com/sitemap.xml`.

User-agent utama Gunakan `*` untuk semua perayap, atau targetkan bot tertentu seperti `Googlebot`.

Komentar header Baris komentar opsional untuk bagian atas file yang dihasilkan. Buat tetap operasional dan singkat.

Aturan

Atur jalur allow dan disallow global

Direktif Allow Satu jalur per baris. Contoh: `/` atau `/wp-admin/admin-ajax.php`.

Direktif Disallow Blokir area bernilai rendah seperti `/cart/`, `/checkout/`, `/search`, atau `/admin/` jika sesuai.

Bot

Tambahkan sitemap dan bagian khusus bot

URL Sitemap Satu sitemap per baris. Jalur relatif dikonversi terhadap URL situs.

Blok user-agent tambahan Tempelkan grup `User-agent:` mentah di sini untuk bot gambar, bot iklan, atau aturan staging.

Crawl-delay Opsional. Direktif ini tidak didukung secara seragam di semua mesin pencari.

Host Opsional. Biasanya nama host saja seperti `example.com`.

Direktif Clean-param Aturan pembersihan parameter khusus mesin opsional, satu direktif per baris.

Validasi

Tempelkan file yang ingin Anda periksa

Konten Robots.txt Tempelkan file yang ada persis seperti yang muncul, termasuk komentar dan beberapa grup perayap.

Panduan

Apa yang diperiksa alat ini

Laporan mencari masalah struktural seperti grup `User-agent` yang hilang, URL sitemap non-absolut, nilai `Crawl-delay` non-numerik, dan pola yang mungkin memblokir sumber daya penting atau seluruh situs.

Gunakan robots.txt untuk manajemen perayapan, bukan sebagai penghalang keamanan untuk konten sensitif.
Pencarian internal, keranjang belanja, checkout, dan jalur admin adalah kandidat umum untuk `Disallow`.
Jangan memblokir CSS, JavaScript, atau aset bersama secara sembarangan yang membantu mesin pencari merender halaman.
Publikasikan file akhir di root domain sehingga URL langsung menjadi `https://example.com/robots.txt`.

User-agent Allow / Disallow Sitemap Crawl-delay

Area hasil mencakup file akhir, ringkasan perayapan, dan serangkaian peringatan atau catatan yang dapat Anda tinjau sebelum penerapan.

Embed Generator Robots.txt Widget

Tentang Generator Robots.txt

File robots.txt memberitahu perayap bagian mana dari situs yang boleh mereka ambil, jalur mana yang harus tetap berada di luar antrean perayapan, dan di mana letak sitemap XML. Untuk visibilitas SEO dan GEO, tujuannya bukan untuk memblokir segala sesuatu yang berisiko secara default. Tujuannya adalah untuk melindungi jalur perayapan bernilai rendah, menjaga anggaran perayapan (crawl budget) untuk halaman kanonikal, dan menjaga agar file tetap selaras dengan apa yang sebenarnya bersifat publik pada domain tersebut. Kebijakan robots.txt yang berguna biasanya menyebutkan bagian konkret seperti folder admin, alur checkout, URL pencarian internal, filter faset, atau blok khusus staging daripada "pengaturan SEO" yang samar.

Cara Penggunaan

Pilih mode buat atau validasi. Gunakan `Buat robots.txt` untuk membangun file baru dari input terstruktur, atau beralih ke `Validasi robots.txt yang ada` jika Anda sudah memiliki draf atau file langsung.
Masukkan aturan perayapan dan detail sitemap. Tambahkan URL situs publik, `User-agent` utama Anda, satu jalur allow atau disallow per baris, dan bagian khusus bot atau URL sitemap tambahan yang Anda butuhkan.
Buat laporan. Jalankan alat untuk membangun file akhir, tinjau grup perayap yang diurai, dan periksa peringatan untuk pola berisiko seperti aset yang diblokir atau URL sitemap absolut yang hilang.
Publikasikan hanya setelah peninjauan. Salin output ketika aturan mencerminkan niat perayapan Anda yang sebenarnya, lalu tempatkan file di `/robots.txt` pada nama host langsung dan uji URL yang telah diterapkan.

Strategi Direktif dan Kesalahan Umum

Direktif atau Pola	Kapan Membantu	Apa yang Sering Salah
`User-agent: *`	Membuat set aturan global untuk sebagian besar bot ketika tidak diperlukan penanganan khusus.	Orang-orang menambahkan baris `Allow` dan `Disallow` sebelum mendefinisikan grup user-agent apa pun, yang melemahkan kejelasan pengurai.
`Disallow: /search`	Berguna untuk memblokir halaman pencarian situs internal yang membuat kombinasi URL tipis dan duplikat.	Memblokir halaman kategori publik atau produk secara tidak sengaja karena pola jalur lebih luas dari yang dimaksudkan.
`Sitemap: https://example.com/sitemap.xml`	Membantu perayap menemukan URL kanonikal dan konten segar lebih cepat.	Menggunakan jalur relatif atau URL sitemap staging yang sudah usang di produksi.
`Crawl-delay`	Terkadang ditambahkan untuk perayap yang mendokumentasikan dukungan untuk pembatasan permintaan (throttling).	Menganggap Google mematuhinya. Google mengabaikan `Crawl-delay`, sehingga ini bukan mekanisme kontrol laju universal.
`Disallow: /assets/js/`	Jarang dibutuhkan pada situs publik normal.	Memblokir sumber daya render yang digunakan mesin pencari untuk memahami tata letak, fungsionalitas, dan kualitas halaman.

Kasus Penggunaan Praktis

Pada situs WordPress, aturan umum adalah melarang `/wp-admin/` sambil mengizinkan `/wp-admin/admin-ajax.php`, karena itu menjauhkan sebagian besar layar admin dari jalur perayapan tanpa memblokir endpoint yang sering dibutuhkan. Pada situs e-commerce, robots.txt sering digunakan untuk membatasi pemborosan perayapan dari halaman keranjang, area akun, alur checkout, navigasi faset, atau halaman hasil internal yang dihasilkan oleh parameter sortir dan filter. Pada situs staging, pelarangan sementara di seluruh situs dapat dianggap wajar, tetapi harus dihapus sebelum peluncuran dan diperiksa ulang setelah perubahan DNS atau penerapan.

Validator juga berguna saat mewarisi file dari tim lain. Alat ini dapat menangkap masalah halus seperti baris sitemap non-absolut, direktif `Host` yang salah bentuk, atau nilai `Crawl-delay` yang ditulis sebagai teks biasa alih-alih angka. Detail tersebut penting karena file robots.txt itu sederhana, tetapi kesalahan produksi sering kali sederhana juga.

Apa yang Tidak Dilakukan oleh Robots.txt

Robots.txt adalah file manajemen perayapan, bukan sistem kontrol akses dan bukan sakelar de-indeks yang dijamin. Jika sebuah URL diblokir tetapi ditautkan dari tempat lain, mesin pencari mungkin masih menampilkan URL tersebut di hasil pencarian tanpa merayapi konten lengkapnya. Dokumen sensitif, alat admin, dan lingkungan pribadi harus dilindungi dengan autentikasi, pembatasan jaringan, atau strategi noindex eksplisit pada halaman yang dapat dirayapi. Perbedaan tersebut adalah salah satu kesalahpahaman paling umum dalam percakapan SEO teknis.

FAQ

Apa yang harus berisi file robots.txt untuk situs web publik normal?

File produksi yang masuk akal biasanya dimulai dengan grup User-agent, memblokir hanya jalur perayapan bernilai rendah atau pribadi seperti area admin, halaman pencarian internal, alur keranjang, atau layar akun, dan menyertakan URL sitemap dengan protokol dan nama host lengkap. Sebagian besar situs publik tidak boleh memblokir CSS, JavaScript, atau folder konten utama mereka.

Apakah robots.txt menghentikan halaman agar tidak diindeks?

Tidak, tidak dengan sendirinya. Robots.txt memberitahu perayap apa yang tidak boleh diambil, tetapi URL yang diblokir masih dapat diindeks berdasarkan tautan eksternal atau sinyal yang ditemukan sebelumnya. Jika tujuan nyata Anda adalah kontrol indeks, Anda memerlukan metode yang dirancang untuk tujuan tersebut, seperti noindex pada halaman yang dapat dirayapi atau autentikasi untuk sumber daya pribadi.

Haruskah saya menambahkan baris sitemap ke robots.txt?

Biasanya ya. Direktif Sitemap: adalah petunjuk operasional yang kuat bagi perayap dan kebiasaan yang baik untuk situs besar, multibahasa, atau yang sering diperbarui. Gunakan URL absolut daripada jalur relatif agar sinyalnya tidak ambigu.

Mengapa crawl-delay ditandai dalam laporan?

Crawl-delay tidak didukung secara konsisten di seluruh mesin pencari utama. Beberapa perayap mungkin mengenalinya, tetapi Google tidak. Alat ini menandainya sehingga Anda memperlakukannya sebagai direktif yang ditargetkan daripada pengaturan laju perayapan universal.

Kutip konten, halaman, atau alat ini sebagai:

"Generator Robots.txt" di https://MiniWebtool.com/id/generator-robotstxt/ dari MiniWebtool, https://MiniWebtool.com/

oleh tim miniwebtool. Diperbarui: 2026-03-09

API developer tersedia: Jalankan alat ini dari aplikasi, otomatisasi, atau agen Anda dengan satu permintaan HTTP JSON. Lihat dokumentasi API