Generator Robots.txt

Buat instruksi untuk perayap dengan Generator Robots.txt MiniWebtool atau validasi berkas yang sudah ada. Atur aturan umum dan khusus bot, entri peta situs, serta petunjuk perayapan, lalu tinjau peringatan sebelum menerbitkan teks.

Belum tahu cara menggunakannya? Tanya AI

Gemini (salin dan buka)

Di Gemini, tempelkan pertanyaan yang disalin ke chat. Anda juga dapat menyalinnya di bawah.

Lihat pertanyaan

Saya ingin memahami cara menggunakan alat Generator Robots.txt dari MiniWebtool: https://miniwebtool.com/id/generator-robotstxt/. Apa kegunaannya, masukan atau pengaturan apa yang diperlukan, dan bagaimana cara menggunakan alat ini serta memahami hasilnya? Jelaskan dengan satu contoh sederhana langkah demi langkah. Gunakan halaman ini sebagai sumber dan jawab dalam bahasa Indonesia.

Gratis 3× per hariTidak perlu mendaftarHasil instan

Generator Robots.txtCoba sekarang — gratis ▼

▦ Contoh cepat

Muat preset lengkap untuk membuat file robots.txt yang praktis bagi situs langsung, uji kebijakan perayapan e-commerce yang lebih ketat, atau tempelkan file yang sudah ada dan periksa sebelum penerapan.

Mode

Pilih alur kerja

Tindakan Buat file robots.txt baru dari bidang terstruktur, atau validasi file yang sudah Anda miliki.

Dasar

Tentukan konteks situs

URL Situs Digunakan untuk mengubah jalur sitemap menjadi URL absolut seperti `https://example.com/sitemap.xml`.

User-agent utama Gunakan `*` untuk semua perayap, atau targetkan bot tertentu seperti `Googlebot`.

Komentar header Baris komentar opsional untuk bagian atas file yang dihasilkan. Buat tetap operasional dan singkat.

Aturan

Atur jalur allow dan disallow global

Direktif Allow Satu jalur per baris. Contoh: `/` atau `/wp-admin/admin-ajax.php`.

Direktif Disallow Blokir area bernilai rendah seperti `/cart/`, `/checkout/`, `/search`, atau `/admin/` jika sesuai.

Bot

Tambahkan sitemap dan bagian khusus bot

URL Sitemap Satu sitemap per baris. Jalur relatif dikonversi terhadap URL situs.

Blok user-agent tambahan Tempelkan grup `User-agent:` mentah di sini untuk bot gambar, bot iklan, atau aturan staging.

Crawl-delay Opsional. Direktif ini tidak didukung secara seragam di semua mesin pencari.

Host Opsional. Biasanya nama host saja seperti `example.com`.

Direktif Clean-param Aturan pembersihan parameter khusus mesin opsional, satu direktif per baris.

Validasi

Tempelkan file yang ingin Anda periksa

Konten Robots.txt Tempelkan file yang ada persis seperti yang muncul, termasuk komentar dan beberapa grup perayap.

Panduan

Apa yang diperiksa alat ini

Laporan mencari masalah struktural seperti grup `User-agent` yang hilang, URL sitemap non-absolut, nilai `Crawl-delay` non-numerik, dan pola yang mungkin memblokir sumber daya penting atau seluruh situs.

Gunakan robots.txt untuk manajemen perayapan, bukan sebagai penghalang keamanan untuk konten sensitif.
Pencarian internal, keranjang belanja, checkout, dan jalur admin adalah kandidat umum untuk `Disallow`.
Jangan memblokir CSS, JavaScript, atau aset bersama secara sembarangan yang membantu mesin pencari merender halaman.
Publikasikan file akhir di root domain sehingga URL langsung menjadi `https://example.com/robots.txt`.

User-agent Allow / Disallow Sitemap Crawl-delay

Area hasil mencakup file akhir, ringkasan perayapan, dan serangkaian peringatan atau catatan yang dapat Anda tinjau sebelum penerapan.

Embed Generator Robots.txt Widget

Tentang Generator Robots.txt

File robots.txt memberitahu perayap bagian mana dari situs yang boleh mereka ambil, jalur mana yang harus tetap berada di luar antrean perayapan, dan di mana letak sitemap XML. Untuk visibilitas SEO dan GEO, tujuannya bukan untuk memblokir segala sesuatu yang berisiko secara default. Tujuannya adalah untuk melindungi jalur perayapan bernilai rendah, menjaga anggaran perayapan (crawl budget) untuk halaman kanonikal, dan menjaga agar file tetap selaras dengan apa yang sebenarnya bersifat publik pada domain tersebut. Kebijakan robots.txt yang berguna biasanya menyebutkan bagian konkret seperti folder admin, alur checkout, URL pencarian internal, filter faset, atau blok khusus staging daripada "pengaturan SEO" yang samar.

Sekilas

Generator Robots.txt menyusun berkas robots.txt dari masukan terstruktur atau memvalidasi berkas yang sudah ada. Alat ini kemudian melaporkan grup crawler, peringatan, dan entri sitemap yang ditemukan.

Generator Robots.txt: fitur sekilas
Fitur	Yang didapat	Cocok untuk
Buat atau validasi	Pilih Buat untuk menyusun berkas baru, atau tempelkan konten robots.txt yang ada untuk memeriksa sintaks sebelum diterapkan.	Melanjutkan penggunaan robots.txt dari tim lain
Masukan aturan	Atur URL situs, user-agent utama, komentar header, jalur allow dan disallow, satu jalur per baris.	Memblokir jalur admin, pencarian, atau pembayaran
Direktif tambahan	Tambahkan blok user-agent, URL sitemap, crawl-delay, host, dan clean-param.	Memberi aturan khusus kepada bot tertentu
Peringatan validasi	Menandai pola berisiko seperti aset yang diblokir, URL sitemap relatif, baris Host yang salah format, dan crawl-delay yang bukan angka.	Menangkap kesalahan sebelum berkas diterapkan
Laporan	Menampilkan keluaran dengan tombol salin, temuan validasi, grup crawl, daftar periksa publikasi, serta cakupan sitemap dan crawl.	Meninjau fungsi berkas sebelum memublikasikannya
Contoh cepat	Muat contoh awal untuk WordPress, e-commerce, dan alur kerja validasi.	Memulai dari konfigurasi situs umum

Cara Penggunaan

Pilih mode buat atau validasi. Gunakan `Buat robots.txt` untuk membangun file baru dari input terstruktur, atau beralih ke `Validasi robots.txt yang ada` jika Anda sudah memiliki draf atau file langsung.
Masukkan aturan perayapan dan detail sitemap. Tambahkan URL situs publik, `User-agent` utama Anda, satu jalur allow atau disallow per baris, dan bagian khusus bot atau URL sitemap tambahan yang Anda butuhkan.
Buat laporan. Jalankan alat untuk membangun file akhir, tinjau grup perayap yang diurai, dan periksa peringatan untuk pola berisiko seperti aset yang diblokir atau URL sitemap absolut yang hilang.
Publikasikan hanya setelah peninjauan. Salin output ketika aturan mencerminkan niat perayapan Anda yang sebenarnya, lalu tempatkan file di `/robots.txt` pada nama host langsung dan uji URL yang telah diterapkan.

Strategi Direktif dan Kesalahan Umum

Generator Robots.txt: Strategi Direktif dan Kesalahan Umum
Direktif atau Pola	Kapan Membantu	Apa yang Sering Salah
`User-agent: *`	Membuat set aturan global untuk sebagian besar bot ketika tidak diperlukan penanganan khusus.	Orang-orang menambahkan baris `Allow` dan `Disallow` sebelum mendefinisikan grup user-agent apa pun, yang melemahkan kejelasan pengurai.
`Disallow: /search`	Berguna untuk memblokir halaman pencarian situs internal yang membuat kombinasi URL tipis dan duplikat.	Memblokir halaman kategori publik atau produk secara tidak sengaja karena pola jalur lebih luas dari yang dimaksudkan.
`Sitemap: https://example.com/sitemap.xml`	Membantu perayap menemukan URL kanonikal dan konten segar lebih cepat.	Menggunakan jalur relatif atau URL sitemap staging yang sudah usang di produksi.
`Crawl-delay`	Terkadang ditambahkan untuk perayap yang mendokumentasikan dukungan untuk pembatasan permintaan (throttling).	Menganggap Google mematuhinya. Google mengabaikan `Crawl-delay`, sehingga ini bukan mekanisme kontrol laju universal.
`Disallow: /assets/js/`	Jarang dibutuhkan pada situs publik normal.	Memblokir sumber daya render yang digunakan mesin pencari untuk memahami tata letak, fungsionalitas, dan kualitas halaman.

Kasus Penggunaan Praktis

Pada situs WordPress, aturan umum adalah melarang `/wp-admin/` sambil mengizinkan `/wp-admin/admin-ajax.php`, karena itu menjauhkan sebagian besar layar admin dari jalur perayapan tanpa memblokir endpoint yang sering dibutuhkan. Pada situs e-commerce, robots.txt sering digunakan untuk membatasi pemborosan perayapan dari halaman keranjang, area akun, alur checkout, navigasi faset, atau halaman hasil internal yang dihasilkan oleh parameter sortir dan filter. Pada situs staging, pelarangan sementara di seluruh situs dapat dianggap wajar, tetapi harus dihapus sebelum peluncuran dan diperiksa ulang setelah perubahan DNS atau penerapan.

Validator juga berguna saat mewarisi file dari tim lain. Alat ini dapat menangkap masalah halus seperti baris sitemap non-absolut, direktif `Host` yang salah bentuk, atau nilai `Crawl-delay` yang ditulis sebagai teks biasa alih-alih angka. Detail tersebut penting karena file robots.txt itu sederhana, tetapi kesalahan produksi sering kali sederhana juga.

Apa yang Tidak Dilakukan oleh Robots.txt

Robots.txt adalah file manajemen perayapan, bukan sistem kontrol akses dan bukan sakelar de-indeks yang dijamin. Jika sebuah URL diblokir tetapi ditautkan dari tempat lain, mesin pencari mungkin masih menampilkan URL tersebut di hasil pencarian tanpa merayapi konten lengkapnya. Dokumen sensitif, alat admin, dan lingkungan pribadi harus dilindungi dengan autentikasi, pembatasan jaringan, atau strategi noindex eksplisit pada halaman yang dapat dirayapi. Perbedaan tersebut adalah salah satu kesalahpahaman paling umum dalam percakapan SEO teknis.

FAQ

Apa yang harus berisi file robots.txt untuk situs web publik normal?

File produksi yang masuk akal biasanya dimulai dengan grup User-agent, memblokir hanya jalur perayapan bernilai rendah atau pribadi seperti area admin, halaman pencarian internal, alur keranjang, atau layar akun, dan menyertakan URL sitemap dengan protokol dan nama host lengkap. Sebagian besar situs publik tidak boleh memblokir CSS, JavaScript, atau folder konten utama mereka.

Apakah robots.txt menghentikan halaman agar tidak diindeks?

Tidak, tidak dengan sendirinya. Robots.txt memberitahu perayap apa yang tidak boleh diambil, tetapi URL yang diblokir masih dapat diindeks berdasarkan tautan eksternal atau sinyal yang ditemukan sebelumnya. Jika tujuan nyata Anda adalah kontrol indeks, Anda memerlukan metode yang dirancang untuk tujuan tersebut, seperti noindex pada halaman yang dapat dirayapi atau autentikasi untuk sumber daya pribadi.

Haruskah saya menambahkan baris sitemap ke robots.txt?

Biasanya ya. Direktif Sitemap: adalah petunjuk operasional yang kuat bagi perayap dan kebiasaan yang baik untuk situs besar, multibahasa, atau yang sering diperbarui. Gunakan URL absolut daripada jalur relatif agar sinyalnya tidak ambigu.

Mengapa crawl-delay ditandai dalam laporan?

Crawl-delay tidak didukung secara konsisten di seluruh mesin pencari utama. Beberapa perayap mungkin mengenalinya, tetapi Google tidak. Alat ini menandainya sehingga Anda memperlakukannya sebagai direktif yang ditargetkan daripada pengaturan laju perayapan universal.

Kutip konten, halaman, atau alat ini sebagai:

"Generator Robots.txt" di https://MiniWebtool.com/id/generator-robotstxt/ dari MiniWebtool, https://MiniWebtool.com/

oleh tim miniwebtool. Diperbarui: 2026-03-09

API developer tersedia: Jalankan alat ini dari aplikasi, otomatisasi, atau agen Anda dengan satu permintaan HTTP JSON. Lihat dokumentasi API

Mengobrol dengan AI favorit Anda