robots.txt生成ツール

検索エンジン向けの公開準備が整ったrobots.txtファイルを作成し、公開前にディレクティブを検証します。グローバルおよびボット固有のルールを生成し、サイトマップやクロールのヒントを追加し、ユーザーエージェントグループの欠落、無効なサイトマップURL、広すぎるDisallowパターンなどの一般的な間違いを検出します。

robots.txt生成ツール

▦ クイックサンプル

公開サイト用の実用的なrobots.txtファイルの生成、より厳格なEコマースクロールポリシーのテスト、または既存のファイルを貼り付けてデプロイ前に検査するためのフルプリセットをロードします。

モード

ワークフローを選択

アクション構造化されたフィールドから新しいrobots.txtファイルを生成するか、既にあるファイルを検証します。

基本

サイトのコンテキストを定義

サイトURL サイトマップのパスを `https://example.com/sitemap.xml` のような絶対URLに変換するために使用されます。

主要なUser-agent すべてのクローラーを対象にする場合は `*` を使用し、`Googlebot` などの特定のボットをターゲットにする場合はその名前を使用します。

ヘッダーコメント生成されたファイルの先頭に含めるオプションのコメント行。短く実用的な内容にしてください。

ルール

グローバルなAllowおよびDisallowパスを設定

Allowディレクティブ 1行に1つのパス。例: `/` または `/wp-admin/admin-ajax.php`。

Disallowディレクティブ必要に応じて `/cart/`、`/checkout/`、`/search`、`/admin/` などの価値の低いエリアをブロックします。

ボット

サイトマップとボット固有のセクションを追加

サイトマップURL 1行に1つのサイトマップ。相対パスはサイトURLを基準に変換されます。

追加のUser-agentブロック画像ボット、広告ボット、またはステージング用のルールなど、生の `User-agent:` グループをここに貼り付けます。

Crawl-delay オプション。このディレクティブは、すべての検索エンジンで一律にサポートされているわけではありません。

Host オプション。通常は `example.com` のような純粋なホスト名です。

Clean-paramディレクティブオプションのエンジン固有のパラメータクリーンアップルール。1行に1つのディレクティブ。

検証

チェックしたいファイルを貼り付け

Robots.txtの内容コメントや複数のクローラーグループを含め、既存のファイルをそのまま貼り付けてください。

ガイド

このツールがチェックすること

このレポートは、欠落している `User-agent` グループ、絶対URLでないサイトマップURL、数値でない `Crawl-delay` 値、重要なリソースやサイト全体をブロックする可能性のあるパターンなどの構造的な問題を探します。

robots.txtはクロール管理に使用し、機密コンテンツのセキュリティバリアとしては使用しないでください。
内部検索、カート、チェックアウト、管理パスは、通常 `Disallow` の候補となります。
検索エンジンがページをレンダリングするのに役立つCSS、JavaScript、または共有アセットを不用意にブロックしないでください。
公開URLが `https://example.com/robots.txt` になるように、最終的なファイルをドメインのルートに公開してください。

User-agent Allow / Disallow Sitemap Crawl-delay

結果エリアには、最終的なファイル、クロールサマリー、およびデプロイ前に確認できる警告やメモが含まれます。

Embed robots.txt生成ツール Widget

robots.txt生成ツール

robots.txt ファイルは、サイトのどの部分をフェッチしてもよいか、どのパスをクロールキューに入れないようにすべきか、そして XML サイトマップがどこにあるかをクローラーに伝えます。SEO と情報の可視性のために、目標はリスクのあるものをすべてデフォルトでブロックすることではありません。目標は、価値の低いクロールパスを保護し、正規ページのためにクロール予算を節約し、ドメイン上で実際に公開されているものとファイルを一致させることです。有用な robots.txt ポリシーは、通常、曖昧な「SEO 設定」ではなく、管理フォルダ、チェックアウトフロー、内部検索 URL、ファセットフィルター、またはステージング専用ブロックなどの具体的なセクションを指定します。

使用方法

生成または検証モードを選択します。 構造化された入力から新しいファイルを作成するには「robots.txt を生成」を使用し、すでにドラフトや公開済みのファイルがある場合は「既存の robots.txt を検証」に切り替えます。
クロールルールとサイトマップの詳細を入力します。 公開サイトの URL、メインの `User-agent`、1行に1つの Allow または Disallow パス、および必要なボット固有のセクションやサイトマップ URL を追加します。
レポートを作成します。 ツールを実行して最終的なファイルを構築し、解析されたクローラーグループを確認し、ブロックされたアセットや絶対サイトマップ URL の欠落などのリスクのあるパターンに対する警告を検査します。
確認後にのみ公開します。 ルールが実際のクロール意図を反映していることを確認したら出力をコピーし、公開ホスト名の `/robots.txt` にファイルを配置して、デプロイされた URL をテストします。

ディレクティブ戦略とよくある間違い

ディレクティブまたはパターン	役立つ場合	よくある間違い
`User-agent: *`	特別な処理が必要ない場合に、ほとんどのボットに対してグローバルなルールセットを作成します。	User-agent グループを定義する前に `Allow` 行や `Disallow` 行を追加してしまい、パーサーの明確さを損なう。
`Disallow: /search`	内容の薄い、重複した URL の組み合わせを作成する内部サイト検索ページのブロックに役立ちます。	パスパターンが意図したよりも広すぎて、公開されているカテゴリページや商品ページを誤ってブロックしてしまう。
`Sitemap: https://example.com/sitemap.xml`	クローラーが正規 URL や新しいコンテンツをより速く発見するのに役立ちます。	本番環境で相対パスや古いステージングサイトマップの URL を使用してしまう。
`Crawl-delay`	リクエストの制限（スロットリング）のサポートを明記しているクローラーのために追加されることがあります。	Google がこれに従うと思い込むこと。Google は `Crawl-delay` を無視するため、普遍的なレート制御メカニズムではありません。
`Disallow: /assets/js/`	通常の公開サイトでは滅多に必要ありません。	検索エンジンがレイアウト、機能、ページの品質を理解するために使用するレンダリングリソースをブロックしてしまう。

実用的なユースケース

WordPress サイトでは、`/wp-admin/` を Disallow にしつつ、`/wp-admin/admin-ajax.php` を Allow にするのが一般的なルールです。これにより、頻繁に必要とされるエンドポイントをブロックすることなく、ほとんどの管理画面をクロールパスから除外できます。Eコマースサイトでは、robots.txt は、カートページ、アカウントエリア、チェックアウトフロー、ファセットナビゲーション、またはソートやフィルターパラメータによって生成される内部結果ページからのクロール浪費を制限するために頻繁に使用されます。ステージングサイトでは、一時的なサイト全体の Disallow は合理的ですが、立ち上げ前に削除し、DNS やデプロイの変更後に再確認する必要があります。

検証機能は、別のチームからファイルを引き継ぐ際にも役立ちます。絶対パスでないサイトマップ行、形式の正しくない `Host` ディレクティブ、数値ではなくプレーンテキストで書かれた `Crawl-delay` 値などの微妙な問題をキャッチできます。robots.txt ファイルは単純ですが、本番環境でのミスもまた単純なことが多いため、これらの詳細は重要です。

robots.txt が行わないこと

robots.txt はクロール管理ファイルであり、アクセス制御システムでも、インデックス削除を保証するスイッチでもありません。URL がブロックされていても、他の場所からリンクされている場合、検索エンジンはその URL の完全なコンテンツをクロールせずに検索結果に表示することがあります。機密文書、管理ツール、およびプライベート環境は、認証、ネットワーク制限、またはクロール可能なページでの明示的な noindex 戦略で保護する必要があります。この区別は、テクニカル SEO の議論において最も一般的な誤解の 1 つです。

よくある質問（FAQ）

通常の公開ウェブサイトの robots.txt ファイルには何を含めるべきですか？

賢明な本番ファイルは、通常 User-agent グループから始まり、管理エリア、内部検索ページ、カートフロー、またはアカウント画面などの価値の低いパスやプライベートなクロールパスのみをブロックし、フルプロトコルとホスト名を含むサイトマップ URL を含めます。ほとんどの公開サイトは、CSS、JavaScript、またはメインのコンテンツフォルダをブロックすべきではありません。

robots.txt はページのインデックス登録を停止しますか？

いいえ、それだけでは止まりません。robots.txt はクローラーに何をフェッチしないかを伝えますが、ブロックされた URL でも、外部リンクや以前に発見されたシグナルに基づいてインデックスに登録される可能性があります。本当の目標がインデックスの制御である場合は、クロール可能なページでの noindex や、プライベートリソースのための認証など、その目的のために設計された方法が必要です。