robots.txt生成ツール

使用方法

• 生成または検証モードを選択します。 構造化された入力から新しいファイルを作成するには「robots.txt を生成」を使用し、すでにドラフトや公開済みのファイルがある場合は「既存の robots.txt を検証」に切り替えます。
• クロールルールとサイトマップの詳細を入力します。 公開サイトの URL、メインの `User-agent`、1行に1つの Allow または Disallow パス、および必要なボット固有のセクションやサイトマップ URL を追加します。
• レポートを作成します。 ツールを実行して最終的なファイルを構築し、解析されたクローラーグループを確認し、ブロックされたアセットや絶対サイトマップ URL の欠落などのリスクのあるパターンに対する警告を検査します。
• 確認後にのみ公開します。 ルールが実際のクロール意図を反映していることを確認したら出力をコピーし、公開ホスト名の `/robots.txt` にファイルを配置して、デプロイされた URL をテストします。

ディレクティブ戦略とよくある間違い

実用的なユースケース

WordPress サイトでは、`/wp-admin/` を Disallow にしつつ、`/wp-admin/admin-ajax.php` を Allow にするのが一般的なルールです。これにより、頻繁に必要とされるエンドポイントをブロックすることなく、ほとんどの管理画面をクロールパスから除外できます。Eコマースサイトでは、robots.txt は、カートページ、アカウントエリア、チェックアウトフロー、ファセットナビゲーション、またはソートやフィルターパラメータによって生成される内部結果ページからのクロール浪費を制限するために頻繁に使用されます。ステージングサイトでは、一時的なサイト全体の Disallow は合理的ですが、立ち上げ前に削除し、DNS やデプロイの変更後に再確認する必要があります。

検証機能は、別のチームからファイルを引き継ぐ際にも役立ちます。絶対パスでないサイトマップ行、形式の正しくない `Host` ディレクティブ、数値ではなくプレーンテキストで書かれた `Crawl-delay` 値などの微妙な問題をキャッチできます。robots.txt ファイルは単純ですが、本番環境でのミスもまた単純なことが多いため、これらの詳細は重要です。

robots.txt が行わないこと

robots.txt はクロール管理ファイルであり、アクセス制御システムでも、インデックス削除を保証するスイッチでもありません。URL がブロックされていても、他の場所からリンクされている場合、検索エンジンはその URL の完全なコンテンツをクロールせずに検索結果に表示することがあります。機密文書、管理ツール、およびプライベート環境は、認証、ネットワーク制限、またはクロール可能なページでの明示的な noindex 戦略で保護する必要があります。この区別は、テクニカル SEO の議論において最も一般的な誤解の 1 つです。