robots.txt 自動生成ツール（インデックス拒否・AI対策）

検索エンジンのクローラー（ボット）のアクセスを制御する robots.txt を自動生成します。
「テスト環境のGoogleインデックス漏れ防止」や、現代のWeb運営で必須となりつつある「ChatGPT等によるAI学習の無断スクレイピング拒否」など、用途に合わせて最適な記述を出力します。

1. 用途を選択してください（必須）
2. サイトマップURLの指定（任意・推奨）

Googleにサイトの構造を伝えるXMLサイトマップのURLを入力すると、クローラーの巡回効率がアップします。（テスト環境で全拒否する場合は不要です）

📄 生成された robots.txt

このコードを robots.txt というファイル名で保存し、サーバーのルートディレクトリ（一番上の階層）にアップロードしてください。

⚠️ プロも陥る罠！「テスト環境は robots.txt で全拒否」の危険性

「公開前のテストサイトだから、とりあえず robots.txt で全拒否（Disallow: /）しておけば安心だ」と思っていませんか？実はこれ、非常に危険な罠が潜んでいます。

  • インデックス自体は防げない： robots.txt は「中身を見に来ないで」という指示であり、「検索結果に出さないで」という指示ではありません。もしどこかのサイトからテスト環境へのリンクが張られてしまった場合、「このページの情報は利用できません」という不格好な形で、Googleの検索結果にURLだけが載ってしまいます。
  • noindexタグが読まれなくなる： 検索結果に出さないためにはHTMLの <meta name="robots" content="noindex"> が必要ですが、robots.txtで全拒否していると、Googleのボットはそのページをクロール（読み取り）できないため、せっかく書いたnoindexタグの存在に気づけません。
🔒 テスト環境のインデックス漏れを防ぐ「正解」とは？

テストサイトを絶対に検索結果に出したくない場合の最強の防壁は、「Basic認証（パスワード保護）」をかけることです。
Basic認証がかかっていれば、Googleのクローラーはそもそもアクセスできず、インデックスされることは100%ありません。

👉 Basic認証（.htpasswd）生成ツールはこちら