⚠️ 記述のポイントと注意点
本ツールでは、SetEnvIfNoCase
を使用し、正規表現で複数のボット(User-Agent)を1行にまとめて出力します。これにより、ボットごとの個別記述を減らし、サーバーの処理負荷を最小限に抑えています。
❌ 記述順序に注意
拒否設定は
拒否設定は
# BEGIN WordPress
などの自動生成コードよりも上に記述してください。下に書くと、ボットが先にWordPressの処理に流れてしまい、拒否が機能しない(負荷が下がらない)場合があります。
✅ robots.txt との違い
クローラーの巡回を制御する
一方、
クローラーの巡回を制御する
robots.txt
は、あくまで「紳士協定」のお願いに過ぎず、悪質なボットはこれを無視してクロールしてきます。一方、
.htaccess
による拒否設定はサーバーの入り口で強制的に「403
Forbidden」を返して物理的に遮断するため、サーバー負荷の軽減に直接的な効果があります。