2025年3月28日
注意喚起
【重要】クローラーの増加による影響と適切な対応のお願い
近年、最新生成AI（ChatGPTなど）による情報収集のため、クローラー（自動巡回プログラム）からのアクセスが急増しています。
その影響でサーバに過剰な負荷がかかり、高負荷になった場合はサーバへの影響を考慮して利用を制限させていただく可能性がございます。
こうしたリスクを未然に防ぐため、「robots.txt」の適切な設定を強く推奨いたします。
■「robots.txt」とは？
「robots.txt」は、検索エンジンなどのクローラーに対して
・どのページをクロールして良いか
・どのページをクロール禁止とするか
を制御するためのテキストファイルです。正しく設定することで、不要なアクセスを防ぎ、サーバの健全性を保つことができます。
■今すぐできる！robots.txtの基本設定
1. ファイルを作成
任意のテキストエディタで、`robots.txt`という名前のファイルを作成します。
2. 以下のようなルールを記述
User-agent: [クローラー名]
Disallow: [アクセス禁止にしたいパス]
例：すべてのクローラーのアクセスを制限したい場合
User-Agent: *
Disallow: /
3. サイトのルートディレクトリにアップロード
例：https://www.example.com/robots.txt
この場所に設置されていなければ、クローラーに認識されません。
■主なクローラーの制御例
・Amazonbot（Amazonのクローラー）
User-agent: Amazonbot
Disallow: /
・OpenAI（ChatGPTなどの学習用クローラー）
User-agent: OpenAI
Disallow: /
■設置にあたっての注意点
・robots.txtはクローラーへの指示であり、絶対的な制限ではありません。検索結果から完全に除外したい場合は、noindexメタタグなどの併用を推奨します。
・クローラー名は正確に記載する必要があります。誤記があると制限が機能しません。
・内容次第ではSEO等に影響を与える可能性があるため、設置前にルールを明確にすることが重要です。