ChatGPT、Claude、Perplexity はあなたのサイトを読めますか?

robots.txt、llms.txt、サイトマップ、入力したページを確認します。URL は保存しません。

チェッカーの仕組み

サイトのアドレスを入力すると、当サイトのサーバーが 4 つの公開ファイルを取得します。入力したページ、robots.txt、llms.txt、サイトマップです。多くの AI クローラーと同じく JavaScript は実行しないので、彼らと同じ目線でサイトを確認できます。

robots.txt には、ボットが従うのと同じルール(RFC 9309 標準)を適用します。各ボットは自分の名前が書かれたグループだけに従い、どのグループにも名前がなければ共通の「*」グループに従います。そのため、全体のルールでは許可していても特定のボットはブロックされている、あるいはその逆も起こります。表では、ボットごとにアクセスできるかどうかと、それを決めているファイルの行を表示します。

AI ボットの役割はそれぞれ違います。検索用ボット(OAI-SearchBot、Claude-SearchBot、PerplexityBot)は回答にあなたのサイトが出るかを左右し、ブロックすると表示されなくなります。学習用ボット(GPTBot、ClaudeBot、Google-Extended、CCBot)はモデルの学習用にコンテンツを集めるもので、ブロックするのは正当な選択であり、検索の回答から外れることはありません。ユーザー操作によるボット(ChatGPT-User、Claude-User、Perplexity-User)は、誰かが求めたときに特定のページを訪れます。OpenAI と Perplexity は、自社のこれらのボットが robots.txt に従わない場合があると説明しています。

robots.txt 以外にも、表示を妨げる要因を確認します。ページや X-Robots-Tag ヘッダーの noindex、JavaScript なしの HTML に本文がほとんどない状態(React や Vue だけで作られたサイトや、設定に問題のあるビルダーでよく起こります)、タイトル、ディスクリプション、canonical、JSON-LD 構造化データ、サイトマップです。

llms.txt は参考情報として表示します。言語モデルにサイトを説明するための提案ですが、大手の検索エンジンで利用を明言しているところはありません。置いても表示されるようになるわけではなく、なくても不利にはなりません。

サイト側が当サーバーをブロックしている場合(ファイアウォール、ボット対策サービス、Cloudflare が 403 エラーを返すなど)は、サイトの不具合ではなく「確認できませんでした」と表示します。実際のボットに何が見えているかは分からないためです。確認した URL は保存せず、アナリティクスにも送りません。同じサイトを何度も取得しないよう、結果は数時間だけキャッシュします。

AI に推薦されるための全体プラン: ChatGPTやPerplexityに自社ブランドを推薦させる方法

よくある質問

GPTBot をブロックすると ChatGPT に出なくなりますか?

いいえ。OpenAI によると、各ボットは別々に制御されます。GPTBot はモデル学習用のコンテンツを集め、OAI-SearchBot が ChatGPT の検索回答に出るかを決めます。OAI-SearchBot を許可していれば、GPTBot をブロックしても表示されます。

ブロック中のボットに付く「あなたの判断」とは?

そのボットが学習用であることを示します。ブロックするとコンテンツがモデルの学習に使われなくなりますが、検索の回答で引用されることには影響しません。正当な選択なので、エラーとしては数えません。

「確認できませんでした」と表示されるのはなぜですか?

サーバーや CDN がチェッカーにエラー(403 など)を返したか、5 秒以上かかったか、応答がなかったためです。実際のボットは入れるかもしれませんし、同じようにブロックされているかもしれません。ホスティングや Cloudflare のボット設定を確認してください。

llms.txt は必要ですか?

必須ではありません。言語モデル向けの提案ですが、大手の検索エンジンで利用を明言しているところはありません。まずは検索用ボットが入れること、JavaScript なしで本文が読めることを優先してください。

すべて問題なければ、ChatGPT に推薦されますか?

必ずしもそうではありません。AI がサイトを読めることは前提条件で、引用されるかはコンテンツ、他サイトでの言及、そのテーマでの信頼性しだいです。このツールが測れるのは前者だけです。

確認した URL は保存されますか?

データベースには保存せず、アナリティクスにも送りません。別の人が同じサイトを確認したときに再取得しないよう、結果はサーバーのキャッシュに数時間だけ残ります。

トレーニングプログラム

アイデアを実際のプロジェクトに変える準備はできましたか?

Transformaは、明確さと方法論でプロジェクトを作成・実行・スケールさせることを学ぶプログラムです。

Transformaプログラムを知る