Claudeで自社を調べる｜ClaudeBot・Claude-Userの扱いと、自社の見え方を確かめる手順

Claudeが会社について答えるとき、何が起きているか

Claudeに「株式会社◯◯について教えて」と聞いたとき、その答えの作られ方は大きく2通りあります。この違いを理解しておくと、なぜ古い情報が返ってくるのかが説明できます。

1つ目は、学習済みの知識だけで答える場合です。この場合、モデルが学習した時点の情報が使われるため、その後に起きた変更、たとえば移転や社名変更、新サービスの開始は反映されません。また、そもそも学習データに含まれていない規模の会社であれば、「情報が見つかりません」という趣旨の返答になります。

2つ目は、ウェブ検索を使ってその場で調べる場合です。Claudeはウェブを検索し、見つけたページの内容を読んだうえで回答を作り、根拠として参照したページを示します。この場合、現在のウェブ上にある情報が反映されます。

自社の見え方を点検する際に見るべきは、2つ目のほうです。検討中の見込み客は、今この瞬間の情報を求めて質問しており、そのときにClaudeが自社サイトを読めるかどうかが、結果を左右します。

そして、この「読めるかどうか」は自社側の設定で決まります。ここが本記事の主題になります。

2通りの答えの作られ方

• 答えの作られ方は「学習済み知識」と「その場でウェブ検索」の2通り
• 学習済み知識だけだと、移転・社名変更・新サービスは反映されない
• 点検すべきはウェブ検索を使った回答のほう
• ウェブを読めるかどうかは、自社サイト側の設定で決まる

Claude関連クローラーの役割と、拒否した場合の影響

※ 3つを一括で拒否すると、学習利用を避ける目的であっても「いま調べている人への回答」まで止まります。同様の構造は他社にもあり、OpenAIはGPTBot・OAI-SearchBot・ChatGPT-User、PerplexityはPerplexityBot・Perplexity-Userに分かれています。

Claude関連のクローラーは3種類｜役割が違う

Anthropicは、Claudeに関連するクローラーの名称と役割を公開しています。3種類あり、それぞれ目的が異なります。まとめて拒否するか、目的別に許可するかを判断するために、違いを押さえておきます。

1つ目が ClaudeBot です。ウェブ上のコンテンツを収集するクローラーで、モデルの学習など、Anthropicのサービス全般に関わる取得を行います。

2つ目が Claude-User です。これは、Claudeの利用者が質問した際に、その質問に答えるためにページを取りに来るものです。つまり、いま自社について調べている見込み客がいるとき、自社サイトにアクセスしてくるのがこれにあたります。

3つ目が Claude-SearchBot です。Claudeの検索機能が、どのページが質問に関連するかを判断するために使うものです。

ここで重要なのは、3つを一括で拒否すると、学習利用を避けたいという意図であっても、「いま調べている人への回答」まで同時に止まってしまう点です。自社の情報を検討中の見込み客に届けたいのであれば、少なくとも Claude-User と Claude-SearchBot は許可しておく判断が現実的です。

同様の構造は他社にもあり、OpenAIには GPTBot・OAI-SearchBot・ChatGPT-User、Perplexityには PerplexityBot・Perplexity-User があります。役割の対応関係はおおむね共通しています。

3つのクローラーの役割

• ClaudeBot：ウェブコンテンツの収集（学習等を含む）
• Claude-User：利用者の質問に答えるためにページを取得
• Claude-SearchBot：検索機能が関連性を判断するために利用
• 一括拒否すると「いま調べている人への回答」まで止まる

自社サイトがClaudeから見えるか、確認する手順

確認は3つの段階で行います。上から順に見ていけば、どこで止まっているかが特定できます。

第1段階は、robots.txt です。ブラウザで自社サイトのURLの末尾に /robots.txt を付けて開きます。ここに ClaudeBot、Claude-User、Claude-SearchBot がDisallow で指定されていないかを確認します。また、User-agent: * に対して Disallow: / が指定されていれば、すべてのクローラーを拒否している状態です。

許可する場合の書き方には注意点があります。特定のクローラー名で個別のグループを作ると、そのグループには User-agent: * のルールが一切適用されません。既存の除外設定を残したい場合は、複数の User-agent 行を並べたうえで、その下に既存の Disallow を書き写して1つのグループにまとめます。

第2段階は、サーバー側の遮断です。robots.txt に問題がなくても、WAF、セキュリティプラグイン、CDNのボット対策が見慣れないアクセスを弾いていることがあります。サーバーのアクセスログで Claude-User の到達状況を確認するか、遮断ログにボット名が出ていないかを見ます。

第3段階は、ページの中身です。アクセスできても、肝心の情報が画像やPDFの中にしかなければ、読み取れる内容がないのと同じです。ページ本文をドラッグして選択できるか、ページ内検索で画面上の単語がヒットするかで確認できます。

3段階の確認手順

• 第1段階：/robots.txt で3種のクローラーの扱いを確認
• 個別グループを作ると User-agent: * のルールが効かなくなる
• 第2段階：WAF・セキュリティプラグイン・CDNの遮断を確認
• 第3段階：情報が画像・PDFではなくテキストで書かれているか

Claudeへの、点検用の聞き方

設定が問題なければ、実際にClaudeに聞いて確かめます。聞き方によって得られる情報が変わるため、型を決めておくと比較しやすくなります。

1つ目は、指名での確認です。「株式会社◯◯（所在地：◯◯県◯◯市）について、事業内容・所在地・設立年・対応エリアを教えてください。また、参照したページのURLも示してください」。所在地を添えるのは、同名他社との混同を防ぐためです。

2つ目は、条件つきの確認です。「◯◯市で◯◯を検討しています。おすすめの会社を3社挙げて、それぞれの特徴と、参照したページのURLを教えてください」。ここで自社が挙がるか、挙がらない場合はどこが挙がるかを見ます。

3つ目は、根拠を掘り下げる確認です。自社について返ってきた説明のうち、事実と違う部分を指定して「その情報はどこから得ましたか」と聞きます。参照元が示されれば、誤情報の発生源を特定できます。

実施時の注意点は3つです。ウェブ検索を有効にした状態で使うこと。質問ごとに新しい会話を始めること（前の会話に引きずられるため）。そして、自社について事前に説明してから聞かないこと。情報を与えてから聞くと、それを前提に答えるため、素の状態でどう見えているかが分からなくなります。

そして、回答は必ずそのまま記録します。AIの回答は同じ質問でも毎回変わるため、「だいたいこう答えた」という記憶では比較ができません。

点検用の質問の型

• 指名の確認では所在地を添えて同名他社との混同を防ぐ
• 条件つきの質問で、候補として挙がるかを見る
• 誤りがあれば「その情報はどこから得ましたか」と根拠をたどる
• ウェブ検索を有効に・新しい会話で・事前説明なしで聞く

Claudeで見つけた課題を、社内で回す形にする

点検して終わりにせず、継続する形に落とし込みます。Claude自体を、この運用の道具として使うことができます。

まず、質問セットをファイルにまとめます。10〜15問の質問文と、記録する項目（実施日、回答の要旨、自社の登場有無、他社名、根拠URL、誤りの有無）を1つのテキストにしておきます。

Claudeのプロジェクト機能を使うと、自社の正しい会社情報（会社概要、対応エリア、実績、サービス内容）をあらかじめ資料として登録しておけます。そのうえで、AIの回答結果を貼り付けて「登録済みの自社情報と照らして、事実と異なる記述を列挙してください」と指示すれば、誤りの洗い出しを機械的に行えます。

月次で溜まった記録を貼り付けて、「先月と比べて変化した点を整理してください」「引用元URLを、自社サイト・ポータル・口コミ・第三者メディアの4分類で集計してください」と指示すれば、集計作業も短縮できます。

ただし、注意点があります。AIに自社の点検結果を判断させる場合でも、最終的な事実確認は人が行ってください。特に、公開資料に載せる数字や、顧客に説明する内容については、必ず一次情報で裏を取る手順を残しておくべきです。

また、業務でAIを使う際の情報の取り扱いについては、社内のルールを先に決めておくことをお勧めします。顧客情報や未公開の経営情報を扱う場合は、利用するプランの条件を確認したうえで運用してください。

運用を回す仕組み

• 質問セットと記録項目を1つのファイルにまとめて固定する
• プロジェクト機能に正しい自社情報を登録し、誤りの洗い出しに使う
• 月次記録の集計・比較もAIに任せて作業時間を短縮できる
• 最終的な事実確認は人が行う。情報の取り扱いルールは事前に決める

Claudeだけを見て判断しないこと

ここまでClaudeを中心に説明してきましたが、最後に前提を1つ確認しておきます。Claudeでの見え方が良くても、それだけでは不十分だということです。

AIごとに参照する情報源も、回答の作り方も異なります。Claudeでは挙がるのにChatGPTでは挙がらない、Perplexityでは別の会社が上位に来る、Google AI Overviewには一切出てこない。こうした食い違いは普通に起こります。

見込み客がどのAIを使っているかは選べません。したがって、点検も対策も複数のAIを対象に行う必要があります。

とはいえ、対策の中身が AIごとに全く違うかというと、そうではありません。クローラーを拒否していないこと、情報がテキストで書かれていること、会社情報の表記が統一されていること、外部からの言及があること。この4つは、どのAIに対しても共通して効く土台です。

つまり、AIごとの細かな違いを追いかけるより、まず土台を整えるほうが投資対効果が高いということになります。そのうえで、複数のAIで定期的に点検し、特定のAIでだけ極端に見え方が悪い場合に、その原因を個別に追いかける。これが現実的な進め方です。

複数AIで見るべき理由

• Claudeで良くても、他のAIでは結果が違うことは普通に起こる
• 見込み客がどのAIを使うかは選べないため、点検は複数AIで行う
• クローラー許可・テキスト化・表記統一・外部言及は共通して効く土台
• 土台を整えてから、AI個別の差分を追いかける順序が効率的

まとめ

• 学習済み知識だけの回答には、移転・社名変更・新サービスが反映されない
• Claude関連のクローラーは3種類あり、役割が違う。一括拒否は避ける
• 個別グループを作ると User-agent: * のルールが効かなくなる点に注意
• 点検は、ウェブ検索を有効に・新しい会話で・事前説明なしで行う
• クローラー許可・テキスト化・表記統一・外部言及は、どのAIにも共通して効く土台

Claudeを含む主要AIで自社がどう扱われているかを一度に確かめたい場合は、調査から改善点の整理までを無料の診断レポートとしてお渡ししています。