- LLMO/GEO分析ツールのAKARUMI(アカルミ)TOP
- AKARUMI Insights
- AIボットはrobots.txtとsitemapを最も多く見ていた:過去30日間のアクセスデータ分析
AIボットはrobots.txtとsitemapを最も多く見ていた:過去30日間のアクセスデータ分析
AIボットは、Webサイトのどのページを見ているのでしょうか。
今回、AKARUMIを使って、当社開発しているAIライティングツール「DeepEditor」のHPの過去30日間のAIボットアクセスを調査しました。
その結果、AIボットが多くアクセスしていたのは、記事ページやサービスページだけではありませんでした。最も目立ったのは、/robots.txt、/sitemap.xml、/sitemap.rss など、サイトのクロール可否やURL構造に関わるページです。
ページ単体では、/robots.txt が119回で最多。さらに、/sitemap.xml が66回、/sitemap.rss が64回と、sitemap関連ページへのアクセスも上位に入りました。
つまり、AIボットはコンテンツ本文だけでなく、まず「このサイトを取得してよいか」「どのURLが存在するか」「更新情報があるか」といったサイト構造を確認している可能性があります。
一方で、トップページ、料金ページ、機能ページ、SEO・AIライティング関連の記事にもアクセスが確認されました。
本記事では、AKARUMIで取得した実データをもとに、AIボットがWebサイトのどこを見ているのか、ボットごとにどのような違いがあるのかを解説します。
- AIボットは、/robots.txt や sitemap関連ページに多くアクセスしていた
- 上位10ページのうち、robots.txt・sitemap関連ページが約61.5%を占めていた
- ClaudeBot、GPTBot、PerplexityBotでは、見ているページの傾向が異なっていた
- トップページ、料金ページ、機能ページ、記事ページにもAIボットアクセスが確認された
調査概要
今回の調査対象は、AIライティングツール「DeepEditor」のWebサイトです。
| 項目 | 内容 |
|---|---|
| 調査対象サイト | DeepEditor |
| 調査期間 | 過去30日間 |
| 調査ツール | AKARUMI |
| 分析対象 | AIボットのページ別アクセス |
| 対象ボット | GPTBot、ClaudeBot、PerplexityBotなど |
なお、本記事で扱うAIボットアクセスは、AI回答への引用や掲載を直接示すものではありません。
AIボットがページにアクセスしていたとしても、そのページが必ずAI回答に引用された、あるいはAIに評価されたという意味ではありません。ただし、AIにサイト情報を認識・参照してもらうためには、まずAIボットがページに到達できていることが前提になります。
AIボットがアクセスしていたページ
まず、全AIボットのページ別訪問数を見てみます。
| 順位 | ページ | 訪問回数 | 最近の訪問 |
|---|---|---|---|
| 1 | /robots.txt | 119 | 2026-05-17 20:53:23 |
| 2 | / | 98 | 2026-05-17 20:19:34 |
| 3 | /sitemap.xml | 66 | 2026-05-17 15:35:26 |
| 4 | /sitemap.rss | 64 | 2026-05-17 15:43:06 |
| 5 | /price/ | 19 | 2026-05-17 15:09:49 |
| 6 | /function/ | 8 | 2026-05-16 17:57:40 |
| 7 | /blog/seo-writing/ | 8 | 2026-05-16 17:57:40 |
| 8 | /solution/ | 8 | 2026-05-16 02:54:34 |
| 9 | /blog/seo-chatgpt/ | 8 | 2026-05-15 21:04:29 |
| 10 | /blog/seo-rewrite/ | 7 | 2026-05-17 17:34:06 |
今回のデータでは、/robots.txt、/sitemap.xml、/sitemap.rss の合計訪問回数は249回でした。
上位10ページの合計訪問回数は405回のため、robots.txtとsitemap関連ページだけで、上位10ページ内の約61.5%を占めています。
| ページ種別 | 対象ページ | 訪問回数 |
|---|---|---|
| クロール制御 | /robots.txt | 119 |
| サイト構造 | /sitemap.xml | 66 |
| 更新情報・フィード | /sitemap.rss | 64 |
| 合計 | – | 249 |
この結果から、AIボット解析では、記事やサービスページだけを見るのでは不十分だと分かります。
AIボットは、まずサイトのクロール可否やURL構造を確認している可能性があります。
AIボットごとにアクセス傾向は異なる
全AIボットのアクセスを合算すると、robots.txtやsitemapへのアクセスが多い結果になりました。
ただし、ボット別に見ると、その傾向には違いがあります。
| AIボット | 訪問数 | 主な上位ページ | 傾向 |
|---|---|---|---|
| ClaudeBot | 976 | /robots.txt、/sitemap.rss、/sitemap.xml | サイト構造ページへのアクセスが非常に多い |
| GPTBot | 285 | /sitemap.rss、/sitemap.xml、/ | sitemap中心だが、トップページや記事・事例ページにも分散 |
| PerplexityBot | 22 | /、/robots.txt、/sitemap.xml | 母数は少ないが、トップページとrobots.txtが中心 |
同じAIボットアクセスでも、botごとに役割やアクセス傾向が異なるため、単純に合算値だけを見るのではなく、ボット別にどのページを見ているかを確認することが重要です。
ClaudeBotはサイト構造ページへのアクセスが多い
今回の調査では、ClaudeBotの訪問数が976回と、比較したAIボットの中で最も多くなりました。
| ページ | 訪問回数 |
|---|---|
| /robots.txt | 263 |
| /sitemap.rss | 261 |
| /sitemap.xml | 257 |
| / | 36 |
| /price/ | 5 |
ClaudeBotでは、/robots.txt、/sitemap.rss、/sitemap.xml の3ページだけで781回の訪問がありました。
ClaudeBot全体の約80.0%が、サイト構造やクロール制御に関わるページに集中していたことになります。
この結果から、ClaudeBotはまずサイトのクロール可否やURL構造、更新情報を確認している可能性が高いと考えられます。
一方で、トップページ / にも36回、料金ページ /price/ にも5回アクセスが確認されています。サイト構造に強く集中しつつも、サービス理解に関わるページにも一部アクセスしていたことが分かります。
GPTBotはsitemapに加えて、記事・事例ページにも分散していた
GPTBotの訪問数は285回でした。
| ページ | 訪問回数 |
|---|---|
| /sitemap.rss | 19 |
| /sitemap.xml | 19 |
| / | 13 |
| /?s=search_term_string | 7 |
| /?strategy | 7 |
| /works/ponte-vecchio-hotta/ | 5 |
| /news/expo2025-summer/ | 5 |
| /price/ | 5 |
| /?p=540 | 4 |
| /blog/content-marketing/ | 4 |
GPTBotもsitemapへのアクセスが多い一方で、ClaudeBotほど構造ページに集中しているわけではありません。
トップページ、料金ページ、事例ページ、ニュースページ、記事ページなどにもアクセスが分散しています。
この点は、GPTBotがサイト構造だけでなく、ブランド情報、サービス情報、コンテンツ情報にも接触している可能性を示しています。
PerplexityBotは母数が少ないが、トップページとrobots.txtが中心
PerplexityBotの訪問数は22回でした。
| ページ | 訪問回数 |
|---|---|
| / | 7 |
| /robots.txt | 6 |
| /sitemap.xml | 2 |
| /price/ | 1 |
| /price | 1 |
| /site/manifest.json | 1 |
| /assets/manifest.json | 1 |
| /build-manifest.json | 1 |
| /_next/build-manifest.json | 1 |
| /?ref=affiliate_placeholder | 1 |
PerplexityBotでは、トップページ / が7回で最多、次いで /robots.txt が6回でした。
母数が少ないため強い断定はできませんが、今回のデータでは、トップページとrobots.txtへのアクセスが中心でした。
ボットごとの違いから分かること
今回のデータを見ると、AIボットといっても、アクセス傾向は一様ではありません。
ClaudeBotは、robots.txtやsitemap関連ページに強く集中していました。GPTBotは、sitemapを確認しつつ、トップページ、料金ページ、事例、ニュース、記事にもアクセスしていました。PerplexityBotは母数が少ないものの、トップページとrobots.txtへのアクセスが中心でした。
合算データだけを見ると、robots.txtやsitemapが多いという結論になります。しかし、ボット別に見ると、特定のボットはサイト構造に集中し、別のボットは記事や事例ページにも分散していることが分かります。
AIボット解析では、全体の訪問数だけでなく、ボット別に「どのページを見ているのか」を確認することが重要です。
AIボットが見ていたページから考える改善ポイント
トップページはAIにとってもブランド理解の入口になり得る
今回の全AIボットデータでは、トップページ / への訪問が98回ありました。
トップページは、人間のユーザーにとっての入口であると同時に、AIにとってもブランドやサービスを理解する入口になり得ます。
- 何のサービスかを明確にする
- 誰向けのサービスかを示す
- どのような課題を解決するかを整理する
- 他サービスとの違いを伝える
- 運営会社・導入実績・受賞歴など信頼性につながる情報を掲載する
トップページでは、サービス名、提供価値、対象ユーザー、主な機能、導入実績、運営会社情報などを明確に記載することで、AIがサイト内容を理解しやすくなります。
料金・機能・ソリューションページは比較検討情報として重要
今回のデータでは、以下のようなサービス理解・比較検討に関わるページにもAIボットアクセスが確認されました。
| ページ | 訪問回数 | 見方 |
|---|---|---|
| /price/ | 19 | 料金・プラン情報への接触 |
| /function/ | 8 | 機能情報への接触 |
| /solution/ | 8 | 課題解決・用途情報への接触 |
料金、機能、用途、対象ユーザー、導入メリットなどの情報は、AIがサービスを説明する際の材料になり得ます。
- 料金ページでは、プラン差分・月額費用・対象ユーザー・FAQを整理する
- 機能ページでは、機能一覧だけでなく利用シーンや解決できる課題を明記する
- ソリューションページでは、課題別の使い方や導入メリットを説明する
- 比較ページでは、他ツールとの違い、選定ポイント、向き不向きを整理する
記事コンテンツもAIボットの接触対象になる
今回のデータでは、SEO・AIライティング関連の記事にもAIボットアクセスが確認されました。
| ページ | 訪問回数 | 想定されるテーマ |
|---|---|---|
| /blog/seo-writing/ | 8 | SEO記事作成 |
| /blog/seo-chatgpt/ | 8 | ChatGPTとSEO |
| /blog/seo-rewrite/ | 7 | SEOリライト |
| /blog/ai-writing/ | 7 | AIライティング |
| /blog/content-marketing/ | 6 | コンテンツマーケティング |
記事ページは、AIが特定テーマを理解するうえで重要な接触先になり得ます。
ただし、AIボットがアクセスしているからといって、その記事が必ずAI回答に引用されているわけではありません。重要なのは、AIボットが接触しているページを把握したうえで、そのページの情報がAIにとって分かりやすい形になっているかを確認することです。
- 結論を明確にし、AIが要点を抽出しやすい構成にする
- 見出し構造を整理し、テーマごとの情報を理解しやすくする
- FAQを追加し、質問回答形式で参照しやすくする
- 独自データや実例などの一次情報を入れる
- 関連ページへ内部リンクし、サービス情報や料金ページへ接続する
- 著者・監修情報を整備し、信頼性を補強する
まとめ
今回の調査から分かるのは、AIボット解析では「AIボットが来ているか」だけでなく、どのAIボットが、どのページにアクセスしているのかを見ることが重要だということです。
AI検索時代のWebサイト運営では、検索順位やセッション数だけでなく、AIボットがどのページを見ているのかを把握することが重要になります。
AKARUMIでは、ChatGPT、Claude、PerplexityなどのAIボットアクセスを可視化し、AI検索時代に強化すべきページを把握できます。
GA4やGSCだけでは見えにくい「AIに見られているページ」を分析することで、LLMOにおける改善優先度をより具体的に判断できます。



