AIボットはrobots.txtとsitemapを最も多く見ていた:過去30日間のアクセスデータ分析

AIボットはrobots.txtとsitemapを最も多く見ていた:過去30日間のアクセスデータ分析

AIボットは、Webサイトのどのページを見ているのでしょうか。

今回、AKARUMIを使って、当社開発しているAIライティングツール「DeepEditor」のHPの過去30日間のAIボットアクセスを調査しました。

その結果、AIボットが多くアクセスしていたのは、記事ページやサービスページだけではありませんでした。最も目立ったのは、/robots.txt、/sitemap.xml、/sitemap.rss など、サイトのクロール可否やURL構造に関わるページです。

ページ単体では、/robots.txt が119回で最多。さらに、/sitemap.xml が66回、/sitemap.rss が64回と、sitemap関連ページへのアクセスも上位に入りました。

つまり、AIボットはコンテンツ本文だけでなく、まず「このサイトを取得してよいか」「どのURLが存在するか」「更新情報があるか」といったサイト構造を確認している可能性があります。

一方で、トップページ、料金ページ、機能ページ、SEO・AIライティング関連の記事にもアクセスが確認されました。

本記事では、AKARUMIで取得した実データをもとに、AIボットがWebサイトのどこを見ているのか、ボットごとにどのような違いがあるのかを解説します。

  • AIボットは、/robots.txt や sitemap関連ページに多くアクセスしていた
  • 上位10ページのうち、robots.txt・sitemap関連ページが約61.5%を占めていた
  • ClaudeBot、GPTBot、PerplexityBotでは、見ているページの傾向が異なっていた
  • トップページ、料金ページ、機能ページ、記事ページにもAIボットアクセスが確認された

調査概要

今回の調査対象は、AIライティングツール「DeepEditor」のWebサイトです。

項目 内容
調査対象サイト DeepEditor
調査期間 過去30日間
調査ツール AKARUMI
分析対象 AIボットのページ別アクセス
対象ボット GPTBot、ClaudeBot、PerplexityBotなど

なお、本記事で扱うAIボットアクセスは、AI回答への引用や掲載を直接示すものではありません。

AIボットがページにアクセスしていたとしても、そのページが必ずAI回答に引用された、あるいはAIに評価されたという意味ではありません。ただし、AIにサイト情報を認識・参照してもらうためには、まずAIボットがページに到達できていることが前提になります。

AIボットがアクセスしていたページ

まず、全AIボットのページ別訪問数を見てみます。

順位 ページ 訪問回数 最近の訪問
1 /robots.txt 119 2026-05-17 20:53:23
2 / 98 2026-05-17 20:19:34
3 /sitemap.xml 66 2026-05-17 15:35:26
4 /sitemap.rss 64 2026-05-17 15:43:06
5 /price/ 19 2026-05-17 15:09:49
6 /function/ 8 2026-05-16 17:57:40
7 /blog/seo-writing/ 8 2026-05-16 17:57:40
8 /solution/ 8 2026-05-16 02:54:34
9 /blog/seo-chatgpt/ 8 2026-05-15 21:04:29
10 /blog/seo-rewrite/ 7 2026-05-17 17:34:06

今回のデータでは、/robots.txt、/sitemap.xml、/sitemap.rss の合計訪問回数は249回でした。

上位10ページの合計訪問回数は405回のため、robots.txtとsitemap関連ページだけで、上位10ページ内の約61.5%を占めています。

ページ種別 対象ページ 訪問回数
クロール制御 /robots.txt 119
サイト構造 /sitemap.xml 66
更新情報・フィード /sitemap.rss 64
合計 249

この結果から、AIボット解析では、記事やサービスページだけを見るのでは不十分だと分かります。

AIボットは、まずサイトのクロール可否やURL構造を確認している可能性があります。

AIボットごとにアクセス傾向は異なる

全AIボットのアクセスを合算すると、robots.txtやsitemapへのアクセスが多い結果になりました。

ただし、ボット別に見ると、その傾向には違いがあります。

AIボット 訪問数 主な上位ページ 傾向
ClaudeBot 976 /robots.txt、/sitemap.rss、/sitemap.xml サイト構造ページへのアクセスが非常に多い
GPTBot 285 /sitemap.rss、/sitemap.xml、/ sitemap中心だが、トップページや記事・事例ページにも分散
PerplexityBot 22 /、/robots.txt、/sitemap.xml 母数は少ないが、トップページとrobots.txtが中心

同じAIボットアクセスでも、botごとに役割やアクセス傾向が異なるため、単純に合算値だけを見るのではなく、ボット別にどのページを見ているかを確認することが重要です。

ClaudeBotはサイト構造ページへのアクセスが多い

今回の調査では、ClaudeBotの訪問数が976回と、比較したAIボットの中で最も多くなりました。

ページ 訪問回数
/robots.txt 263
/sitemap.rss 261
/sitemap.xml 257
/ 36
/price/ 5

ClaudeBotでは、/robots.txt、/sitemap.rss、/sitemap.xml の3ページだけで781回の訪問がありました。

ClaudeBot全体の約80.0%が、サイト構造やクロール制御に関わるページに集中していたことになります。

この結果から、ClaudeBotはまずサイトのクロール可否やURL構造、更新情報を確認している可能性が高いと考えられます。

一方で、トップページ / にも36回、料金ページ /price/ にも5回アクセスが確認されています。サイト構造に強く集中しつつも、サービス理解に関わるページにも一部アクセスしていたことが分かります。

GPTBotはsitemapに加えて、記事・事例ページにも分散していた

GPTBotの訪問数は285回でした。

ページ 訪問回数
/sitemap.rss 19
/sitemap.xml 19
/ 13
/?s=search_term_string 7
/?strategy 7
/works/ponte-vecchio-hotta/ 5
/news/expo2025-summer/ 5
/price/ 5
/?p=540 4
/blog/content-marketing/ 4

GPTBotもsitemapへのアクセスが多い一方で、ClaudeBotほど構造ページに集中しているわけではありません。

トップページ、料金ページ、事例ページ、ニュースページ、記事ページなどにもアクセスが分散しています。

この点は、GPTBotがサイト構造だけでなく、ブランド情報、サービス情報、コンテンツ情報にも接触している可能性を示しています。

PerplexityBotは母数が少ないが、トップページとrobots.txtが中心

PerplexityBotの訪問数は22回でした。

ページ 訪問回数
/ 7
/robots.txt 6
/sitemap.xml 2
/price/ 1
/price 1
/site/manifest.json 1
/assets/manifest.json 1
/build-manifest.json 1
/_next/build-manifest.json 1
/?ref=affiliate_placeholder 1

PerplexityBotでは、トップページ / が7回で最多、次いで /robots.txt が6回でした。

母数が少ないため強い断定はできませんが、今回のデータでは、トップページとrobots.txtへのアクセスが中心でした。

ボットごとの違いから分かること

今回のデータを見ると、AIボットといっても、アクセス傾向は一様ではありません。

ClaudeBotは、robots.txtやsitemap関連ページに強く集中していました。GPTBotは、sitemapを確認しつつ、トップページ、料金ページ、事例、ニュース、記事にもアクセスしていました。PerplexityBotは母数が少ないものの、トップページとrobots.txtへのアクセスが中心でした。

合算データだけを見ると、robots.txtやsitemapが多いという結論になります。しかし、ボット別に見ると、特定のボットはサイト構造に集中し、別のボットは記事や事例ページにも分散していることが分かります。

AIボット解析では、全体の訪問数だけでなく、ボット別に「どのページを見ているのか」を確認することが重要です。

AIボットが見ていたページから考える改善ポイント

トップページはAIにとってもブランド理解の入口になり得る

今回の全AIボットデータでは、トップページ / への訪問が98回ありました。

トップページは、人間のユーザーにとっての入口であると同時に、AIにとってもブランドやサービスを理解する入口になり得ます。

  • 何のサービスかを明確にする
  • 誰向けのサービスかを示す
  • どのような課題を解決するかを整理する
  • 他サービスとの違いを伝える
  • 運営会社・導入実績・受賞歴など信頼性につながる情報を掲載する

トップページでは、サービス名、提供価値、対象ユーザー、主な機能、導入実績、運営会社情報などを明確に記載することで、AIがサイト内容を理解しやすくなります。

料金・機能・ソリューションページは比較検討情報として重要

今回のデータでは、以下のようなサービス理解・比較検討に関わるページにもAIボットアクセスが確認されました。

ページ 訪問回数 見方
/price/ 19 料金・プラン情報への接触
/function/ 8 機能情報への接触
/solution/ 8 課題解決・用途情報への接触

料金、機能、用途、対象ユーザー、導入メリットなどの情報は、AIがサービスを説明する際の材料になり得ます。

  • 料金ページでは、プラン差分・月額費用・対象ユーザー・FAQを整理する
  • 機能ページでは、機能一覧だけでなく利用シーンや解決できる課題を明記する
  • ソリューションページでは、課題別の使い方や導入メリットを説明する
  • 比較ページでは、他ツールとの違い、選定ポイント、向き不向きを整理する

記事コンテンツもAIボットの接触対象になる

今回のデータでは、SEO・AIライティング関連の記事にもAIボットアクセスが確認されました。

ページ 訪問回数 想定されるテーマ
/blog/seo-writing/ 8 SEO記事作成
/blog/seo-chatgpt/ 8 ChatGPTとSEO
/blog/seo-rewrite/ 7 SEOリライト
/blog/ai-writing/ 7 AIライティング
/blog/content-marketing/ 6 コンテンツマーケティング

記事ページは、AIが特定テーマを理解するうえで重要な接触先になり得ます。

ただし、AIボットがアクセスしているからといって、その記事が必ずAI回答に引用されているわけではありません。重要なのは、AIボットが接触しているページを把握したうえで、そのページの情報がAIにとって分かりやすい形になっているかを確認することです。

  • 結論を明確にし、AIが要点を抽出しやすい構成にする
  • 見出し構造を整理し、テーマごとの情報を理解しやすくする
  • FAQを追加し、質問回答形式で参照しやすくする
  • 独自データや実例などの一次情報を入れる
  • 関連ページへ内部リンクし、サービス情報や料金ページへ接続する
  • 著者・監修情報を整備し、信頼性を補強する

まとめ

今回の調査から分かるのは、AIボット解析では「AIボットが来ているか」だけでなく、どのAIボットが、どのページにアクセスしているのかを見ることが重要だということです。

AI検索時代のWebサイト運営では、検索順位やセッション数だけでなく、AIボットがどのページを見ているのかを把握することが重要になります。

AKARUMIでは、ChatGPT、Claude、PerplexityなどのAIボットアクセスを可視化し、AI検索時代に強化すべきページを把握できます。

GA4やGSCだけでは見えにくい「AIに見られているページ」を分析することで、LLMOにおける改善優先度をより具体的に判断できます。

AKARUMI サービス資料 ダウンロード

関連記事

AIに選ばれるブランドを作る

【EXPO登壇レポート】“AIに選ばれるブランド”を作る LLMのブラックボックスを解き明かす

LLMOに関わる構造化データとは?実装方法や導入ステップまで徹底解説

 LLMOに関わる構造化データとは?実装方法や導入ステップまで徹底解説

美容クリニックのAI検索対策|ブランド露出を獲得するLLMO・GEO戦略と引用構造

美容クリニックのAI検索対策|ブランド露出を獲得するLLMO・GEO戦略と引用構造

AI Overviews(AIO)とは?SGEとの違いや使い方、最新SEO対策まで徹底解説

AI Overviews(AIO)とは?SGEとの違いや使い方、最新SEO対策まで徹底解説