Googlebotとは？クロールの仕組みを初心者向けに解説

SEO

Googlebotは、GoogleがWebページを見つけて内容を確認するために使うクローラーです。検索結果へページを登録する前段階で、リンクやサイトマップなどをたどりながらWeb上のURLへアクセスします。

初心者は、「Google検索のためにWebページを巡回して情報を集めるプログラム」と理解すれば十分です。ただし、Googlebotにクロールされたからといって、必ずインデックス登録・上位表示されるわけではありません。

30秒でわかる結論

30秒でわかる結論

  • GooglebotはGoogleがWebページをクロールするためのクローラー
  • リンク・サイトマップ・既知URLなどをもとにページを発見する
  • クロール前にはrobots.txtのルールを確認する
  • Googlebot SmartphoneとGooglebot Desktopがあり、検索ではモバイル版の扱いが重要
  • Googlebotに取得されても、必ずインデックス登録されるわけではない
  • robots.txtでクロールを禁止しても、URL自体が検索結果から必ず消えるわけではない
  • 初心者は、robots.txtをむやみに触らず、内部リンク・XMLサイトマップ・正常なHTTP応答を整えることが重要

Googlebotとは？

Googlebotは、Googleが検索インデックス作成などに使う自動クローラーの代表的なものです。

Googleの一般的なクローラーは、検索インデックスの作成や各種GoogleサービスのためにWeb上の情報を取得します。Googlebotもその1つです。

初心者向けに一言でいうと

Googlebotは、Webサイトを巡回してページを見つけ、内容をGoogleへ持ち帰るプログラムです。

クロールの仕組み

Googlebotは、すでに知っているURLやページ内リンク、XMLサイトマップなどを手がかりに新しいURLを発見します。

1．URLを発見
内部リンク・外部リンク・サイトマップなど
2．robots.txtを確認
クロール可能か判断
3．ページへアクセス
HTML・CSS・JavaScriptなどを取得
4．内容を解析
リンクやページ内容を確認
5．必要に応じてインデックス処理へ
検索結果へ利用される可能性がある

クロール＝インデックスではない

Googlebotがページへアクセスしても、そのページが必ずGoogle検索へ登録されるわけではありません。クロールとインデックスは別の処理です。

GooglebotはどうやってURLを見つける？

内部リンク

サイト内のページから別ページへ張られたリンクは、Googlebotが新しいURLを発見する重要な経路です。

外部リンク

他サイトから自分のページへリンクされていれば、そのリンクを通じてURLが見つかる場合があります。

XMLサイトマップ

XMLサイトマップへ重要URLを記載すると、GoogleへURL候補を伝えられます。

過去に取得したURL

Googleが以前から知っているURLは、更新確認などのため再クロールされることがあります。

新規ページはリンクでつなぐ

記事を公開したら、XMLサイトマップだけに頼るのではなく、関連ページやハブページから自然な内部リンクを張ることが重要です。

Googlebotとrobots.txtの関係

Googleの自動クローラーは、クロール時にrobots.txtのルールを確認します。

robots.txtでは、Googlebotに対して特定パスへのクロールを許可・制限できます。

例

User-agent: Googlebot
Disallow: /private/

この例では、Googlebotに対して /private/ 以下をクロールしないよう指示します。

robots.txtはnoindexではない

robots.txtでクロールを禁止しても、そのURLが外部リンクなどから知られていれば、URLだけが検索結果に表示される可能性があります。検索結果へ出したくないページの制御とは分けて考えてください。

Googlebot SmartphoneとDesktopの違い

Googlebotには、スマートフォン向けとデスクトップ向けのユーザーエージェントがあります。

種類 用途
Googlebot Smartphone スマートフォン相当の環境でページを取得
Googlebot Desktop デスクトップ相当の環境でページを取得

Google検索ではモバイル版コンテンツを基準に扱うモバイルファーストインデックスが基本なので、スマートフォン向けページで重要な本文・リンク・構造化データなどが欠けないようにします。

PC版だけ整えても不十分

スマートフォン表示で本文や内部リンクを大きく省略している場合、Googleが確認する情報にも影響する可能性があります。レスポンシブWebデザインなら、基本的に同じ内容を端末幅に応じて表示する構成にしやすくなります。

GooglebotのUser-Agentとは？

Webサーバーへアクセスするとき、GooglebotはUser-Agentと呼ばれる識別情報を送ります。

robots.txtでは、Googlebot向けのルールを次のように指定できます。

robots.txtの指定

User-agent: Googlebot

ただし、User-Agent文字列は第三者でも偽装できます。アクセスログに「Googlebot」と書かれているだけで、本物のGooglebotと断定しないことが重要です。

本物のGooglebotか確認する方法

大量アクセスやセキュリティ調査で「このアクセスは本当にGooglebotか」を確認したい場合があります。

Googleは、一般的なGoogleクローラーについて公開IP範囲やリバースDNSを使った検証方法を案内しています。

確認の考え方

  • User-Agentだけで判断しない
  • Googleが公開するクローラー用IP範囲を確認する
  • 必要に応じてリバースDNS・正引きを確認する
  • WAFやCDNのBot判定機能も活用する

一般的なブログ運営者が日常的にGooglebotのIPを手動確認する必要はありません。異常なBotアクセスがある場合や、サーバー管理者がアクセス制御を行う場合に確認します。

Googlebotはどのくらいの頻度で来る？

固定で「1日1回」「公開後30分以内」のように決まっているわけではありません。

Googleは、サイトの状態や更新状況、サーバーが処理できる量などを考慮してクロール量を自動調整します。

クロール頻度が変わる例

  • 頻繁に更新されるニュースサイト
  • ほとんど更新されない会社案内ページ
  • 数ページだけの小規模サイト
  • 数百万URLを持つ大規模サイト

これらが同じ頻度でクロールされるとは限りません。

Googlebotがサイトへ負荷をかけることはある？

Googleは、サーバーを過負荷にしない範囲でできるだけ効率よくクロールするよう、クロール速度を自動調整しています。

ただし、大量の不要URLが生成されているサイトなどでは、クロールリクエストが増えることがあります。

急増したらURL構造を確認

Google公式は、クロール急増の原因例として、絞り込みナビゲーションや日付カレンダーなどによる非効率な大量URL生成を挙げています。まずアクセスログとURL構造を確認してください。

crawl-delayはGooglebotに使える？

Googleはrobots.txtの crawl-delay をサポートしていません。

Googlebotのクロールがサーバーへ大きな負荷をかけている場合は、robots.txtへ独自のcrawl-delayを書くのではなく、Google公式のクロール速度低減手順やサーバー側の原因調査を行います。

初心者は設定しなくてよい

通常のWordPressサイトで、Googlebotのクロール速度を手動調整する必要はほとんどありません。まずサーバー障害や不要URL大量生成がないか確認します。

Googlebotが来ない主な原因

robots.txtでブロックしている

対象ページや必要なCSS・JavaScriptを誤ってDisallowしている場合があります。

内部リンクがない

どこからもリンクされていないオーファンページは、Googlebotが見つけにくくなります。

サイトマップにURLがない

XMLサイトマップは必須ではありませんが、重要URLの発見を助けます。

サーバーエラーが続いている

5xxエラーやネットワーク障害が続くと、正常にクロールできません。

URLが大量に重複している

パラメータURLや絞り込みURLが大量発生すると、重要ページ以外へクロールが分散する場合があります。

GooglebotにクロールされればSEOに有利？

Googlebotのクロール回数が多いほど検索順位が上がる、という単純な仕組みではありません。

クロールは検索エンジンがページを知るために必要ですが、その後のインデックス処理やランキング評価は別です。

URL発見
クロール
インデックス処理
検索クエリに応じたランキング
クロールは検索表示までの一段階

クロール回数を増やすSEOは考えない

重要なのは、Googlebotが必要なページへアクセスでき、内容を正しく理解できるサイト構造にすることです。無理にクロール数を増やすこと自体をSEO目的にしないでください。

Googlebotとクロールバジェットの関係

クロールバジェットは、Googleがサイトをどの程度クロールするかを考えるときに使われる概念です。

ただし、Google公式では、一般的な小規模サイトではクロールバジェットを過度に意識する必要はありません。

大規模サイトでのクロールバジェットの考え方は「クロールバジェットとは？重要になるサイトを解説」で詳しく扱います。

Search Consoleでクロール状況を確認する

Google Search Consoleでは、Googleがサイトをどのようにクロールしているか確認できます。

主な確認方法

  • URL検査で個別URLの状態を確認
  • ページのインデックス登録レポートを確認
  • クロール統計情報でGooglebotのリクエスト傾向を確認
  • サーバーエラーや取得失敗が増えていないか確認

「Googlebotが来ているか」と「そのURLがインデックスされているか」は別なので、両方を確認してください。

WordPressでGooglebotのために確認すること

初心者向けチェック

  • 検索エンジンがサイトをクロールできる状態か
  • robots.txtで必要ページをブロックしていないか
  • XMLサイトマップが生成されているか
  • 重要ページへ内部リンクがあるか
  • 404・500系エラーが大量発生していないか
  • スマートフォン表示でも本文・リンクが欠けていないか
  • 不要なパラメータURLが大量生成されていないか

WordPress設定の「検索エンジンがサイトをインデックスしないようにする」に注意

公開サイトで意図せず検索エンジン向けの制御を有効にしていると、検索登録へ影響します。制作中サイトから本番公開へ切り替えた際は設定を確認してください。

どんな場合にGooglebotを意識する？

個人ブログ 理解度 ★★☆☆☆

Googlebotの細かな仕様より、内部リンク・サイトマップ・正常な公開状態を確認すれば十分です。

会社サイト 理解度 ★★★☆☆

リニューアル・移転時にrobots.txtやリダイレクトでGooglebotを誤って遮断しないことが重要です。

大規模サイト 理解度 ★★★★★

クロール統計、ログ、重複URL、クロールバジェットまで確認する価値があります。

サーバー管理者 理解度 ★★★★★

Googlebotの検証、IP範囲、アクセスログ、異常クロール時の負荷まで確認します。

注意点

  • Googlebotにクロールされた＝インデックスされた、ではない
  • クロール回数が多い＝SEO評価が高い、ではない
  • robots.txtとnoindexの役割を混同しない
  • User-Agentだけで本物のGooglebotと判断しない
  • crawl-delayをGooglebot向けに設定してもGoogleはサポートしない
  • 重要なCSS・JavaScriptをむやみにrobots.txtでブロックしない
  • 小規模サイトでクロールバジェットを過度に心配しない

教科書判定

教科書判定

初心者は「Googlebotが重要ページを見つけて正常に取得できる状態」を作れば十分

一般的なWordPressサイトでは、GooglebotのUser-AgentやIPアドレスを細かく管理する必要はありません。まず内部リンク、XMLサイトマップ、robots.txt、正常なHTTP応答、スマートフォン表示を確認してください。

Googlebotのクロール回数を増やすこと自体はSEOの目的ではありません。重要なのは、検索対象にしたいページへGooglebotがアクセスでき、内容を正しく理解できるサイト構造を作ることです。

よくある質問

Q．Googlebotが来れば検索結果に必ず載りますか？

載るとは限りません。クロール後にインデックス処理が行われ、Googleが登録するか判断します。クロールとインデックスは別です。

Q．Googlebotは毎日来ますか？

固定頻度ではありません。サイトの更新状況、規模、サーバー状態などに応じてクロール頻度は変わります。

Q．robots.txtでGooglebotを止めれば検索結果から消えますか？

必ず消えるわけではありません。クロールできなくても、外部リンクなどからURLが知られているとURLだけ表示される場合があります。インデックス制御とは分けて考えてください。

Q．アクセスログのGooglebotは本物ですか？

User-Agentは偽装できます。本物か確認する必要がある場合は、Googleが公開するIP範囲やリバースDNSなどを使って検証します。

Q．Googlebotのクロールを増やせばSEOに有利ですか？

単純には有利になりません。クロールは検索表示までの一段階です。重要ページを見つけやすくし、不要URLを増やさず、正常に取得できる状態を整える方が重要です。

まとめ

Googlebotの要点

  • GooglebotはGoogleがWebページをクロールするためのクローラー
  • リンク・サイトマップ・既知URLなどからページを発見する
  • 自動クロール時はrobots.txtのルールを確認する
  • Googlebot SmartphoneとDesktopがある
  • クロールされても必ずインデックスされるわけではない
  • User-Agentだけでは本物のGooglebotと断定できない
  • クロール頻度は固定ではなくGoogleが自動調整する
  • 初心者は内部リンク・サイトマップ・robots.txt・サーバーエラーを優先確認する
次に読む

「クロールとは？インデックスとの違いを解説」「クロールバジェットとは？重要になるサイトを解説」「Search ConsoleのURL検査とは？使い方を解説」もあわせて確認してください。