Google にインデックスされるまで ― Googlebot がページを見つけて登録するまでの流れを図で見る

1. URL を見つける

Google には、世界中のページがあらかじめ届け出られているわけではありません。Googlebot（グーグルボット）という Google のプログラムが、新しいページを自分で探しに行っています。

新しい URL を見つける主な入口は 2 つです。

• リンク：すでに知っているページに、新しいページへのリンクがあれば、そこから見つけます
• サイトマップ：サイトのページの一覧（sitemap.xml）を Search Console などから送っておくと、そこから見つけます

見つけた URL は、すぐに読まれるわけではなく、取りに行く順番待ちの列に入ります。どのサイトをどのくらいの間隔で取りに行くかは、Google が自動で決めています。

2. robots.txt を確かめる

Googlebot は、ページを取りに行く前に、サイトの入口にある robots.txt というファイルを読みます。robots.txt には、「このフォルダの中は取りに来ないでほしい」という決まりを書いておけます。

たとえば WordPress は、何も設定していなくても、次のような robots.txt を返します。

• User-agent: *：すべてのロボットに向けた決まり
• Disallow: /wp-admin/：管理画面のフォルダは取りに来ないでほしい

/news/hello/ は止められていないので、Googlebot は取りに行きます。

3. ページを取りに行く（クロール）

Googlebot は、ブラウザと同じように URL にリクエストを送り、ページを受け取ります。返ってきたものには、うまくいったかどうかを表す ステータスコード という番号が付いています。

• 200：うまくいった。中身を次の段階へ回します
• 301 などの転送：転送先の URL を取りに行きます
• 404 など：ページがない。登録の対象から外し、すでに登録していれば消します
• 500 など：サーバーの不調。取りに来る間隔を空け、長く続けば登録から消します

ブラウザでページを開くときの流れは「Web サイトが表示されるまで」で説明しています。Googlebot がしていることも、途中までは同じです。

4. ページを描画する（レンダリング）

受け取った HTML だけでは、ページの中身がそろっていないことがあります。JavaScript があとから文章や一覧を足して作るサイトがあるためです。

そこで Google は、新しい版の Chrome と同じ仕組みでページを描画し、JavaScript を動かしたあとの中身を読みます。描画は取りに行ったときすぐではなく、少し待ってから行うことがあります。

描画したページの中に新しいリンクが見つかれば、その URL も 1 の順番待ちの列に足します。こうしてリンクをたどって、次々にページを見つけていきます。

5. noindex がないか確かめる

ページの中に、「このページは検索結果に出さないでほしい」という noindex の指定があるかを確かめます。指定の書き方は 2 つあります。

• HTML の head に書く：<meta name="robots" content="noindex">
• サーバーが返すヘッダーに書く：X-Robots-Tag: noindex

noindex があれば、そのページは登録しません。すでに登録していたページなら、次に取りに来たときに検索結果から外します。

なお、3 で受け取った最初の HTML やヘッダーに noindex があると、Google は 4 の描画を省くことがあります。最初の HTML に noindex を書いておき、JavaScript であとから消しても、登録されないことがあります。図の下のボタンで、2 つの場合を切りかえて見られます。

WordPress では、管理画面の「表示設定」にある「検索エンジンがサイトをインデックスしないようにする」にチェックを入れると、全ページにこの noindex が入ります。作っている途中のサイトで入れたまま公開してしまい、いつまでも検索結果に出ない、ということがよくあります。WordPress がページを組み立てる流れは「WordPress とは」で説明しています。

6. 似たページをまとめる

同じ記事が、少しずつ違う URL で見られることがあります。

• http:// と https:// の両方で開ける
• 並べ替えや絞り込みの指定が URL の後ろに付く
• スマホ用とパソコン用のページが分かれている

Google は、中身がほとんど同じページをひとまとめにして、その中から代表の URL を 1 つ選びます。この代表を 正規 URL（canonical）と呼び、選ぶことを 正規化 といいます。

サイトの側から「代表はこれです」と伝えるには、<link rel="canonical"> というタグや、転送、サイトマップを使います。ただしこれは Google にとってヒントで、ほかの手がかりから別の URL を代表に選ぶこともあります。

7. インデックスに登録する

ここまで来たページは、中身・代表の URL・言語などの情報と合わせて、インデックス に登録されます。インデックスは、たくさんのコンピューターに分けて置かれた、とても大きなデータベースです。

誰かが検索すると、Google はインターネットを見に行くのではなく、このインデックスの中から合うページを探して、検索結果に並べます。新しく書いたページが検索結果に出るまでに時間がかかるのは、1 から 7 までの流れを通る必要があるためです。

なお、最後まで来たページが必ず登録されるとは限りません。中身が薄い、ほかのページとほとんど同じ、といった理由で、Google が登録しないと決めることもあります。登録されたかどうかは、Search Console の「URL 検査」で確かめられます。

この図解は、出典に挙げた仕様や公式の文書をもとに Claude（AI）が下書きし、セオリコが内容を確かめて公開しています。図は説明のために流れを簡単にしたもので、実際のやりとりはサイトや環境によって異なります。