Googlebotとは？

Googlebotとは？

GooglebotとはGoogleが開発したクローラーの一つです。インターネット上でアクセスが許可されているすべてのWebページをクロールして、Googleにインデックスします。

Googlebotには、デスクトップ用のGooglebotとモバイル用のGooglebotが存在します。その他、画像用や動画用など複数のサブタイプが存在します。Googleが取り扱うクローラーの詳細はGoogle公式のヘルプをご参照ください。

参考：Google クローラの概要（ユーザー エージェント） - Search Console ヘルプ

Webサイトがモバイルファーストインデックスに移行している場合、クロールの大部分はモバイル用のクローラーが使用され、一部でデスクトップ用のクローラーが使用されます。

＼プロのノウハウを詰め込みました！資料ダウンロードはこちらから／

GooglebotとSEO

Googlebotは必ずしもWebサイト内のすべてのページをもれなく巡回できるわけではありません。そのため、サイト管理者は定期的にXMLサイトマップを送信したり、robots.txtによってクロール制御したり、リダイレクト・canonicalの設定によってURLを正規化したりなど、Googlebotのクローラビリティを意識する必要が出てきます。

参考：クローラーとは？SEOにおけるクローラ向け最適解の6つのポイント

また、「ユーザーが見えているコンテンツ」と「Googlebotが認識できるコンテンツ」にズレが生じる場合があります。Googlebotが認識できないものには、Ajaxなどの技術で非同期に読み込まれるコンテンツや、閲覧にCookieが必要なコンテンツなどが挙げられます。

Googlebotはページ上でクリックやスクロールなどのアクションをしません。ユーザーのアクションをキッカケに「新たにファイルをダウンロードする」ような仕様になっていると、その部分のファイルのコンテンツは無視されてしまうので注意が必要です。

SEOについて詳しく知りたい方はこの記事も読んでみてください。

Googlebotの情報検出の精度は日々改善されているものの、JavaScriptを使用したナビゲーションリンクなども推奨されません。

Googlebot は、HTML リンクの構造を理解することには長けていますが、ナビゲーションに JavaScript を使用しているサイトの検出は苦手です。Google では JavaScript の読解能力の強化に取り組んでいますが、Google や他の検索エンジンによるクロールが可能な、コンテンツへの HTML リンクを記載したサイトを作成することをおすすめします。

出典：アクセシビリティに対応した AJAX サイトの設計 - Search Console ヘルプ

URL検査ツールでGooglebotのレンダリング状況を確認する

Googlebotがサイトにアクセスする頻度とサイト内のどのページをクロールしたかを調べるにはGoogle Search Consoleの「URL検査ツール」（旧Fetch as Google）を使います。

URL検査ツールでは大きく次の４つのことができます。

URLの現在のインデックスステータスの確認

URL検査ツールを使用することで、Googleのインデックスに登録されたページ、そして何らかの問題でインデックス出来なかった理由を確認できます。

公開 URL の検査

Search Consoleで管理してるサイトの公開URLをテストすることで正常にインデックスされているかどうかを確認することができます。

URL のインデックス登録リクエスト

URLをGoogleにクロールまたは再クロールさせるようにリクエストできます。リクエストからインデックス登録までは1～2週間程度かかります。

レンダリングされたページの表示

Googleがどのようにページを認識しているかをスクリーンショットで確認できます。

上記それぞれの使い方の詳細については公式ヘルプを参照ください。

参考：URL 検査ツール - Search Console ヘルプ

この記事もチェック

【2024年最新】SEOとは?SEOの基礎や対策方法や事例についてプロが徹底解説

SEO（Search Engine Optimization）とは、検索エンジン最適化のことを意味し、検索エンジンで上位表示させるための施策のことを「SEO対策」と言い...

また、ナイルではSEOについてまとめた資料をご用意しております。SEOについて把握したいなら、まずはこの3点の資料をご覧ください。

• SEO成功事例・法則資料
• SEO1問1答 全30問
• SEO内製化 （インハウスSEO） 進め方ロードマップ

具体的な内容については、ダウンロードの上、ご確認ください。