目次
Googlebotとは？
GooglebotとはGoogleが開発したクローラーの一つです。インターネット上でアクセスが許可されているすべてのWebページをクロールして、Googleにインデックスします。
Googlebotには、デスクトップ用のGooglebotとモバイル用のGooglebotが存在します。その他、画像用や動画用など複数のサブタイプが存在します。Googleが取り扱うクローラーの詳細はGoogle公式のヘルプをご参照ください。
参考：Google クローラの概要（ユーザー エージェント） - Search Console ヘルプ
Webサイトがモバイルファーストインデックスに移行している場合、クロールの大部分はモバイル用のクローラーが使用され、一部でデスクトップ用のクローラーが使用されます。
＼プロのノウハウを詰め込みました！資料ダウンロードはこちらから／
GooglebotとSEO
Googlebotは必ずしもWebサイト内のすべてのページをもれなく巡回できるわけではありません。そのため、サイト管理者は定期的にXMLサイトマップを送信したり、robots.txtによってクロール制御したり、リダイレクト・canonicalの設定によってURLを正規化したりなど、Googlebotのクローラビリティを意識する必要が出てきます。
参考：クローラーとは？SEOにおけるクローラ向け最適解の6つのポイント
また、「ユーザーが見えているコンテンツ」と「Googlebotが認識できるコンテンツ」にズレが生じる場合があります。Googlebotが認識できないものには、Ajaxなどの技術で非同期に読み込まれるコンテンツや、閲覧にCookieが必要なコンテンツなどが挙げられます。
Googlebotはページ上でクリックやスクロールなどのアクションをしません。ユーザーのアクションをキッカケに「新たにファイルをダウンロードする」ような仕様になっていると、その部分のファイルのコンテンツは無視されてしまうので注意が必要です。
SEOについて詳しく知りたい方はこの記事も読んでみてください。
Googlebotの情報検出の精度は日々改善されているものの、JavaScriptを使用したナビゲーションリンクなども推奨されません。
Googlebot は、HTML リンクの構造を理解することには長けていますが、ナビゲーションに JavaScript を使用しているサイトの検出は苦手です。Google では JavaScript の読解能力の強化に取り組んでいますが、Google や他の検索エンジンによるクロールが可能な、コンテンツへの HTML リンクを記載したサイトを作成することをおすすめします。
出典：アクセシビリティに対応した AJAX サイトの設計 - Search Console ヘルプ
URL検査ツールでGooglebotのレンダリング状況を確認する
Googlebotがサイトにアクセスする頻度とサイト内のどのページをクロールしたかを調べるにはGoogle Search Consoleの「URL検査ツール」（旧Fetch as Google）を使います。
URL検査ツールでは大きく次の４つのことができます。
URLの現在のインデックスステータスの確認
URL検査ツールを使用することで、Googleのインデックスに登録されたページ、そして何らかの問題でインデックス出来なかった理由を確認できます。
公開 URL の検査
Search Consoleで管理してるサイトの公開URLをテストすることで正常にインデックスされているかどうかを確認することができます。
URL のインデックス登録リクエスト
URLをGoogleにクロールまたは再クロールさせるようにリクエストできます。リクエストからインデックス登録までは1～2週間程度かかります。
レンダリングされたページの表示
Googleがどのようにページを認識しているかをスクリーンショットで確認できます。
上記それぞれの使い方の詳細については公式ヘルプを参照ください。
参考：URL 検査ツール - Search Console ヘルプ
また、ナイルではSEOについてまとめた資料をご用意しております。SEOについて把握したいなら、まずはこの3点の資料をご覧ください。
- SEO成功事例・法則資料
- SEO1問1答 全30問
- SEO内製化 （インハウスSEO） 進め方ロードマップ
具体的な内容については、ダウンロードの上、ご確認ください。
