クローラーとは?SEOにおけるクローラ向け最適解の6つのポイント

クローラーとは

クローラー(Crawler)とは、Googleなどのロボット型検索エンジンがWEB上のファイル(HTML文書だけでなく、画像・PDFまで含む全般)を収集するためのプログラムのことです。クローラーによって収集されたデータがインデックス化され、巨大な検索データベースが作成されます。「ロボット」「スパイダー」などとも呼びます。

Googleが持つクローラーには用途に応じて複数のクローラーがあります。例えば通常のWEB検索には「Googlebot」、画像検索には「Googlebot-Image」、モバイル検索には「Googlebot-Mobile」といったように、様々なクローラーが存在します。

クローラー向けの最適化の6つのポイント

クローラーは必ずしも全てのWEBページをもれなく巡回できるわけではありませんし、公開したページをすぐに発見してくれるとも限りませんので、SEOを実施する上では、クローラーができるだけWEBサイト内を効率よく巡回しやすくするための工夫が求められます。

また、クローラーに収集され検索結果に表示させたくないコンテンツをクロールしないようにrobots.txtなどを用いて制御したり、複数URLで同じコンテンツが生成されてしまうなどの場合にどのURLをインデックスしてもらうか指定する(正規化する)なども検索エンジンのクローラーに対する配慮として行っておく必要があります。

こういった検索エンジンクローラーのWEBサイトの巡回しやすさを総称して「クローラビリティ」と呼びます。数千以下のURL数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるので意識はしなくて良いですが、数百万のページがある超大規模サイトの場合はクロールに割り当て可能なリソースの量に対してページに対して優先順位を付けることが重要になり、「クローラビリティ」を意識する必要が出てきます。

そこで「クローラビリティ」という観点でのクローラ向けの最適化のポイントは6つ紹介します。

1. XMLサイトマップへの登録

GoogleはXMLサイトマップに登録されているURLを、クロールを行う手がかりとしています。重要なページは必ずXMLサイトマップにURLの登録を行いましょう。

2. 内部リンクの最適化

内部リンクはXMLサイトマップと同様にクロールを行うページの手がかりとしています。重要なページにサイトからの内部リンクが集まっているのか?リンク切れが発生していないか?重要度が低いページへのリンクが大量発生していないか?確認しましょう。

3. robots.txtの設定

インデックスされたくないような不要なページが大量に存在している場合は、クロールが可能な限りされないようにrobots.txtでdisallowを設定しましょう。ただし、disallowを設定したから必ずクロールされないわけではありません。外部リンクを辿ってGooglebotがクロールする可能性はあります。

4. URLパラメータの設定

サイト内で検索結果を持っているECサイトや求人サイトなどでは、大量のページが生成されます。その中には重複となるようなページも大量に生成されるため、重要度が低いページはGoogleサーチコンソールのURLパラメータの制御を用いて特定のパラメータ、または特定の値が含まれたパラメータを含む URL がクロールされないように設定しましょう。

5. ページ表示速度の改善

サイトの表示速度が高まるとユーザーの利便性が向上するだけでなく、クローラーのクロール速度も上がります。サーバエラーやタイムアウトが多い多い場合はサーバ状態に問題があるとみなされ、クロールが遅くなります。またサーバエンドの問題だけではなく、画像の読み込み容量が大きい、CSSやjavascriptといった埋め込みコンテンツについてもクローラビリティに影響を及ぼします。

 6. javascriptの最適化

Googlebotがサポートしていないjavascriptを利用している場合、Googlebotがページ内容やサイト内リンクを認識することが出来なかたっり、不要と判断されることがあります。サイトで使用しているjavascriptがGoogleが認識しているかGoogleサーチコンソールのURL検査ツールやモバイルフレンドリーテストを使用して確認しましょう。

もしも、

「公開しているページが、なかなかインデックスされない…」

「クローラーの回数がサイト規模に対して少なすぎる…」

と言ったケースの場合は、弊社のSEO課題チェックサービスでご相談下さい。プロのSEOコンサルタントがサイト内の問題点の洗い出しを行います。

Webサイトの運用・集客でお困りではありませんか?

デジタルマーケティング全般についてのご相談はこちら

私たちが得意とするコンテンツマーケティングやSEOに限らず、Webの運営・改善に関する総合的な知見を持つ私たちなら、きっと御社の悩みを解決できると考えています。

SEO・サイト運用・コンテンツマーケティングでお困りの際には ぜひお気軽にご相談ください

  • 資料ダウンロード

    会社紹介資料・事例集からSEOのお役立ち資料まで無料でダウンロードできます。

  • メルマガ登録

    SEO・コンテンツマーケティングを中心にWeb戦略に役立つ情報を週一でお届けします。