クローラーとは?SEOにおけるクローラ向け最適解の6つのポイント

クローラーとは

クローラーとはWebページを巡回するロボットのこと

クローラーとは検索エンジンがインターネット上にあるウェブサイトの内容を把握するために巡回させているロボットのことです。ウェブを巡回するため、「スパイダー」と呼ばれることもあります。このクローラーが巡回する行動のことをクロールと呼びます。

クローラーはウェブサイトのHTMLソースを解析し、そこに書かれてあるテキスト、画像、PDFなどを含むすべての情報を収集します。クローラーが収集した情報はGoogleに格納され、巨大な検索エンジンのデータベースとなります。私たちがGoogleで検索したときに出てくる情報は、クローラーが収集したデータベースに基づいて表示されているのです。

Googleが持つクローラーは用途に応じて複数のタイプが存在します。通常のウェブ検索でしたら「Googlebot」と呼ばれるクローラーが情報を集めて検索結果を表示します。画像検索でしたら「Googlebot-Image」、モバイル検索でしたら「Googlebot-Mobile」と、一口にクローラーといってもさまざまな種類があり、それぞれが日夜インターネットを巡回してデータを集め続けているのです。

クローラーには3種類ある

SEOのためのクロール最適化6つのポイント

クローラーは必ずしも全てのウェブページをもれなく巡回できるわけではありませんし、公開したページをすぐに発見してくれるとも限りませんので、SEOを実施する上では、クローラーができるだけウェブサイト内を効率よく巡回しやすくするための工夫が求められます。

また、クローラーに収集され検索結果に表示させたくないコンテンツをクロールしないようにrobots.txtなどを用いてクローラーの巡回を制御したり、複数URLで同じコンテンツが生成されてしまう場合にどのURLをインデックスしてもらうか指定したりする(正規化する)ことも検索エンジンのクローラーに対する配慮として行っておく必要があります。

こういった検索エンジンクローラーのウェブサイトの巡回しやすさを総称して「クローラビリティ」と呼びます。数千以下のURL数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるので意識はしなくていいでしょう。数百万のページがある大規模サイトの場合はクロールに割り当て可能なリソースの量に対してページに対して優先順位を付けることが重要になり、「クローラビリティ」を意識する必要が出てきます。

そこで「クローラビリティ」という観点で、クローラー向け最適化のポイントを6つ紹介します。

1.XMLサイトマップへの登録

XMLサイトマップはクロールにとってサイトを巡回する参考になる

GoogleはXMLサイトマップに登録されているURLを、クロールを行う手がかりとしています。重要なページは必ずXMLサイトマップにURLの登録を行いましょう。

2. 内部リンクの最適化

内部リンクをたどってクローラーは移動する

内部リンクはXMLサイトマップと同様にクロールを行うページの手がかりとしています。重要なページにサイトからの内部リンクが集まっているのか?リンク切れが発生していないか?重要度が低いページへのリンクが大量発生していないか?確認しましょう。

3. robots.txtの設定

インデックス不要なページが大量に存在している場合は、robots.txtでdisallowを設定しましょう。ただし、disallowを設定したとしても必ずクロールされないわけではありません。外部リンクをたどってGooglebotがクロールする可能性はあります。

4. URLパラメータの設定

重複しているページはGoogleサーチコンソールのURLパラメータの制御を用いて URL がクロールされないように設定しまし

サイト内で検索結果を持っているECサイトや求人サイトなどでは、大量のページが生成されます。その中には内容が重複しているページも大量に生成されるため、重要度が低いページはGoogleサーチコンソールのURLパラメータの制御を用いて特定のパラメータ、または特定の値が含まれたパラメータを含む URL がクロールされないように設定しましょう。

ただしパラメータを設定したからといって確実にクロールされなくなるわけではありません。クロールの効率化を助ける、という考え方が適切でしょう。

参考:パラメータ化された重複コンテンツのクロールをブロックする – Search Console ヘルプ

参考:ウェブマスターツールのURLパラメータの「クロールしない」はクロールしないわけではない | 海外SEO情報ブログ

5. ページ表示速度の改善

ページ表示速度を改善する

サイトの表示速度が高まるとユーザーの利便性が向上するだけでなく、クローラーのクロール速度も上がります。サーバエラーやタイムアウトが多い場合はサーバ状態に問題があるとみなされ、クロールが遅くなります。またサーバエンドの問題だけではなく、画像の読み込み容量が大きいCSSやjavascriptといった埋め込みコンテンツについてもクローラビリティに影響を及ぼします。

参考(外部サイト):PageSpeed Insights

6. javascriptの最適化

Googlebotがサポートしていないjavascriptを利用している場合、Googlebotがページ内容やサイト内リンクを認識することができなかったり、不要と判断されたりすることがあります。サイトで使用しているjavascriptをGoogleが認識しているかどうかGoogleサーチコンソールのURL検査ツールやモバイルフレンドリーテストを使用して確認しましょう。

もしも、

「公開しているページが、なかなかインデックスされない…」

「クローラーの回数がサイト規模に対して少なすぎる…」

といったケースが起こっている場合は、弊社のSEOクラウド(初回30分無料)もぜひご確認ください。

プロのSEOコンサルタントが相談に乗らせていただきます。

クロールされているか確認する方法

クローラーがクロールしてくれたかどうかは、見た目にはわかりません。いちいち検索して表示されるかどうか確かめるのも非現実的です。ここでは実際にウェブサイトがクロールされているかどうかを確認する方法を紹介します。

Google Search Consoleを使うGoogle research consoleのスクリーンショット

Googleが提供するGoogle Search Consoleというツールを使うことで、クロールの統計情報を確認することができます。統計情報で確認したいのがクロールの頻度です。

クロールの頻度は、ウェブサイトの規模やそのほかの要因によって決定されるものであり、多ければ良いとか少ないと困るとか、そういった「回数」にこだわる必要はありません。ただし、その回数が急激に低下したり上昇したりする場合は注意が必要です。クロール数が大幅に増減するのには何らかの原因があり、人為的なミスが隠れていることもあるからです。

例えば、robots.txtで新たに追加したルールが作用していたり、ページのHTMLが壊れていたり、サーバに負荷がかかってサイトが重くなっていたりといった原因が考えられます。クロール頻度がある日突然大きく変動したときは、その原因を探りましょう。

クロールの頻度・速さについて

クロール頻度とは、Googleのクローラーがウェブサイトを巡回して情報を収集する頻度のことです。クロール頻度はウェブサイトによって異なりますが、それをユーザーの側で変更することはできません。あくまでGoogleがアルゴリズムに基づき、自動的に判断しています。

ユーザー側でクロール頻度の最大頻度を設定することはできますが、だからといって設定した頻度でクロールしてくれるわけではありません。よほどの理由がないかぎりは、クロール頻度の最大値を設定することはやめておいたほうがいいでしょう。

クロール頻度が高いからといってSEO的に有利になるわけではありませんが、クロール頻度が高いと新しいコンテンツのインデックスが速くなる可能性が高まります。新しいコンテンツが高品質で検索結果での上位表示が望める場合は、速くクロールしてもらいたいもの。普段から良質なコンテンツを多く作成し、Googleの評価を高めておきましょう。

Webサイトの運用・集客でお困りではありませんか?

デジタルマーケティング全般についてのご相談はこちら

私たちが得意とするコンテンツマーケティングやSEOに限らず、Webの運営・改善に関する総合的な知見を持つ私たちなら、きっと御社の悩みを解決できると考えています。

サイト内検索

SEO・サイト運用・コンテンツマーケティングでお困りの際には ぜひお気軽にご相談ください

お問い合わせはこちら