クローラーとは

SEOで使われる用語「クローラー(Crawler)」について解説しています。

クローラーとは

クローラー(Crawler)とは、Googleなどのロボット型検索エンジンがWEB上のファイル(HTML文書だけでなく、画像・PDFまで含む全般)を収集するためのプログラムのことです。クローラーによって収集されたデータがインデックス化され、巨大な検索データベースが作成されます。「ロボット」「スパイダー」などとも呼びます。

Googleが持つクローラーには用途に応じて複数のクローラーがあります。例えば通常のWEB検索には「Googlebot」、画像検索には「Googlebot-Image」、モバイル検索には「Googlebot-Mobile」といったように、様々なクローラーが存在します。

クローラー向けの最適化

クローラーは必ずしも全てのWEBページをもれなく巡回できるわけではありませんし、公開したページをすぐに発見してくれるとも限りませんので、SEOを実施する上では、クローラーができるだけWEBサイト内を効率よく巡回しやすくするための工夫が求められます。

また、クローラーに収集され検索結果に表示させたくないコンテンツをクロールしないようにrobots.txtなどを用いて制御したり、複数URLで同じコンテンツが生成されてしまうなどの場合にどのURLをインデックスしてもらうか指定する(正規化する)なども検索エンジンのクローラーに対する配慮として行っておく必要があります。

こういった検索エンジンクローラーのWEBサイトの巡回しやすさを総称して「クローラビリティ」と呼び、特にコンテンツ量が多くなればなるほどクローラビリティの改善の重要度は高くなります。

少人数でSEO業務を担当されている方へ

社内外の関係者へ報告するためのレポート作成業務や日々の状況把握に追われ、施策の実行がおろそかになってにいませんか?Refractなら1つの画面で重要なデータを全て把握でき、その上ワンクリックで詳細なレポートを作成することが可能です。

SEOレポーティングツール「Refract」無料トライアル実施中!

ワンクリックでレポート作成可能。SEOレポーティングツール「Refract」無料トライアル実施中、15日間無料でお使い頂けます。

Webサイトの運用でお困りではありませんか?

私たちが得意とするコンテンツマーケティングやSEOに限らず、Webの運営・改善に関する総合的な知見を持つ私たちなら、きっと御社の悩みを解決できると考えています。

サイト内検索

SEO・サイト運用・コンテンツマーケティングでお困りの際には ぜひお気軽にご相談ください

実務に役立つeBookが
無料でダウンロードできます

SEOやコンテンツマーケティングに
ご関心のある方はぜひご利用ください。

×