クローラーとは
クローラー（Crawler）とは、Googleなどのロボット型検索エンジンがWEB上のファイル（HTML文書だけでなく、画像・PDFまで含む全般）を収集するためのプログラムのことです。クローラーによって収集されたデータがインデックス化され、巨大な検索データベースが作成されます。「ロボット」「スパイダー」などとも呼びます。
Googleが持つクローラーには用途に応じて複数のクローラーがあります。例えば通常のWEB検索には「Googlebot」、画像検索には「Googlebot-Image」、モバイル検索には「Googlebot-Mobile」といったように、様々なクローラーが存在します。
クローラー向けの最適化
クローラーは必ずしも全てのWEBページをもれなく巡回できるわけではありませんし、公開したページをすぐに発見してくれるとも限りませんので、SEOを実施する上では、クローラーができるだけWEBサイト内を効率よく巡回しやすくするための工夫が求められます。
また、クローラーに収集され検索結果に表示させたくないコンテンツをクロールしないようにrobots.txtなどを用いて制御したり、複数URLで同じコンテンツが生成されてしまうなどの場合にどのURLをインデックスしてもらうか指定する（正規化する）なども検索エンジンのクローラーに対する配慮として行っておく必要があります。
こういった検索エンジンクローラーのWEBサイトの巡回しやすさを総称して「クローラビリティ」と呼び、特にコンテンツ量が多くなればなるほどクローラビリティの改善の重要度は高くなります。
