ロボット型検索エンジンとは?Webクローラー自動巡回の仕組み

更新日:
SEO
ロボット型検索エンジンとは?Webクローラー自動巡回の仕組み

ロボット型検索エンジンとは

ロボット型検索エンジンとは、WWW(World Wide Web)上のWebサイトのページ情報を自動で収集し、あらかじめデータベース化しておくことで、ユーザーが入力した検索キーワードをもとにデータベースに登録されたページのランキング付けを行い、検索結果を表示する仕組みのことです。

主要な検索エンジンはほぼこの仕組みが導入されており、GoogleやYahoo!、Bingもロボット型検索エンジンを採用しています。

一方、手作業で情報を収集し、人力で分類を行う検索エンジンをディレクトリ型検索エンジンといいます。ロボット型検索エンジンが主流になるまでは、ディレクトリ型検索エンジンが主流でした。代表的な例では、Yahoo!カテゴリがこれにあたります。

検索エンジン最適化(SEO)を知りたい方はこちら

\疑問や不明点はお気軽にご質問ください!/

ロボット型検索エンジンの仕組み

まず、クローラーあるいはスパイダーと呼ばれるロボットがWebサイトを自動で巡回し、訪れたページの情報を収集します。

クローラーによって集められたページ情報は、内容を単語ごとに分解して解析され(形態素解析)、データベースに登録されます。この処理を「インデックス」と呼びます。ユーザーの検索行動の前に、インデックスまでの一連の流れが完了しています。

ユーザーが実際に検索キーワードを入力すると、形態素解析により検索語が分解され、ランキングアルゴリズムに基づいて、インデックスされたWebページのスコアリングが行われます。順位付けされたページは、最終的な調整を経て、点数の高いものから順に検索結果に表示されます。

ロボット型検索エンジンの特徴

ロボット型検索エンジンは、原理的には世界中全てのWebページをクロールすることも可能であるため、ユーザーは膨大な範囲の情報から検索することができます。また、定期的にクローリングが行われるため、新鮮な情報からも検索することができます。

一方、検索キーワードによっては、検索エンジンがユーザーの意図を正確に読み取れないことがあります。また、扱うデータの量が膨大であるため、ユーザーが意図しないWebページが検索結果上に表示されてしまうこともあります。

集客・コンバージョン数を増やしたいという方へ

ナイルのSEOコンサルティングは流入数の改善はもちろん、売上に貢献するコンバージョンも増やします。予算未定でも構いません。ぜひお気軽にご相談下さい!

サービス紹介をダウンロードする

ナイルに無料相談する

関連記事

自社ECサイトの集客のためのSEO講座

自社ECサイトに集客するには?SEOノウハウをプロが公開!

[寄稿] 新任Web担当者が最初にすべきたった1つのこと

Googleトレンドの使い方

Googleトレンドの使い方ガイド!検索数を調べる方法を解説

新着記事

検索順位が落ちたときの 対策を教えます

【対談】検索順位が落ちる3つのパターンと対策をSEOコンサルタントが回答!

BtoBビジネスでSEO対策が重要な理由とは?

BtoBビジネスでSEO対策が重要な理由とは?効果的な進め方も紹介

マーケティングファネルの活用例3選を紹介! MARKETING FUNNEL Awareness(意識・認知) Interest(興味・関心) Decision(決断) Action(行動) 顧客の旅に関する認識、関心、意思決定、アクションのインフォグラフィック

マーケティングファネルの活用例3選!分析して課題解決につなげよう