ロボット型検索エンジンとは?Webクローラー自動巡回の仕組み

更新日:
SEO
ロボット型検索エンジンとは?Webクローラー自動巡回の仕組み

ロボット型検索エンジンとは

ロボット型検索エンジンとは、WWW(World Wide Web)上のWebサイトのページ情報を自動で収集し、あらかじめデータベース化しておくことで、ユーザーが入力した検索キーワードをもとにデータベースに登録されたページのランキング付けを行い、検索結果を表示する仕組みのことです。

主要な検索エンジンはほぼこの仕組みが導入されており、GoogleやYahoo!、Bingもロボット型検索エンジンを採用しています。

一方、手作業で情報を収集し、人力で分類を行う検索エンジンをディレクトリ型検索エンジンといいます。ロボット型検索エンジンが主流になるまでは、ディレクトリ型検索エンジンが主流でした。代表的な例では、Yahoo!カテゴリがこれにあたります。

検索エンジン最適化(SEO)を知りたい方はこちら

\疑問や不明点はお気軽にご質問ください!/

ロボット型検索エンジンの仕組み

まず、クローラーあるいはスパイダーと呼ばれるロボットがWebサイトを自動で巡回し、訪れたページの情報を収集します。

クローラーによって集められたページ情報は、内容を単語ごとに分解して解析され(形態素解析)、データベースに登録されます。この処理を「インデックス」と呼びます。ユーザーの検索行動の前に、インデックスまでの一連の流れが完了しています。

ユーザーが実際に検索キーワードを入力すると、形態素解析により検索語が分解され、ランキングアルゴリズムに基づいて、インデックスされたWebページのスコアリングが行われます。順位付けされたページは、最終的な調整を経て、点数の高いものから順に検索結果に表示されます。

ロボット型検索エンジンの特徴

ロボット型検索エンジンは、原理的には世界中全てのWebページをクロールすることも可能であるため、ユーザーは膨大な範囲の情報から検索することができます。また、定期的にクローリングが行われるため、新鮮な情報からも検索することができます。

一方、検索キーワードによっては、検索エンジンがユーザーの意図を正確に読み取れないことがあります。また、扱うデータの量が膨大であるため、ユーザーが意図しないWebページが検索結果上に表示されてしまうこともあります。

集客・コンバージョン数を増やしたい方へ

ナイルのSEOコンサルティングは流入数の改善はもちろん、売上に貢献するコンバージョンも増やします。予算未定でも構いません。ぜひお気軽にご相談下さい!

サービス紹介をダウンロードする

ナイルに無料相談する

編集者情報

金子 光
金子 光(かねこ ひかる)
新卒で楽天グループ株式会社に入社。
営業管理として40人規模のチームをマネジメント。その後社員3人のベンチャー企業に入社し新規事業立ち上げを経験。
現在はナイルのマーケティング相談室編集長として、Webマーケティングに従事している。
無料相談はこちらから

監修者情報

ナイル編集部
ナイル編集部

2007年に創業し、約15年間で累計2,000社以上の会社にマーケティング支援を行う。また、会社としても様々な本を出版しており、業界へのノウハウ浸透に貢献している。(実績・事例はこちら

PIVOTにもスポンサード出演しました!

PIVOTにもスポンサード出演しました!
チャンネル登録者数が100万人を超えるYoutubeチャンネルPIVOTにスポンサード出演しました!
動画内では、マーケティング組織立ち上げのための新しい手段についてお話しています。
マーケティング組織に課題がある方はぜひご覧下さい。
動画を見る

関連記事

【3分でわかる】h1タグとは?使い方やSEOの効果についても解説

【3分でわかる】h1タグとは?使い方やSEOの効果についても解説【HTML】

SEOで本当によく見る”もったいない”内部リンク設計

【具体的に解説】サイト内検索とは?やり方や導入方法、メリットをわかりやすく解説

【具体的に解説】サイト内検索とは?やり方や導入方法、メリットをわかりやすく解説

新着記事

動画で学ぶコンテンツマーケティング

【第2回】動画で学ぶWebマーケティング【コンテンツマーケティング編】

【厳選】被リンクチェックツールのおすすめ8選!確認手順やポイント、リンク獲得対策までわかりやすく解説

【厳選】被リンクチェックツールのおすすめ8選!確認手順やポイント、リンク獲得対策までわかりやすく解説

構造化データのマークアップとは?知っておくべき10種類や設定方法をプロが解説

構造化データのマークアップとは?知っておくべき10種類や設定方法をプロが解説

もっと効果的な集客施策
してみませんか?

Web戦略の情報を
定期的に受け取りたい方

取材・メディア掲載に関するお問い合わせは、こちらからお問い合わせください。