ユーザーエージェントとは?役割やrobots.txtの記載方法について解説

ユーザーエージェント(User Agent)とは、Webサイトへのアクセスの際に用いられるプログラムのことです。

ここでは、ユーザーエージェントの概要や、robots.txtにユーザーエージェントを記載して検索エンジンのクローラーを指定する方法について解説します。

この記事のポイント

  • ユーザーエージェントはWebサイトのアクセスの際に用いられるプログラムのこと
  • ユーザーが各自の閲覧環境に適したWebページを閲覧するために必要な技術
  • robots.txtにユーザーエージェントを記載すればクローラーを指定することができる

 

ユーザーエージェントとは

ユーザーエージェントとは利用者があるプロトコルに基づいてデータを利用する際に用いるソフトウェアまたはハードウェアを意味します。

Web技術におけるユーザーエージェントは、Webサイトへのアクセスの際に用いられるプログラムを指すことが多く、Webサイトにアクセスする際にブラウザ種別などのリソースを取得するHTTPユーザーエージェントがあります。

詳しいユーザーエージェントの解説

ユーザーエージェントは、WebサイトにアクセスするWebブラウザの種別やバージョンなどの情報をWebサーバーに伝える役割を持ちます。

Webサーバーは、Webブラウザからの要求に含まれるユーザーエージェントの内容を基に、適切なWebページを選択して返します。

この技術により、ユーザーは各自の閲覧環境に適したWebページを閲覧することが出来ます。例えば、PCからアクセスしている場合はPC向けのWebサイトが表示され、スマートフォンからアクセスしている場合はスマートフォン向けに作成されたWebサイトが表示されます。

Webブラウザの種別やバージョンのみでなく、flash対応の可否や、PCのOS種別などもユーザーエージェントにより伝えることが可能です。ユーザーエージェントの内容は、Webブラウザの設定により変更可能です。

ユーザーエージェントは、表示するWebサイトの選択のみでなく、Webサーバーのアクセス解析にも用いられます。

robots.txtへのユーザーエージェントの記載方法

robots.txtは検索エンジンのクローラーに対し、Webページへのアクセスを制限するためのファイルです。アクセスを制限することで、クローラにアクセスして欲しいページにアクセスを絞ることが出来ます。robots.txtではユーザーエージェントを指定して条件付けします。ここでのユーザーエージェントは、検索エンジンのクローラー種別を指します。

例えば、Googleモバイル用クローラー「Googlebot-Mobile」を指定して、全て「/」のページにアクセスさせない設定は以下のように記述します。

<User-agent: Googlebot-Mobile Disallow: / >

全てのクローラーに対して、「/private」ディレクトリにアクセスさせない設定は以下のように記述します。

<User-agent: * Disallow: /private/ >

まとめ

ユーザーエージェントは、ユーザーの閲覧環境に応じて最適なWebページを表示するための技術であり、アクセス解析などにも利用されています。robots.txtでは検索エンジンのクローラーを指定することも出来ます。

SEO対策の全体像を知りたい方は以下の記事も読んでみてください!
SEOとは?SEO対策を分かりやすく徹底解説!
検索エンジンの仕組み、リスティング広告との違い、技術要件、コンテンツ制作について1つ1つ解説しています。

SEO・サイト運用・コンテンツマーケティングでお困りの際には ぜひお気軽にご相談ください

お問い合わせはこちら