meta robotsの仕様と制御できるものを解説
meta robotsとは、検索エンジンのクローラーを制御するためのmetaタグです。
間違って使用すると、インデックスされないなどの弊害があるため、しっかりとmeta robotsの仕組みや役割を覚えておきましょう。
この記事のポイント
- meta robotsはクローラーを制御するためのmetaタグ
- noindex、nofollow、noarchive、nosnippetなど様々な制御ができる
- robots.txtとは対象範囲、クロール許可の有無などで異なる
\SEOで成果につなげる!資料ダウンロードはこちらから/
目次
meta robotsとは
meta robotsは、ウェブページの情報を記述するmetaタグの1つです。検索エンジンのクローラの動作を制御することができ、インデックスの許可(index・noindex)、リンクの追跡の許可(follow・nofollow)、検索結果へのスニペットの非表示(nosnippet)などを指定することができます。
気になるrobots.txtの読み方ですが、海外では「ロボッツドットティーエックスティー」と読むことが多いです。とはいえ、ロボッツテキストとかロボッツと読んでも、多くの場合通じるはずです。
meta robotsの役割
meta robotsはクローラーの制御を目的として使用するため、使用しなくてもよい場合が大半です。
記述を省略することもできます。その場合は検索エンジンへのインデックスOK、リンクの追跡OKを意味します。
なお、使用する場合は以下の3つの目的で使用することが多いです。
- インデックスさせたくない時(noindexを設定したい時)
- リンクをたどらせたくない時(nofollowを設定したい時)
- 検索結果の表示を制御したい時
meta robotsの設定方法と種類
メタタグとして設定可能なものには、大きく分けて6種類があります。
- インデックスの制御:index,noindex
- リンクの制御:follow,nofollow
- キャッシュの制御:noarchive
- スニペットの制御:nosnippet,max-snippet,max-image-preview,max-video-preview
- クロール中止の指示:unavailable_after
- 画像インデックスの制御:noimageindex
また、「検索エンジンすべて」か「特定の検索エンジンのみ」かを選択することができ、
- 検索エンジンすべて:<meta name="robots" content="..., ..." />
- 例Googleのみ:<meta name="googlebot" content="..., ..." />
と使い分けます。
同時に複数指定することもできます。その場合はカンマでつなぎます。
<meta name="robots" content="index, follow" />
同時にindexとnoindexのように競合する2つの記載がある場合は、制限の強い方が優先されます。indexとnoindexであればnoindexが、followとnofollowであればnofollowですね。
それでは、それぞれの用途について見ていきましょう。
※indexとfollowはデフォルト値となっているため、説明を割愛します。
noindex
noindexは、設定したページを検索エンジンにインデックスさせないようにするディレクティブです。検索結果に表示させたくない場合に使用します。
<head>
<meta name="robots" content="noindex" />
</head>
nofollow
nofollowは、検索エンジンにページのリンク先へPageRank(ページの評価)を受け渡さないようにするディレクティブです。PR記事などで使用することが多いです。
<head>
<meta name="googlebot" content="nofollow" />
</head>
noarchive
noarchiveはウェブページをキャッシュさせないようにするディレクティブです。設定することで、検索結果にキャッシュされたページへのリンクが表示されないようになります。
<head>
<meta name="googlebot" content="noarchive" />
</head>
nosnippet
nosnippetは検索結果にテキストスニペット(meta description)や動画プレビューを表示させないようにするディレクティブです。動画の場合は、代わりに静止画像を表示するようになります。設定はGoogleのすべての検索結果に反映されます。
<head>
<meta name="robots" content="nosnippet" />
</head>
max-snippet
max-snippetはテキストスニペット(meta description)の長さを制御するためのディレクティブです。動画の場合は、代わりに静止画像を表示するようになります。
0を設定すると、文字数0、-1を設定するとGoogleの検索エンジンが長さを判断します。なお、1000文字などをしても、1000文字表示されるようなものではないので、注意しましょう。設定はGoogleのすべての検索結果に反映されます。
例)50文字に制限したい時
<head>
<meta name="robots" content="max-snippet:50 " />
</head>
max-image-preview
max-image-previewは検索結果に表示されるページの画像プレビューの最大サイズを設定するディレクティブです。
- none: 画像プレビューは表示されない
- standard: デフォルトの画像プレビューが表示
- large: 画面幅までの画像プレビューを表示
の3つから選ぶことができ、設定はGoogleのすべての検索結果に反映されます。
例)デフォルトで設定したい時
<head>
<meta name="robots" content="max-image-preview:standard" />
</head>
max-video-preview
max-image-previewは検索結果に動画スニペットが表示される際の、最大秒数を設定するディレクティブです。
0は静止画像のみに使用可能、-1を設定すると制限がなくなります。設定はGoogleのすべての検索結果に反映されます。
例)15秒を制限としたい時
<head>
<meta name="robots" content="max-video-preview:15" />
</head>
unavailable_after
unavailable_afterは、ページのクロールとインデックス登録を中止する正確な日時を指定するディレクティブです。イベントやキャンペーンなど期限のあるページについてページ自体は404にせず残しておきたいが、インデックス対象にはしたくない時や、公開初期のタイミングのみ無料で閲覧できる記事などに使えます。
例)ページのインデックス・クロールを2019年12月28日5時で止めたい場合
<head>
<meta name="robots" content="unavailable_after: 28-Dec-2019 05:00:00 JST" />
</head>
※時間の記述については、RTC850のルールに従います。
noimageindex
noimageindexはそのページの画像をインデックスさせないようにするディレクティブです。
<head>
<meta name="googlebot" content="noimageindex" />
</head>
何も設定しなかった場合
meta robotsを記述しない場合、検索エンジンのクローラーの動作を全て許可することになります。contentにindexとfollowを記述した状態と同一で、デフォルト通りの対応をします。
<head>
<meta name="robots" content="index,follow" />
</head>
参考:インデックス登録と表示に関する有効なディレクティブ | Google 検索セントラル
meta robotsとrobots.txtの違い
meta robotsとrobots.txtは似ているため、混同してしまっている方もいるのではないでしょうか。
どちらも、検索エンジンへの指示という意味では同じ目的になるのですが、大きくは以下の点で異なります。
①ページ単位かサイト単位か
meta robots:ページ単位での制御
robots.txt:サイト単位での制御
meta robotsはページごとに記述するため、ページ単位での制御が可能ですが、robots.txtはルートディレクトリ直下に配置し、サイト全体の制御で使用されます。
②クロールさせるかどうかの制御を行えるか
meta robots:クロールの制御はできない
robots.txt:クロールの制御ができる
meta robotsでクロールの制御をしてしまうと、そのページ自体にアクセスできないという本末転倒なことになってしまいます。
クロールの制御を行いたい時はrobots.txtを用いましょう。
関連:robots.txtとは
まとめ
meta robotsとは、検索エンジンのクローラーを制御するためのmetaタグです。インデックスやnofollowの設定だけでなく、かゆいところに手が届くような制御も可能です。
一方で、設定を間違えてしまうと、検索結果に表示されない!ということにもなるので、設定の際は十分に気をつけましょう。
名称が似ているrobots.txtとは主に「範囲」「クロール制御の有無」の点で異なりますので、状況に応じて使い分けましょう。
SEOについて詳しく知りたい方はこの記事も読んでみてください。
また、ページ数の多いサイトを運用していて、「全然インデックスされない!」「Search Consoleの除外が多すぎる」など不安がある方は、以下よりお気軽にご相談ください。
集客・コンバージョン数を増やしたい方へ