meta robotsとは?robots.txtの役割と使い方

meta robotsとは

meta robotsは、ウェブページの情報を記述するmetaタグの用法の一つです。metaタグのname属性の値に”robots”や”googlebot”などを指定した上で、content属性に値を記述することで、特定の検索エンジンのクローラの動作を制御することができます。記述位置はHTMLソースのheadタグ内です。

meta robotsの役割

特定の検索エンジンが使役するクローラの動作を制御したい場合、name属性に検索エンジンを、content属性にクローラの動作を指定します

meta robotsの種類

content属性に指定可能なディレクティブにはnoindex、nofollow、noarchiveがあります。

noindex

noindexは、ウェブページをインデックスさせないようにするディレクティブです。検索エンジンの検索結果に表示させたくない場合に使用します。

例)Googleのクローラに対して、インデックスを許可しない

<head>

<meta name=”googlebot” content=”noindex”>

</head>

nofollow

nofollowは、ウェブページのリンク先にアクセスさせないようにするディレクティブです。リンク先のウェブページをキャッシュさせたくない場合などに使用します。

例)Googleのクローラに対して、リンク先へのアクセスを許可しない

<head>

<meta name=”googlebot” content=”nofollow”>

</head>

noarchive

noarchiveはウェブページをキャッシュさせないようにするディレクティブです。キャッシュページにはアクセスさせたくない場合などに使用します。

例)Googleのクローラに対して、ウェブページのキャッシュを許可しない

<head>

<meta name=”googlebot” content=”noarchive”>

</head>

nosnippet

nosnippetは検索結果にテキストスニペットや動画プレビューを表示させないようにします。動画の場合は代わりに静止画像を表示します。

<head>

<meta name=”robots” content=”nosnippet”>

</head>

これ以外にもスニペット上での表示内容は細かくmetaタグ内で編集できます。テキストの表示文字数に上限を設定したり、動画プレビューを追加したりできます。

詳細は公式ヘルプ「Google がサポートしている特別なタグ – Search Console ヘルプ」を参照してください。

unavailable_after:[date]

ページのクロールとインデックス登録を中止する正確な日時を指定します。イベントやキャンペーンなど期限のあるページについてページ自体は404にせず残しておきたいが、インデックス対象にはしたくない時や、公開初期だけ無料で閲覧できる記事などに使えます。

例)ページのインデックス・クロールを2019年12月28日5時で止めたい場合

<head>

<meta name=”robots” content=”unavailable_after: 28-Dec-2019 05:00:00 JST“>

</head>

時間の記述については、RTC850のルールに従います。

何も設定しなかった場合

meta robotsを記述しない場合、検索エンジンのクローラの動作を全て許可することになりますcontentにindexとfollowを記述した状態と同一で、デフォルト通りの対応をします。

<head>

<meta name=”robots” content=”index,follow”>

</head>

※全てのクローラに対して、インデックスとリンク巡回を許可(初期状態)

まとめ

meta robotsにより、クローラの動作を制御し、ウェブサイトの検索結果への反映などを調整可能になります。meta robotsを記述しない場合、全ての検索エンジンのクローラに対し、インデックスやキャッシュなどの動作を許可します。

関連:robots.txtとは

サイト内検索

SEO・サイト運用・コンテンツマーケティングでお困りの際には ぜひお気軽にご相談ください

お問い合わせはこちら