【閲覧注意】「クロールバジェット」という言葉について

【閲覧注意】「クロールバジェット」という言葉について

何やら「クロールバジェット」という言葉が最近お客様の一般的に使われているのを聞くということで先週くらいに社内でちょいちょい話題になっていました。

※最後に追記あり、むしろそちらを見て下さい、、

クロールバジェット(Crawl Budget)って何ですか

簡単に言うと、「このサイトは1日あたりこれくらいクロールしますよ」という上限値(Budget)をPageRankなどの指標を元にGoogleが割り当てており、このバジェットが低いとサイトが十分にクロールされません、みたいな雰囲気で使われる言葉です。

耳慣れない方には耳慣れないと思います。かくいう自分も業務上使ったことはないですしそんなに話題になることもありません。たまに海外のフォーラムなどで話題になっていることはありますね。

で、そもそもGoogleの公式で出ている言葉でしたっけと思って英語圏の公式サイト巡ってみましたが現時点ではGoogleの公式情報では確認できていません。Googleの技術的な用語というよりも便利な造語という捉え方をした方が良いかもしれません。

諸情報によると以前行われたWeb系のイベントでGoogleの方が「(クロールバジェットという概念は)Googleには存在しない」と発言もされていたようでして。ということで、まあ言葉としてはなかなか曖昧なものとして捉えておいて良いのかなと考えています。

で、言葉の説明についてはそれくらいにしまして、ここから本題。

あろうがなかろうが、考え方としては重要

仮にクロールバジェットなるものが存在するとした場合、単純に考慮すべきポイントは以下です。

・より多くのクロールバジェットを確保するためには多くのリンク(=高いPageRankやAuthority)を得ていることが重要
・クロールリソースは無限ではないので、無駄遣いさせない工夫が必要

そしてこれはクロールバジェットなるものがあろうとなかろうと、とても大きなサイトを運営している方にとっては非常に重要なSEOの要素だと認識しています。

クロール絶対量を増やしてサイトを十分にクロールさせる

ページがクロールされるのはクローラーがリンクを辿る中でURLを発見できるからであり、ほとんどリンクを得られていないページと多くのサイトからリンクをされているページでは後者の方がクロール対象になる確率は高くなります。

全体のクロールリソースが一定だとすれば、クロール対象になる確率が高い(=クロール中にリンクURLが発見される機会が多い)ということはクロールされる絶対量が増えるということです。

つまりクロールの絶対量を増やすのであれば、より多くのリンクを獲得することがそれに直結すると考えて良いでしょう。これはクロールバジェットの考え方と相反することはありませんね。

注意:SEOにおいてリンクを軽視する傾向はダメ

話題がそれるので別途まとめようと思いますが、コンテンツ重視の流れになってきているなか、逆にリンクが軽視されつつあるように思います。これは全くもってダメな流れと思います。

誤解を恐れずに言いますと、今のGoogleはまだまだ“Link is King”を否定できない検索結果です。すなわち今のSEOにおける最重要業務の一つは以前と変わらずリンクを獲得することと断言して良いと思っています。

変わってきているのは、そのプロセスとして人工的な簡易サイトからリンクをもらって順位を上げるような旧来の施策がGoogleには淘汰されつつあり、その分なおさらコンテンツやプロモーションによってリンクを構築していくことが重要になっている、という話です。

リソースを無駄遣いさせないための工夫

仮にクロールリソースが有限だとした場合、全てのURLが確実にクロールされる保証はありません。従って、不要なページにリソースが割かれないよう、重要なページのクロールに集中させる工夫が必要です。

それは例えば無駄な重複コンテンツを発生させない仕組み、理論上URLが無限に生成される仕組みが存在するのであれば運営側でのコントロール、(本当に)クロール不要なコンテンツへのrobots.txtなどの制御、などです。

少なくとも、例えば全くリンクも得られていなくてクロールされる絶対量が十分でないのに、本来クロール不要なコンテンツばかりクローラーがたどっているといった状態は避けるべきでしょう。

注意:不適切なクロール制御は単なる逆効果

クロールを制御することはコンテンツの認識に大きく影響する施策です。テクニカルな意図でrobots.txtを乱用するとかnofollow埋め込みまくるなどは基本的にはほとんどのサイトで考えなくて良いはずです。

あくまでも「クロール不要なURL」とか「制御しきれないほどの大量の重複コンテンツや空ページ量産」などへの制御を場合によっては検討する、レベルで十分と思います。

単純な絶対量(Budget)の割り当て、というよりもクロールされる確率と優先度の問題かなと思いますがどうなんでしょうか

見出しの通りなのですが。絶対量ではなくて「URLが見つけられてクロールされる機会の多さ」「クロールされる優先度」なのかなと。優先度は、「重要な情報どうか」だけではなく「クロールに支障がないか」などによっても決められるんではないかと感じています。

  • 獲得しているリンクが多ければ、その分クロールされやすくなります。
  • どちらにせよサイトが無限にクロールされることはありませんのでリソースは有限です。
  • 有限なリソースなら、より効率よく重要なページがクロールされる工夫をしましょう

ということに加えて、例えばサーバーサイドでエラーが頻発するとか待機時間が鬼のように長い、みたいなことがあればそれは有限なリソースを食いつぶすことにも繋がりますので、そうしたサイトは必然的にクロールの優先度を下げられると考えて良いと思っています(これは体感でめっちゃ感じるところ)。

個人的にはこの(特にサーバサイドの)速度改善もクロール優先度を上げるために必要な施策と思っております。特に新規のサイトでコンテンツ量は多いけどリンクは集まってないし速度も遅い、みたいなサイトだと本当にSEOは全く機能しないなという印象です。

なんだかとりとめないですがここまでまとめますと、

  • 多くのリンクを集める
  • クロール負荷をかけないよう速度改善する
  • クロールを制御する(その必要があれば)

大きなサイトで重要なページのクロール絶対量を増やすために特に重要なポイントはこの3点でしょうか、と思っています。なんだか当たり前な感じになりましたけども。

以上です。ちょっとライトな話題ですが社内用メモとして書いておきました。(この辺り実務レベルでしっかり語れる方で補足頂けるようでしたら是非ご遠慮なくお願いします)

9/8追記

多分、↑の結論の書き方も雑で良くなかったですね。すみません。言いたかったことは、クロールバジェットとかあろうがなかろうが関係なく、これらの取り組みはSEO気にする上ではどちらにせよ普通に取り組むべき項目ですよね、ということが伝えたかったまでで、、

追加で、ちょいちょい記事内でニュアンスは出したつもりでしたが、僕も業務上でこの言葉を使ったことも上限値みたいなものを体感したこともないですし、上限値を気にしてどうこうするとかはほとんどのサイトで考えなくて良いというのは共通認識でございます、、

9/8追記:集中放火を浴びたので追記します

業界の偉い人たちから集中放火を食らったのでご紹介しようと思います。違うんです、そうじゃないんです。決してそういうのを期待していたわけじゃない、、

いや、皆さんのおっしゃることはわかりますよ!分かります!不用意なポストしてご迷惑おかけしてすみませんでした。ただこの一連のツイートには価値あると思ったのでこちら引用しつつタイトルを【閲覧注意】にしておきました。。

馬鹿な。

9/8追記2:みなさん優しい人たちでした

9/8追記3:一連のツイートこっちにまとめました

多分この一連のツイートを引き出したということで一定の価値あるポストをしたと自分で評価することにします。めったに一般に話題になるお話ではないので是非見てみて下さい。

「クロールバジェット」という業界用語について書いたら偉い人たちから集中砲火を浴びる、の巻

最新のSEOについて知りたい方はこちら

集客・コンバージョン数を増やしたい方へ

ナイルのSEOコンサルティングは流入数の改善はもちろん、売上に貢献するコンバージョンも増やします。予算未定でも構いません。ぜひお気軽にご相談下さい!

サービス紹介をダウンロードする

ナイルに無料相談する

編集者情報

金子 光
金子 光(かねこ ひかる)
新卒で楽天グループ株式会社に入社。
営業管理として40人規模のチームをマネジメント。その後社員3人のベンチャー企業に入社し新規事業立ち上げを経験。
現在はナイルのマーケティング相談室編集長として、Webマーケティングに従事している。
無料相談はこちらから

監修者情報

ナイル編集部
ナイル編集部

2007年に創業し、約15年間で累計2,000社以上の会社にマーケティング支援を行う。また、会社としても様々な本を出版しており、業界へのノウハウ浸透に貢献している。(実績・事例はこちら

PIVOTにもスポンサード出演しました!

PIVOTにもスポンサード出演しました!
チャンネル登録者数が100万人を超えるYoutubeチャンネルPIVOTにスポンサード出演しました!
動画内では、マーケティング組織立ち上げのための新しい手段についてお話しています。
マーケティング組織に課題がある方はぜひご覧下さい。
動画を見る

関連記事

meta-refreshとは?SEOにおけるデメリットと使用時の注意点

meta refreshとは?SEOにおけるデメリットと使用時の注意点

静的ページとは?静的コンテンツのメリット・デメリットについて

静的ページとは?静的コンテンツのメリット・デメリットについて

SEOで売上をアップするコツとは?仕組みや7つの解決施策を紹介

新着記事

動画で学ぶコンテンツマーケティング

【第2回】動画で学ぶWebマーケティング【コンテンツマーケティング編】

【厳選】被リンクチェックツールのおすすめ8選!確認手順やポイント、リンク獲得対策までわかりやすく解説

【厳選】被リンクチェックツールのおすすめ8選!確認手順やポイント、リンク獲得対策までわかりやすく解説

構造化データのマークアップとは?知っておくべき10種類や設定方法をプロが解説

構造化データのマークアップとは?知っておくべき10種類や設定方法をプロが解説

もっと効果的な集客施策
してみませんか?

Web戦略の情報を
定期的に受け取りたい方

取材・メディア掲載に関するお問い合わせは、こちらからお問い合わせください。