CSSやJavaScriptへのクロールはブロックしないほうがいい! SEOにも影響するぞ

Googleのボットは関連リソースも見ているぞ

以前、Googleウェブマスターツールの「Fetch as Google」でレンダリング診断について書いた記事でも触れましたが、現在のクローラーはかなり賢くなりまくりんぐなのです。

Google がサイトのコンテンツを完全に把握できるように、サイトのアセット(CSS や JavaScript ファイル)がすべてクロールされるようにしてください。Google インデックス登録システムは、ページの HTML やそのアセット(画像、CSS、Javascript ファイル)を使用してウェブページをレンダリングします。

引用元: ウェブマスター向けガイドライン – ウェブマスター ツール ヘルプ

更新されたウェブマスター向けガイドラインの”技術ガイドライン”にも、このように明記されています。要は「Webサイト(ページ)がブラウザで表示されるときに必要なファイルは全部クロールできるようにしておいてね」ってことですね。

ブロックしてたら検索順位に影響出るの?

SEOへの影響も考えられるわけですが、CSSやJavaScript、画像といったアセットに対し、仮にクローリングできないようにブロックしていた場合、検索順位はどうなるでしょうか?

今回のガイドライン更新について伝える公式ブログ「Official Google Webmaster Central Blog」を見ると、以下のように強調されています。

Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.

引用元: Official Google Webmaster Central Blog: Updating our technical Webmaster Guidelines

意訳すると、CSSやJavaScriptのファイルをクロールできないようにしていると、コンテンツを適切にレンダリングしたりインデックスしたりすることに対して悪影響を与え、結果として検索順位が下がってしまうことがあり得る、とのこと。おもっくそ影響出まくりますなコレは。。

対策はどうしたらいい?

対策する方法はひとつです。
CSSやJavaScriptファイルに対するGoogleのクローラーのアクセスをブロックしないこと。もうただコレだけ。

とりあえず、まずはGoogleウェブマスターツールにアクセスし、「Fetch as Google」のレンダリング診断を実行しておきましょう。
これで問題なくレンダリングできていれば、特に対策の必要はありません。

レンダリングがちゃんとできない、という場合は、robots.txtでクローラーをブロックしている可能性が濃厚です。
サーバーに設置してあるrobots.txtを開いて、記述内容を確認しましょう。

ちなみに、当ブログはrobots.txtで以下のように記述し、Googleのクローラーにアクセス許可を与えています。

# allow Googlebot to css/js
User-agent: Googlebot
Allow: /*.js$
Allow: /*.css$

ある意味、最も簡単で、最も基礎となるSEOです。
自分のサイトがどんな状況なのかを把握するとともに、しっかりとした対処をしていきましょう。