ウェブマスター向けガイドラインのガイドラインを更新
Googleはウェブクローラが正しくサイトを認識するためにも、CSSやJavaScript、画像などのウェブレンダリングに関連するリソースをしっかり巡回できるようにと、ウェブマスター向けガイドラインの記述を変更しました。
Google がサイトのコンテンツを完全に把握できるように、サイトのアセット(CSS や JavaScript ファイル)がすべてクロールされるようにしてください。Google インデックス登録システムは、ページの HTML やそのアセット(画像、CSS、Javascript ファイル)を使用してウェブページをレンダリングします。Googlebot がクロールできないページアセットを確認し、robots.txt ファイルのディレクティブをデバッグするには、ウェブマスター ツールの Fetch as Google ツールと robots.txt テスターツールを使用します。
引用:ウェブマスター向けガイドライン「技術に関するガイドライン」
https://support.google.com/webmasters/answer/35769?hl=ja#technical_guidelines
簡単に言うなら「クローラーがレンダリングするのに必要な全てのファイルにアクセスできるようにしてください」ということです。
昔からクローラはテキストブラウザであることを前提としていたので、CSSやJavaScript、画像ファイルは最初から robots.txt などでクロールを禁止しておく、余計なクローリングをさせないことがセオリー化していました。
これからはそうではないよ、私たちが普通にブラウジングするのと同じようにクローラーも判断しますよということなのでしょう。
Googleが技術ガイドラインを更新、JavaScriptやCSSのをブロックしないように指示 - http://t.co/kfWdHyM6ko Pubconでもクローラーはモダンブラウザと同じようにレンダリングして見られると明言してたもんな。。
— 木村賢(Satoshi Kimura) (@kimuyan) 2014, 10月 27
robots.txtでクロールを禁止(ブロック)するとSEOに影響
また、Google+で更新をアナウンスした英GoogleのPierre Far(ピエール・ファー)氏は次のようにも付け加えています。
今回の変更が意味していることをものすごくはっきりいうと、「CSSとJavaScriptをブロックすることで、自分のページのインデックスを自ら妨害していることになる」ということだ。(ブロックを解除することは)今日できる最も簡単なSEOだ。そしてモバイルサイトのことも忘れてはいけない。
クロールを不適切に拒否することがダイレクトに検索順位ダウンに繋がることがあると警告しています。
引用:
Googleが技術ガイドラインを更新、JavaScriptやCSSのをブロックしないように指示 | 海外SEO情報ブログ
これを読む限りでは「robots.txtでブロックを行うと検索順位が落ちますよ、robots.txtを使わないでくださいね」と読み取れてしまいますが、決してそうではないようです。
『海外SEO情報ブログ』の鈴木謙一さんが下記エントリーをしているように、「あくまでコンテンツを提供するために必要なJavaScriptやCSS、画像などのリソースをGoogleに開放しなさいということ」なので、決してrobots.txtを使ってはいけないということではないです。
現在のGooglebotは、僕たちが使うブラウザのように、JavaScriptやCSSを解釈しウェブページを表示できるようになっているからです。
完全にリソースにアクセスすることで、より適切にコンテンツを理解できます。クロール・インデックスされては困るものやレンダリングにはまったく無関係なもの(かつクロールさせる必要がないと絶対の確信が持てるリソース)に関しては、これまでどおりrobots.txtを使ってかまいません。
引用:
Googleが技術ガイドラインを更新、JavaScriptやCSSのをブロックしないように指示 | 海外SEO情報ブログ
判断が難しいよ・・・
もし、判断が難しい場合や意味が分からないという場合は「robots.txtで操作しない(余計なことをしない)」でよいでしょう。
今回の変更はCSSやJavaScript、画像もしっかりクローリングするよということ(リソースをクローラーにしっかり認識させなさいということ)なので、極端に言えばそこで変なこと(スパム的なこと)をしていなければよいわけです。
クロールを全て許可することで、このサイトは公明正大ですよということをGoogleに伝えることにもなると私は考えます。
【追記】
はてなスターはスパムではないかという議論が起こっていますが、結論を言うとスパムではないようです。
よかったよかった(^^)
【SEO】はてなスターはスパム?についての結論 - 検索サポーターのアンテナ