あまりよい印象ではないですよね
スマートフォン版のGooglebotをrobots.txtでブロックしていると、モバイル検索結果のスニペットにページの説明文がブロックされている理由が表示されるようになったと『海外SEO情報ブログ』のエントリー「Google、モバイル検索結果のスニペットでrobots.txtによるブロックの理由を表示 | 海外SEO情報ブログ」が報じています。
スマートフォンのユーザーが日に日に増え、また、そのスマートフォンでGoogle検索のスニペットに「この結果の説明は、このサイトのrobots.txtにより表示されません」と表示されることは、多くのユーザーにあまりよい印象を与えないでしょう。
余程の事情(どうしてもスマートフォン版Googlebotのクロールをさせたくない)がない限りは、robots.txtでブロックをしないようにすることが懸命だと言えます。
(「どうしてもクロールさせたくない」という事情そのものが、あまり考えられないことですが…)
また、PC向けページでスマートフォン版Googlebotをブロックしていなくても、モバイル向けページでブロックしていればもちろんブロック理由が表示されてしまいます。
しっかりクロールさせるように設定しておきましょう。
クロールさせましょう。
CSSやJavaScript、画像もクロールさせましょう
またページに限らず、JavaScriptやCSS、画像へのアクセスも拒否してはいけません。
そのページのレンダリングやコンテンツの理解の妨げになります。
結果的に、本来よりも低い検索順位になってしまうかもしれません。これはモバイル向けサイトに限ったことではありませんでしたね。
Googleは何度も言っているし、技術ガイドラインも更新しています。
引用:
以前に当ブログでもエントリーしましたが、CSSやJavaScriptのクロールをブロックするとSEOに影響がある(検索順位が落ちる)かもしれません。
【Google】CSSやJavaScriptのクロールをブロックするとSEOに影響 - 検索サポーター
クローラーがレンダリングするのに必要な全てのファイルにアクセスできる、全てを許可をするということは、「このサイト(ブログ)は公明正大ですよ」ということをGoogleに伝えることにもなると私は考えます。
「隠しているものがない」というだけでも「信頼」と成り得ますし、検索エンジンのアルゴリズムも評価に値すると判断することでしょう。
(ただ、決してrobots.txtを使ってはいけないということではないですので、お間違えのないようにしてください。)
Googleはモバイルフレンドリーであるサイトを重視する傾向が強まってきています。
細かいことかもしれませんが、こういったところにも気を使うことがユーザーに便利に働くのなら是非やっておきましょう。
【Google】「モバイルフレンドリー」を検索順位に反映する方針を発表 - 検索サポーター
ブログサービスのように管理側(サービス提供側)がrobots.txtを管理している場合は今回の具体的な対応を考える必要はないでしょうが、自分でサーバ管理を行っている人はもちろん、全ての人が知識の一つとして知っておいて損はないので共有させていただきました。