結構忘れがち(特に対策もやらない)ですよね
私がいつもチェックしているサイト『Web担(Web担当者Forum)』のエントリー「robots.txtを修正したときにグーグルのキャッシュをすぐに更新する方法 | 編集長ブログ―安田英久 | Web担当者Forum」を読んで、その方法の共有と私なりの雑感をまとめたいと思います。
今日は、ちょっとSEO的な話題を。robots.txtの内容を変えても、実はグーグルはすぐにはそれを反映してくれません。その説明と、「いますぐこのrobots.txtに更新」させる方法を解説します。
引用:
robots.txtを修正したときにグーグルのキャッシュをすぐに更新する方法 | 編集長ブログ―安田英久 | Web担当者Forum
そうなんですよね。
robots.txtの内容を変えてアップデートしても、グーグルはすぐに反映をしてくれません。
これ、結構忘れがち(特に対策もやらない)ですよね。
robots.txtを修正してサーバにアップしていれば、クロールされれば反映される筈だと考えがちです(私も最初はそう思っていました)が、クロールのたびにrobots.txtをチェックしているわけではないので、すぐには反映されないのです。
そして即時に反映させる方法も以前の私は知らなかったので、「まあ、Google様まかせにするしかないよね」ぐらいにしか思っていませんでした。
実はこれ、ウェブマスターツールから申請が出来るのです。
地味だけど、やっておいて損はないです。
ウェブマスターツールから申請する方法
でも、「今すぐに新しいrobots.txtを読み込んでほしい」という場合もあるでしょう。
そういうときはどうすればいいのでしょうか。
実は、ウェブマスターツールにそうした機能があります。
robots.txtファイルを更新したら、ウェブマスターツールで自分のサイトの[クロール]>[robots.txtテスター]を開いて、[送信]ボタンをクリックします。
引用:
robots.txtを修正したときにグーグルのキャッシュをすぐに更新する方法 | 編集長ブログ―安田英久 | Web担当者Forum
当ブログのようなブログサービスを使っているユーザーにとっては特には必要ではないことでありますが、単体のサイトを管理していると例えば検索エンジンにクロールしてほしくないページをrobots.txtで指定する、管理することが必要になってくることもあるでしょう。
すぐに反映させたいときのためにも、この方法を知っておいて損はないと思います。
(地味な作業だからか、この方法は結構知られていないですよね。)
とはいえウェブマスターツールは必ず使うべき
robots.txtなど使わないからウェブマスターツールも使わなくていいや。
レンタルブログだから管理は全て丸投げでいいや。
そう考えたあなた。それは大きな誤りです。
ウェブマスターツールはrobots.txtの反映だけでなく、「HTMLの改善」「手動による対策」「モバイルユーザビリティ」など、多くの改善点、問題点を知ることが出来ますし、「内部リンク」「検索クエリ」など、自分のサイトの特徴も知ることも出来ます。
極端な話をすれば、Googleアナリティクスよりも先にウェブマスターツールは必ず導入するべきだと思います。
アナリティクスで数字ばかり見ても何も分析出来ない。
そういう人こと先ずはウェブマスターツールを使い、自分のサイトの強みも弱みも把握することを私はオススメします。