noindexタグとrobots.txtの併用はダメ
『Web担（Web担当Forum）』のエントリー「検索避けをするには? → noindexタグもrobots.txtも指定 → 逆効果だったorz などSEO記事まとめ10+4本 | 海外&国内SEO情報ウォッチ | Web担当者Forum」に、インデックス削除においてnoindexタグとrobots.txtの両方を使うことは間違った使い方であり、誤用してしまうウェブ担当者が依然として多いことが書かれていました。
確かにこれはとても間違えられやすい方法です。
併用することが一番有効であるとずっと勘違いしたままに理解してしまっている方も多いのではないでしょうか？
なぜ良くないのか、それはこういうことだ。
robots.txtでクロールを禁止すると、Googlebotはそのページをクロールしない。
クロールしなければ、そのページにnoindexタグがあるかどうかは、わからない（たとえ記述されていても）。
結果として、noindexの効果が出ず、検索結果に表示され続けてしまう。
引用：
検索避けをするには? → noindexタグもrobots.txtも指定 → 逆効果だったorz などSEO記事まとめ10+4本 | 海外&国内SEO情報ウォッチ | Web担当者Forum
クロール（インデックス登録）は一度行えば終わり、最初にインデックスしてしまえばそれで終わりというわけではありません。
既にインデックスされたページであっても、クロールを許しているページであれば更新していないページだとしても再びクロールは巡ってくる（チェックしている）からです。
クロールが巡ってきた際にページのコンテンツが更新されていれば、内容に応じてインデックスを書き直す（再インデックスを行う）ことになるので、最新の情報が検索結果にも反映されることになります。
インデックスの削除はクロールが訪れたときにnoindexタグがあることで、クロールは「このページはインデックスしないページだ（インデックスから削除するページだ）」と認識し、削除が実施されます。
（そのタイミングで過去のインデックスを削除するので、検索結果に表示されなくなるのです。）
一方robots.txtは、削除対象をURLで指定することで「指定したものについてはクロールをしなくてよい（ブロックする）」ということを検索エンジン（クロール）に伝えることになります。
ここでいう「クロールをしなくてよい」というのは、本来の目的である「インデックスを削除する」ということと同義ではありません。
あくまでrobots.txtは「クロールが来ることを拒否する」ということです。
（「クロールを門前払いしている」といえばお分かりでしょうか。）
すなわち「（robots.txtで指定している間は）インデックスには触るな（新しい情報を書き込むな）」ということでもあるので、過去にインデックスに書き込まれたものについては削除されることなくそのまま残るということになります。
どちらの方法も「インデックスから削除する」方法だと誤解されているため、併用して使うことで「更にインデックス削除を強める」という間違ったイメージを持ってしまっている方が多いのです。
robot.txtでの指定はあくまで「クロールが巡ることを拒否する」ものだと理解しましょう。
また301リダイレクトのようにHTTPヘッダーのなかで通知するものも認識されない（クロールしない、言い換えればそのURLにアクセスしないのでヘッダーを返されることがないから）。
引用：
検索避けをするには? → noindexタグもrobots.txtも指定 → 逆効果だったorz などSEO記事まとめ10+4本 | 海外&国内SEO情報ウォッチ | Web担当者Forum
インデックス削除する方法はありま～す。
確実な検索避け（インデックス削除）を行う方法
では、インデックス削除を確実に行うにはどうすればよいでしょうか？
個別ページであれば、noindexタグをつけて後はクロールされるのを待つのみ。
それでも結構ではありますが、それではいつクロールされるかは分かりませんし、確実にインデックス削除されたということも分かりません。
また、個別のページ以外にも特定のディレクトリ内にあるすべてのファイルやフォルダをインデックスから削除したい場合や、既にサイトから削除した個別のページをすぐにインデックス削除したい場合もあると思います。
実は、指定のURL（ページ）のインデックス削除を確実に行い、時間の短縮も望める方法があります。
サーチコンソールにて、所有権の確認が済んでいるサイトについてはサーチコンソールのメニューから「URLの削除」を使えば、インデックス削除をするためのリクエストを送信できるのです。
以下がその方法です。
１．サーチコンソールにログインし、メニューから「Googleインデックス」→「URLの削除」を選択し、「一時的に非表示にする」ボタンをクリックし、インデックス削除したいURLを入力して「続行」ボタンを押してください。
（例は、削除ページがhttp://s-supporter.hatenablog.jp/archive/category/testの場合です。URLは適宜変更してください。）
２．「検索結果でページを一時的に非表示にし、キャッシュから削除する」を選択し、「リクエストを送信」をクリックすることでインデックスの削除依頼が行えます。
（ディレクトリで指定する場合は「一時的にディレクトリを非表示にする」を選択しましょう。）
３．URL削除依頼の一覧が表示され、依頼してすぐはステータスが「保留」となっていますが、暫くすると「削除されました」に変更され、これで無事にインデックス削除が行われたことになります。
もちろんnoindexタグなどをちゃんと指定していないままに依頼を行っても、インデックス削除されないことになってしまいますので気を付けてください。
どうですか？ たったこれだけです。
※ 参考：
Google ウェブマスター向け公式ブログ: Google のインデックスからコンテンツを削除する方法
ページをすぐに消してしまう前に。
ページをすぐに削除する前に
サーチコンソールのメニューでは永久的にインデックス削除を行うのではなく、一時的にインデックス削除を行うことになります。
（もちろん一度削除したページも、ページそのものを削除していなければ、再びインデックス登録を行うことは出来ます。）
例えば検索流入がほとんどないエントリー、検索エンジンに低品質とだと評価されているエントリーがあれば、すぐにエントリーそのものを削除するのではなく、一時的にインデックス削除を行う対応がよいと私は考えます。
低品質と評価されたページを一時的にインデックス削除することで、その間はサイト全体のSEOを強める（検索評価を高める）ことが出来ます。
また、インデックス削除したページはユーザーにとって価値ある情報を追記、リライトを行った後に再度インデックスを行えばページを消すこともなく再利用することも出来ますし、インデックス削除前よりも更にSEOを強めることになります。
「質が低いから永久的にインデックス削除を行う」のではなく、「更に質を高めるために一時的にインデックス削除を行う」と考えればポジティブな気持ちで対応出来ますしね。
とはいえ、ちゃんとユーザーにとって価値のある情報を追記、リライトしてあなたのページ、サイトの価値をしっかり上げてくださいね（＾＾）
【SEO】「コピーサイトに負けるのは、あなたのサイトの品質に問題があるから」とGoogleが言うのなら - 検索サポーター
【SEO】パンダアップデートからの回復は削除よりも追記、リライトで改善するべき - 検索サポーター
