Search Consoleで「robots.txt によりブロックされましたが、インデックスに登録しました」が表示された時の対処方法

こんにちは、Webコンサルタントの谷藤(@go_tanifuji)です。

前回に引き続きGoogle Search Consoleをテーマにお話しします。

今回はSearch Consoleシリーズで、「robots.txt によりブロックされましたが、インデックスに登録しました」について説明します。

robots.txt によりブロックされましたが、インデックスに登録しました

「これだけ見ても、何をどうしたらいいかわからない」というお客様も多いので、参考にしていただければ幸いです。

目次

「robots.txt によりブロックされましたが、インデックスに登録しました」の意味

robots.txtでブロックしているにも関わらずインデックスされてしまったかというと、他のページから内部リンク(nofollow無し)が張られているためです。

robots.txtと内部リンクの矛盾

つまり、「robots.txtでブロックしているのに、内部リンクが張られているのでクロール・インデックスできてしまっていますよ」と、Googleが警告しているんですね。

そのため「有効(警告あり)」という矛盾するような表現になっています。

Google Search Console有効(警告)

このあたりは「ウェブマスター オフィスアワー(2020 年 08 月 06 日)」でGoogleの金谷さんがわかりやすく説明してくれてます。

検索結果の状態

インデックスはされていますが、ページの中身はクロールしていないため、下記のように「このページの情報はありません」と検索結果に表示されます。

警告ページの検索結果

対処方法

警告が出ているページがどうあるべきかによって対処方法は変わってきます。

インデックスさせたくない場合

非公開のコンテンツのように、インデックスさせたくないページでしたら「noindexを対象ページに入れる」か、「認証を使ってページへの匿名アクセスを禁止」するかの二択です。

ただ、noindexを入れる場合には注意が必要です。

理由はブロックしたままだと、GoogleBotがnoindexを認識できないためです。

robots.txとnoindex1

そのため、noindexを入れると同時にrobots.txtのブロックを外さなければいけません。

robots.txtとnoindex2

インデックスさせたい場合

そもそもインデックスさせたいのにrobots.txtでブロックしていた場合は単純で、robots.txtのブロックを解除するだけです。

修正ができたら「修正を検証」を行い、Googleが修正内容を認識するのを待ちましょう。

修正を検証

まとめ

Google Search Consoleの「robots.txt によりブロックされましたが、インデックスに登録しました」について、発生する原因と対処方法を解説いたしました。

最後に対処方法を改めてまとめます。

  • インデックスさせたくない
    • 「noindex」を対象ページに入れて、robots.txtのブロックを解除する
    • 「認証」を使ってページへの匿名アクセスを禁止
  • インデックスさせたい場合
    • robots.txtのブロックを解除

いずれもすぐにできることですので、ぜひ試してみてください。

もしSEOでお困りのことがありましたら、下記から問い合わせください。

お問い合わせフォーム

サービス資料のダウンロードは下記からできます。

サービス資料ダウンロード

では、また次の記事でお会いしましょう!

この記事を書いた人

システムエンジニアと事業経営を経てアイオイクス株式会社に入社。

インハウスとアフィリエイトでWebマーケティングを学び、現在はWebコンサルタントとして従事しています。

SEO歴:11年

保有資格:「中小企業診断士」「米国CXL社認定Optimizer」

Twitter:@go_tanifuji

目次
閉じる