「robots.txtによりブロックされましたが、インデックスに登録しました」とSearch Consoleに表示された時の対処方法

2020年10月29日2023年8月23日

アイオイクス

今回はSearch Consoleシリーズで、「robots.txt によりブロックされましたが、インデックスに登録しました」について説明します。

「これだけ見ても、何をどうしたらいいかわからない」というお客様も多いので、参考にしていただければ幸いです。

クローラを制御する「robots.txt」

robots.txtは「どのクローラに（User-agent）」「どのページを見せないようにして（Disallow）」、「どのページを見せるようにする（Allow）」というようにクローラを制御する働きをします。

「robots.txt によりブロックされましたが、インデックスに登録しました」の意味

robots.txtでブロックしているにも関わらず、なぜインデックスされてしまったかというと、他のページから内部リンク（nofollow無し）が張られているためです。

クローラをブロックしているページでも他のサイトからリンクされていればインデックス登録が可能
Google では、robots.txt ファイルでブロックされているコンテンツをクロールまたはインデックス登録することはありませんが、ブロック対象の URL がウェブ上の他の場所からリンクされている場合、その URL を検出してインデックスに登録する可能性はあります。
●引用元：robots.txt の概要とガイド | Google 検索セントラル | Google Developers

つまり、「robots.txtでブロックしているのに、内部リンクが張られているのでクロール・インデックスできてしまっていますよ」と、Googleが警告しているんですね。

そのため「有効（警告あり）」という矛盾するような表現になっています。

このあたりは「ウェブマスターオフィスアワー（2020 年 08 月 06 日）」でGoogleの金谷さんがわかりやすく説明してくれてます。

検索結果の状態

インデックスはされていますが、ページの中身はクロールしていないため、下記のように「このページの情報はありません」と検索結果に表示されます。

このメッセージは、このウェブサイトでは Google によるページ説明の作成がブロックされている一方で、Google に対してページを非表示にする設定はされていないことを意味しています。
●引用元：検索結果にページ情報が表示されない – Search Console ヘルプ

対処方法

警告が出ているページがどうあるべきかによって対処方法は変わってきます。

インデックスさせたくない場合

非公開のコンテンツのように、インデックスさせたくないページでしたら「noindexを対象ページに入れる」か、「認証を使ってページへの匿名アクセスを禁止」するかの二択です。

ただ、noindexを入れる場合には注意が必要です。

理由はブロックしたままだと、GoogleBotがnoindexを認識できないためです。

そのため、noindexを入れると同時にrobots.txtのブロックを外さなければいけません。

noindex ディレクティブが有効に機能するようにするためには、robots.txt ファイルでページをブロックせず、クローラがページにアクセスできるようにする必要があります。ページが robots.txt ファイルでブロックされるか、クローラがページにアクセスできないと、クローラは noindex ディレクティブを認識しません。
●引用元：noindex を使用して検索インデックスをブロックする | Google 検索セントラル | Google Developers