こんにちは、Webコンサルタントの谷藤（@go_tanifuji）です。
前回に引き続きGoogle Search Consoleをテーマにお話しします。
今回はSearch Consoleシリーズで、「robots.txt によりブロックされましたが、インデックスに登録しました」について説明します。
「これだけ見ても、何をどうしたらいいかわからない」というお客様も多いので、参考にしていただければ幸いです。
目次
「robots.txt によりブロックされましたが、インデックスに登録しました」の意味
robots.txtでブロックしているにも関わらずインデックスされてしまったかというと、他のページから内部リンク（nofollow無し）が張られているためです。
つまり、「robots.txtでブロックしているのに、内部リンクが張られているのでクロール・インデックスできてしまっていますよ」と、Googleが警告しているんですね。
そのため「有効（警告あり）」という矛盾するような表現になっています。
このあたりは「ウェブマスター オフィスアワー（2020 年 08 月 06 日）」でGoogleの金谷さんがわかりやすく説明してくれてます。
検索結果の状態
インデックスはされていますが、ページの中身はクロールしていないため、下記のように「このページの情報はありません」と検索結果に表示されます。
対処方法
警告が出ているページがどうあるべきかによって対処方法は変わってきます。
インデックスさせたくない場合
非公開のコンテンツのように、インデックスさせたくないページでしたら「noindexを対象ページに入れる」か、「認証を使ってページへの匿名アクセスを禁止」するかの二択です。
ただ、noindexを入れる場合には注意が必要です。
理由はブロックしたままだと、GoogleBotがnoindexを認識できないためです。
そのため、noindexを入れると同時にrobots.txtのブロックを外さなければいけません。
インデックスさせたい場合
そもそもインデックスさせたいのにrobots.txtでブロックしていた場合は単純で、robots.txtのブロックを解除するだけです。
修正ができたら「修正を検証」を行い、Googleが修正内容を認識するのを待ちましょう。
まとめ
Google Search Consoleの「robots.txt によりブロックされましたが、インデックスに登録しました」について、発生する原因と対処方法を解説いたしました。
最後に対処方法を改めてまとめます。
- インデックスさせたくない
- 「noindex」を対象ページに入れて、robots.txtのブロックを解除する
- 「認証」を使ってページへの匿名アクセスを禁止
- インデックスさせたい場合
- robots.txtのブロックを解除
いずれもすぐにできることですので、ぜひ試してみてください。
もしSEOでお困りのことがありましたら、アイオイクスまでお問い合わせください。
それでは、また次の記事でお会いしましょう！
無料サイト診断サービスを行っています
アイオイクス株式会社では、Webサイトの無料診断を行っております。
弊社のコンサルタントがSEO・CRO（コンバージョン改善）の観点から御社のWebサイトを分析し、改善案を提案させていただきます。
もし興味がございましたら、以下のページよりお申し込みください。
（法人の方向けのサービスとなります）
※サービスサイト（SEO Japan）へと遷移します。
システムエンジニアと事業経営を経てアイオイクス株式会社に入社。
インハウスとアフィリエイトでWebマーケティングを学び、現在はWebコンサルタントとして従事しています。
SEO歴：11年
保有資格：「中小企業診断士」「米国CXL社認定Optimizer」
Twitter：@go_tanifuji
