robots.txtとは 意味・用途

robots.txtは、ロボット型の検索エンジンに対して動作制御を行うためのファイルです。
検索エンジンのクローラー(ロボット)のWEBページのへのアクセスを制限することができます。
そのため、robots.txtによるクロール制限は「クロール最適化」として用いられるSEO施策の一手段であり、SEOにおいて重要です。
Webサイトにrobots.txtを設置し、 クローラーに対し情報を正確に伝えてクローラービリティーを高めることで上位表示に寄与します。

この記事を書いた人

2002年設立のSEO/CRO(コンバージョン最適化)を強みとするWebコンサルティング会社です。お問い合わせは、サービスサイト「SEO Japan」よりお願いします。

目次
閉じる