robots.txtとは 意味・用途

robots.txtは、ロボット型の検索エンジンに対して動作制御を行うためのファイルです。
検索エンジンのクローラー(ロボット)のWEBページのへのアクセスを制限することができます。
そのため、robots.txtによるクロール制限は「クロール最適化」として用いられるSEO施策の一手段であり、SEOにおいて重要です。
Webサイトにrobots.txtを設置し、 クローラーに対し情報を正確に伝えてクローラービリティーを高めることで上位表示に寄与します。


>>用語集へと戻る