クローラーとは 意味・用途

クローラーとは、主に検索エンジンや、キュレーションメディアにおいて、Webサイトの情報を取得するために作成されたプログラムを指します。
Googleの検索エンジンにおいては、「Googleボット」が同義で使われています。
Googleボットは、Webサイトが検索結果上に表示されるようにするために、WebサイトのHTML、画像、テキスト、画像等の情報を取得し、Googleのデータベースに「インデックス」を行います。
Googleボットなど、サイト全体のクロールを目的とするクローラーは、内部リンク(特定のページからサイト内の別ページへ向けられているリンク)を辿り、サイト内にある全てのページ情報を取得します。
「クローラー」の動きはrobot.txtなどを用いることである程度動きを制御することができます。

関連キーワード

SEO Japanおすすめ記事


>>用語集へと戻る