クローラーとは 意味・用途

クローラーとは、主に検索エンジンや、キュレーションメディアにおいて、Webサイトの情報を取得するために作成されたプログラムを指します。
Googleの検索エンジンにおいては、「Googleボット」が同義で使われています。
Googleボットは、Webサイトが検索結果上に表示されるようにするために、WebサイトのHTML、画像、テキスト、画像等の情報を取得し、Googleのデータベースに「インデックス」を行います。
Googleボットなど、サイト全体のクロールを目的とするクローラーは、内部リンク(特定のページからサイト内の別ページへ向けられているリンク)を辿り、サイト内にある全てのページ情報を取得します。
「クローラー」の動きはrobot.txtなどを用いることである程度動きを制御することができます。

関連キーワード

SEO Japanおすすめ記事

アイオイクスではSEOを軸としたWebコンサルティングサービスを提供しています。

いわゆるSEOの型に沿った施策ではなく、お客様の事業やWebサイトの構成を踏まえた最適な施策のご提案を重要視しています。SEOにお困りの際はぜひご相談ください。
SEOコンサルティング サービスページ

アイオイクスでは一緒に働く仲間を募集しています

アイオイクスのWebコンサルティング事業部では、「一緒に挑戦し、成功の物語を共有する」という理想像を掲げ、本質的な取り組みを推進しています。私たちと汎用性の高いスキルを突き詰め、自由に仕事をしていきませんか。

メールマガジンの登録はこちら

SEOに関連する記事の更新やセミナー情報をお届けします。


  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

2002年設立のSEO/CRO(コンバージョン最適化)を強みとするWebコンサルティング会社です。お問い合わせは、サービスサイト「SEO Japan」よりお願いします。

目次