クロールとは、テキスト、画像、HTML情報など、Webページ上の様々な情報を収集することです。検索エンジンやキュレーションメディアなどでWebサイトの情報収集のために行われることが多く、クロールを行うプログラムの事を「クローラー」と呼びます。
Googleの検索エンジンにおいては、クローラーであるGoogleボットがWebサイトの情報を「クローリング」し、Googleのデータベースに「インデックス」を行い、ランキングのための情報を取得できるようにしています。GoogleボットがWebページをクロール出来なければ、そのページが検索結果に出ることはありません。
重要なページにはきちんと内部リンクが集まるように情報設計を行い、またクローリングの手助けとしてサイトマップを設置し、ページの重要度をクローラーへ通知するとよいでしょう。
