クローラーとは、インターネット上のさまざまなWebページを定期的に巡回して情報を回収するロボットのことです。「ボット」と呼ばれることもあります。
クローラーの役割は？
クローラーはWebサイトのデータを集めるために、常に様々なサイトを巡回しています。そして、この集めたデータを検索エンジンに届けることがクローラーの役割だと言われています。
ちなみに、検索エンジンがこの情報を処理することによって適切な検索結果を表示させています。
クローラーがWebサイトの情報を検索エンジンに持ち帰り、それを検索エンジンが整理してインデックス（英語で「見出し」「索引」という意味）に記録する。
ユーザーが検索エンジンから検索するたびに、検索エンジンはインデックスにある記録を参照し、結果を表示する
という仕組みです。
クローラーがなければ、すべて人の手でサイトの情報を調べる必要があります。しかし、1日にウェブ上で生成されるページは１０億ページ近くあると言われており、物理的に人間が検査することは不可能ですので、この一連の作業をクローラーが担っているのです。
検索結果の対象となるのはインデックスに記録されているWebサイトのみで、記録されていないWebサイトはどんなキーワードで検索されたとしてもヒットしません。
クローラーに訪問してもらい、インデックスに記録してもらうということは、Webサイトをユーザーに見てもらいたいのなら非常に重要なことです。
