googleなどが検索対象となるデータベースを作成するために、世界中のホームページのデータを集める為に作成されたプログラムです。お客様に説明するとはロボットなどとも言っています。
検索結果に表示される為にはまずこのクローラに来てもらって、自分のホームページのデータを回収してもらう必要があります。回収され、googleのデータベースに登録された時点で初めて検索対象となります。勿論登録されたからといってすぐに上位に表示されるわけではありません。あくまでも検索対象となるだけです。
クローラはgoogleなどの検索サービス用のプログラム以外にも様々なものがあります。回収されたくないデータなどは回収するなという命令をサイト内に記述すれば普通は回収されないのですが、中にはお行儀のよくないクローラもありますので、特定に人にだけ見て欲しいファイルなどをサーバ上にアップするときはアクセス権を制限するなどの注意が必要です。
