クローラ  【Crawler】

クローラーとは、「スパイダー」や「ロボット」などとも呼ばれるウェブ上の文書や画像などを周期的に取得し、
自動的にデータベース化するプログラムである。


主に検索エンジンのデータベース、インデックス作成に用いられているほか
統計調査などにも利用されている


利用の仕方によっては、ネット上にあるメールアドレスを収集する為の
スパムメール(迷惑メール)業者御用達のツールにもなる