検索エンジンの進化続き【1】

ご存知の方も多いように、1997年ごろになると、WWWが急速に拡大しました。

これにともなって、ディレクトリ型検索エンジンであったYahooは急に人気が
落ちます。

膨大な情報量にディレクトリが付いていけなくなったためです。

そして、検索エンジンは、ディレクトリ型からロボット型に人気が移りました。

ロボット型検索エンジンを使うinfoseekなどが代表的な会社でした。

この後、Googleが1998年に登場しました。

独創的な検索技術を生かし広告等を排除した、簡単な画面であることが人気でした。

更に、2000年になるとYahooのロボット型検索エンジンとしてGoogleが採用されました。

これによって、人気は加速していきます。

検索エンジンが入り込めないところその3【2】

検索エンジンでも、ロボット型と呼ばれるものは、こうしたクローラを
使っています。

他にも、ボット、スパイダーなどと呼ばれるケースもあります。

これらのクローラの役目は、検索エンジンにおけるデータベース作成や、
インデックスの作成に使われています。

そのほかにも、統計調査などにも利用されることもあるそうです。

また、迷惑なことに、メールアドレスを集めることを目的としてクローラを
使っている人もいます。

スパムや迷惑メールを一斉に送るために、アドレスを収集しているのです。

検索エンジンが入り込めないところその3【1】

クローラとは、英語で「Crawler」と書きます。

これは、ウェブ上のデータである文書や画像などを、クローラが自動的に
周回してデータを取得するプログラムです。

取得したデータを、自動的にデータベース化します。

クローラは、新しい文書などを発見すると、データベースに登録します。

また、ファイルが存在しないのを確認した場合は、データベースから
削除するのです。

このようなことを自動的に繰り返し行っています。

検索エンジンの進化【3】

実験としてこれらのサイトは公開されていましたが、すでに沢山の人が
使っていたそうですから、学生の力ってすごいですよね

その後、1996年にYahooが検索エンジンを商用としてスタートさせました。

当時は、ディレクトリの質が高かったため、ユーザーに人気がありました。

こうして、検索サイトで常に首位を維持していたYahooは、他にもニュースや、
ネットオークションなどのサービスを開始し、検索エンジンの会社として
Yahooは独走していたと言えます。

検索エンジンの進化【2】

日本でインターネットが普及し始めたころから、検索エンジンは
存在していました。

今では、みなさんが知っているサイト、Yahooですが、当時は
豊橋技術科学大学に通う学生が作成したと言われています。

ODiNは東大生が作成したと言われています。

そして、早稲田大学の生徒が千里眼を作成していました。

また、京都大学の研究室でMondouが作られていました。

当時、学生たちがそれぞれ作成していたものが、商用よりも先だったのです。