皆さん、こんにちは。
昨日は、「検索エンジン」についてのお話をさせて頂きましたが、
本日は、検索エンジンの種類についてお話を
★検索エンジンの種類
検索エンジンは、大きく2つの種類に分かれます。
①サイトをプログラムによってデータベース化した「ロボット型検索エンジン」、②サイトを人がカテゴリー別に分けてデータベース化した「ディレクトリー型検索エンジン」などがあります。
★ロボット型検索エンジンとは
ディレクトリー型に対して Google に代表されるロボット型検索エンジンはデーターベースを作る為にクローラーと呼ばれる ロボット スパイダー(検索ロボットと呼ばれる httpget プログラム)を使用しWebページを巡回、収集します。 
検索ロボットには Web Site と言うような概念は有りません。 ひたすら、Webページのリンク構造を辿り新たなWebページを収集して行きます。
Web (クモの巣)上を徘徊するスパイダー(spider:「虫」クモ)と書くと何だか恐ろしげなイメージが湧きますが、 他人に見られたくないファイルをWebサーバー上に置いたりしない限り怖い物では有りません。
人がWeb site(WWW)を閲覧する時にはブラウザを使い自分で行き先をクリックしますが、 ロボット スパイダーは自動的に Web site 上のリンクを辿ってページのテキストを収集します。 
リンクを辿ると言ってもその場で辿る訳ではなく実際には収集したアドレスを一端持ち帰り、クローリングリストを作成し次回クローリングの候補とします。 
このクローリングリストにはページの更新頻度や重要度で毎日巡回から月一回の巡回で良いとかの優先度が付け加えられている様な気がしますが、実際の所はどうなんでしょうか? 
この様に Webページを自動的に収集するのでロボットと言う呼び方がされる様になったのだとも思えますが定かではありません。
★ディレクトリー型検索エンジンとは
ディレクトリー型検索エンジンとは日本では Yahoo! Japan のディレクトリーに代表される、 エディターと呼ばれる人の手によって細かくカテゴリに分類されたディレクトリー型リンク集のデーターベースです。 
このカテゴリの中から目的のサイトを探し出す為にはカテゴリをクリックしながら目的に辿り付く方法と検索窓にキーワード(クエリー) を入力する方法の二つがあります。 
実際にはカテゴリを複数回クリックするよりも検索窓に直接キーワードを入力し目的に辿り付く人の数の方が多いのではないでしょうか?
多くのポータルサイトがディレクトリー(カテゴリ)を持っていますが最近は他社の有料登録ディレクトリーと提携し、 自社のディレクトリーとして表示する所が増えてきました。
現在無料で推薦審査しているのは Yahoo! ( ビジネスエクスプレス は有料審査)、 dmoz、 All About Japan くらいしか有りません。
有りません。 と書きましたが無いわけではありません。 
無審査又は一定の基準で登録出来る検索サイトは国内に600件以上もあるとされていますが、その実態は良く分かりません。
大手のディレクトリー型検索エンジンの特徴は人の手によって選別しデータベースを構築しますので、ある程度品質が保たれる事です。 
欠点は何と言っても数の少なさです。 国内最大級の Yahoo! でさえ数十万件? 程度だと思われます。
ディレクトリー型検索は有名な公式サイトを探すにはロボット型検索エンジンよりも早く目的にたどり着けますが、 複数のキーワードで絞り込んで行くと途端にヒットしなくなります。 
これはディレクトリー型の検索エンジンがサイトのタイトルと紹介文やカテゴリ名に現れるキーワードだけを元に検索インデックスを作成しているからです。
