クローラーによるウェブページの巡回と収集

Yahoo!検索の検索結果には、YSTのクローラーが巡回・収集し、インデックスに登録されたウェブページのなかから、キーワードに関連するウェブページが表示されます。

クローラーは、ウェブページのHTMLタグにある「href」によって指定されたURLのリンクをたどり、ウェブページを巡回、収集しています。フレームページなどを作成するときに使用される「src」によって指定されたリンクはたどりません。



YSTのクローラーは、「Yahoo! Slurp（ユーザーエージェント名は、「Slurp」「Yahoo! Slurp」など）」と呼ばれています。

クローラーは、robots.txtでの記述に従ってウェブページの巡回・収集を行っており、robots.txtで巡回が拒否されている場合には、ウェブページの内容を収集することはありません。

注意
robots.txtで巡回が拒否されているウェブページでも、公開されているほかのウェブページからリンクされていると、URLのみが検索結果に表示されることがあります（URLやドメイン名を検索キーワードにして検索した場合）。YSTは、このようなウェブページは「thin document」としてURL情報のみ登録し、ウェブページの内容はインデックスに登録していません。

検索エンジンスパムとは？

「検索エンジンスパム」とは、検索キーワードと十分な関連性がないにもかかわらず、意図的に検索結果に表示されるように操作をしているウェブページを指します。
以下は、検索エンジンスパムの例です。

検索する利用者をほかのウェブページに転送するためだけに存在するウェブページ
ほかのウェブページとまったく同じ内容で作られたウェブページ
情報をほとんど公開していないにもかかわらず、自動的かつ大量に作られているウェブページ
検索エンジンが付与する表示順を不正に上昇させているウェブページ
検索する利用者に見えないテキストを使っているウェブページ
過度な相互リンクを行い、サイトの認知度を不自然に上昇させているウェブページ
検索エンジンの検索結果に表示される内容と利用者が目にするウェブページの内容が異なるウェブページ
検索エンジンのためだけに作られたウェブページ
特定の社名を悪用しているウェブページ
過度なポップアップ使用により、利用者の正常な操作を妨げるウェブページ
虚偽または詐欺と思われるウェブページ
検索エンジンスパムに該当すると判断されたウェブページは、インデックスから随時削除されます。

robots.txtとは？

robots.txtは、検索エンジンに対する要求を伝えるファイルです。サイト管理者はrobots.txtをとおして、次の情報を伝えることができます。

クローラーに巡回してほしくないウェブページやディレクトリ
クローラーの巡回頻度
サイトマップの位置
YSTのクローラーはrobots.txtの記述に従ってサイト内のウェブページを巡回します。クローラーによる巡回の際は、まずサイトのルートディレクトリ（サイトの一番上の階層）にあるrobots.txtを探します。robots.txtが設置されていなかった場合には、そのサイトに対する巡回制限はないものとみなしてサイト内のウェブページを巡回し、robots.txtが設置されていた場合には、その内容に従って巡回します。