最近、旬でかなりの有名ワードで検索してみたら、「検索結果 0件」と表示され、
「マジか! 嘘だろ・・・」と思い、
そして、これはきっと特別な状態を人為的にもたらしているんじゃないかと思いました。
そこで、検索対象が外す方法を調べてみました。
普通、webサイトの管理者は、どんどん検索にヒットして欲しいと発想するわけなので、
私は、これまで、こんな処理がある事を知りませんでした。
あなたが、もし何か専門的なポータルサイトを運営者なら、比較的簡単に、
何かのキーワードを検索対象から外すことが出来ます。
一般的な検索エンジンであるヤフーやグーグルでも、検索されないようにする事もできるらしいです。
詳しくは【JCA NET】 http://support.jca.apc.org/support/robotstxt
検索エンジンに登録されないようにするには
* ページに META タグで指定する方法
* robots.txt ファイルを作成する方法
* 注意
多くの検索エンジンでは、設定によって特定のページを検索対象としないようにできます。
各ページに META タグで指定する方法と、サイトごとに robots.txt ファイルを作成する方法があります。
ページに META タグで指定する方法
多くの検索エンジンでは、つぎのいずれかのタグがあると、そのページを検索の対象にしません。 Webページの存在を知らせたくないときに利用します。
これらのタグは、いずれも <HEAD>...</HEAD>タグのなかに書きます。
<META NAME="robots" CONTENT="none">
このページ自身もこのページからリンクしているページも 検索対象にしません。
<META NAME="robots" CONTENT="noindex">
このページを検索対象にしません。このページからリンクしている ページは検索対象になることがあります。
<META NAME="robots" CONTENT="nofollow">
このページからリンクされているページを検索対象にしません。 このページ自身は検索対象になることがあります。
robots.txt ファイルを作成する方法
独自ドメインの Web サイトでは、サイトのトップに robots.txt というファイルを作成することによって、検索エンジンに、検索対象にされたくないページを知らせることができます。 Web ページをあまり広く知らせたくないときに利用します。
robots.txt ファイルは、サイトのトップに作らないと効果がありません。たとえば、http://www.no-debris.org/robots.txt という場所にあれば検索エンジンに認識されますが、 http://www.no-debris.org/Mir/robots.txt という場所にあっても認識されません (単なるテキストファイルとして扱われてしまいます)。なお、robots.txt ファイルの名前は小文字にします。 Robots.txt や ROBOTS.TXT などのファイル名は、robots.txtとは異なるファイルとみなされます。
独自ドメイン以外のWebサイト(ルートフォルダにrobots.txtを記述することができないサイト)では、自分で robots.txt ファイルを作ることはできません。前述のMETAタグで指定する方法を使うか、WWWシステム管理者にrobots.txtファイルを書き換えるよう依頼してください。
robots.txtファイルには、User-Agent: 行と Disallow: 行を書きます。 User-Agent: 行では拒否の対象としたい検索エンジンの種類を書きます。 * を書けば「すべての検索エンジン」の意味になるので、通常はこれを書けばいいでしょう。 Disallow: 行には拒否の対象としたい URL のパターンを書きます。パターンには、サイト内のパスのみを書き、ホスト名 (サーバ名) は書きません。書いたパターンに前方一致するすべての URL が、検索対象から外されます。
以下、Web サイト http://www.no-debris.org/ のための robots.txt ファイルの例をいくつか挙げます。 robots.txt ファイルの場所は、http://www.no-debris.org/robots.txt です。
User-Agent: *
Disallow: /Mir/
Disallow: /ISS/JEM/
Disallow: /skylab/skylab-2.html
すべての検索エンジンに対して、つぎのページを検索対象にしません:
* http://www.no-debris.org/Mir/ 配下のすべてのページ
* http://www.no-debris.org/ISS/JEM/ 配下のすべてのページ
* http://www.no-debris.org/skylab/skylab-2.html というページ
User-Agent: *
Disallow: /
すべての検索エンジンに対して、http://www.no-debris.org/ サイトのあらゆるページを検索対象にしません。
URL のパスはかならず / で始まるので、Disallow: 行に / を書くとすべてのページを指すことになります。
User-Agent: *
Disallow:
すべての検索エンジンに対して、http://www.no-debris.org/ サイトのあらゆるページを検索対象にします。
robots.txt ファイルを作らなかったときとおなじです。
注意
すべての検索エンジンが以上のルールに完全に従うとはかぎりません。また、検索エンジンへの登録を拒否したとしても、アクセス制限をかけない限り、公開されたWebページの存在を完全に隠すことはできません。
Webページを外部に公開したくないときは、パスワード認証によるアクセス制限などの方法を併用してください。
