リンク先のウェブページの巡回制限 ― ウェブページ内やサーバーでの設定

リンク先ウェブページの巡回制限は、rel="nofollow"属性を使った指定方法のほかに、HTMLのメタタグで指定する方法と、サーバーの設定で指定する方法があります。

メタタグを使用する方法

HTMLのhead内に次のような記述をします。

meta name="robots" content="index,nofollow"
上記の例は、「このウェブページ内にあるリンク先ウェブページの巡回は拒否するが、このウェブページ自身はインデックスへの登録を許可する」という意味を持ちます。「リンク先ウェブページの巡回を拒否し、ウェブページ自身のインデックスへの登録も拒否する」という場合には、次のように記述します。

meta name="robots" content="noindex,nofollow"
サーバーで設定する方法

ウェブページをホスティングしているサーバーで、次のようなディレクティブ設定をします。

X-Robots-Tag: NOFOLLOW

リンク先のウェブページの巡回制限 ― rel属性の利用

YSTは、[a]タグに属性rel="nofollow"が指定された場合、このリンク先のウェブページの巡回を推奨していない、あるいは信頼できるリンクではないとサイト管理者（ウェブマスターやブログのオーナー）が考えているとみなします。rel="nofollow"の指定されたリンクのURLは、新しいウェブページを見つけるために利用されますが、検索結果の表示順序を決める要素としては考慮されません。

rel="nofollow"は、ブログのトラックバックスパムやコメントスパムを減らすという利点を持ちます。ホームページ作成サービスやブログ作成サービス、掲示板サービスには、URLが書き込まれたときに、自動でこの属性を追加する機能を提供しているサービスがあります。

rel="nofollow"属性の指定例
[a href="http://spammer.example.com/"]こちら[/a]
このようなリンクの場合には、次のように属性を指定します。
[a href="http://spammer.example.com/" rel="nofollow"]こちら[/a]

サイト単位、ディレクトリ単位での巡回の拒否設定 2

robots.txtでは、以下のパターン記号が使用できます。

記号 マッチ
* ワイルドカードのパターンマッチ
$ URLの末尾文字のパターンマッチ
使い方は以下のとおりです。

「*」記号

「*」記号は、任意の長さの、任意のURL文字列にマッチさせるときに使います。URL文字列のいずれの部分にも使えます。

User-agent: Slurp
Allow: /public*/　・・・1
Disallow: /*_print*.html　・・・2
Disallow: /*?sessionid　・・・3
それぞれ以下のように解釈されます。

「public」で始まるすべてのディレクトリへの巡回を許可
例：「/public_html/」や「/public_graphs/」も巡回されます。
「_print」を含むすべてのファイルとディレクトリへの巡回を拒否
例：「/card_print.html」や「/store_print/product.html」は巡回されません。
URL文字列に「?sessionid」を含むすべてのファイルへの巡回を拒否
例：「/cart.php?sessionid=342bca31」は巡回されません。
注意
以下のように書かれていた場合、2つの「Disallow」の指示は、同等とみなされます。
User-agent: Slurp
Disallow: /private*
Disallow: /private
「$」記号

「$」記号は、URLの末尾にある、任意の文字列をマッチさせるときに使います。

User-agent: Slurp　
Disallow: /*.gif$　・・・1
Allow: /*?$　・・・2
robots.txtが設置されたサイト以下で、「.gif」で終わるすべてのファイルへの巡回を拒否（「$」を省き「/*.gif」とすると、ファイルパスに「.gif」を含む、すべてのファイルの巡回が拒否されていることになります）
「?」で終わるすべてのファイルへの巡回を許可
注意
「$」記号がない場合、クローラーはプリフィクス（接頭辞）として扱い、記述された文字列を含むURLがすべてマッチします。
「$」記号は、文字列の末尾でのみ意味をなします。クローラーが「$」記号を見つけると、末尾であると判断し、以降の文字列を無視します。