サイトマップ大手３社共同開発！
Google、Yahoo!、Microsoftの3社はより細かくアクセスを指定できるSitemapsに
共同で対応するなど作業を進めてき ているようです。
ただ、まだまだ共通ではない部分もあり、早く統一してほしいものです。サイト制作はやるべきことが多くあるので、こういう簡素化は大歓迎です。
Google、Yahoo!、MSがRobots.txtなどREP共通/独自内容公開
http://headlines.yahoo.co.jp/hl?a=20080607-00000095-myc-sci主要な検索サービスを提供しているGoogle、Yahoo!、Microsoftの3社は3日(米国時間)、Robots Exclusion Protocol (REP)の現状を説明するとともに、それぞれが独自に提供しているディレクティブの説明を公開した。
コンテンツホルダが求めるのはどうすれば検索結果にコンテンツが有利に登場するかだが、逆に特定のコンテンツをどうすれば検索対象から除外できるかも求め られている。この場合に使われるのがRobots Exclusion Protocol(REP)だ。robots.txtファイルに指定する方法やMETAタグで指定する方法などがある。これら方法はGoogle、 Yahoo!、Microsoftなど主要な検索エンジンサービスでサポートされており、検索エンジンアクセス制御方法のデファクトスタンダードとなって いる。
ここ数年、Google、Yahoo!、Microsoftの3社はより細かくアクセスを指定できるSitemapsに共同で対応するなど作業を進めてき た。3日(米国時間)、3社は共同でサポートしているディレクティブを説明するとともに、独自で提供しているディレクティブをそれぞれ報告した。
3社サポートRobots.txtディレクティブ:
・Disallow - クローリングの対象からはずす指定
・Allow - クローリングの対象に追加する指定
・$ - URLの末尾に一致するワイルドカード指定
・* - 任意の文字または文字列に一致するワイルドカード指定
・Sitemap - Sitemapsのロケーションを指定
3社サポートHTML METAディレクティブ:
・NOINDEX METAタグ - クローリングの対象からはずす指定
・NOFOLLOW METAタグ - ページ内のリンクについてクローリングの対象からはずす指定
・NOSNIPPET METAタグ - 検索結果にスニペットを表示しないようにする指定
・NOARCHIVE METAタグ - 検索結果にキャッシュページを表示しないようにする指定
・NOODP METAタグ - Open Directory Projectからのタイトルとスニペットを使わないように指定
HTML METAディレクティブはPDFや動画などのHTMLコンテンツ以外のコンテンツに指定する場合は、X-Robots-Tag HTTPヘッダを使って指定できる。
上記の共通ディレクティブ以外に、GoogleはUNAVAILABLE_AFTER METAタグ、NOIMAGEINDEX METAタグ、NOTRANSLATE METAタグをサポートしている。Yahoo!ではCrawl-Delay、NOYDIR METAタグ、Robots-nocontentタグをサポート、MicrosoftではCrawl-Delayを追加でサポートしている。詳細はそれぞ れGoogle - Improving on Robots Exclusion Protocol、Yahoo! - One Standard Fits All: Robots Exclusion Protocol for Yahoo!, Google and Microsoft、Microsoft - Robots Exclusion Protocol: Joining Together to Provide Better Documentationにまとまっている。SEOを実施する場合には参考にされたい。
ヤフー・ニュース引用
＜PR＞