HTMLのメタタグの記述、またはサーバーの設定で、サイト内の特定のウェブページをインデックスに登録することを拒否できます。
メタタグを使用する方法
HTMLの head のなかに次の記述をします。
meta name="robots" content="noindex"
上記は、すべての検索エンジンでインデックスへの登録を拒否する方法です。YSTのインデックスへの登録を拒否する場合には、次のように記述します。
meta name="Slurp" content="noindex"
サーバーで設定する方法
ウェブページをホスティングしているサーバーのHTTPヘッダーの設定で、次のようなディレクティブを設定します。
X-Robots-Tag: NOINDEX
注意
robots.txtで巡回が拒否されているウェブページでも、公開されているほかのウェブページからリンクされていると、URLのみが検索結果に表示されることがあります（URLやドメイン名を検索キーワードにして検索した場合）。YSTは、このようなウェブページは「thin document」としてURL情報のみ登録し、ウェブページの内容 はインデックスに登録していません。
メタタグを使用する方法
HTMLの head のなかに次の記述をします。
meta name="robots" content="noindex"
上記は、すべての検索エンジンでインデックスへの登録を拒否する方法です。YSTのインデックスへの登録を拒否する場合には、次のように記述します。
meta name="Slurp" content="noindex"
サーバーで設定する方法
ウェブページをホスティングしているサーバーのHTTPヘッダーの設定で、次のようなディレクティブを設定します。
X-Robots-Tag: NOINDEX
注意
robots.txtで巡回が拒否されているウェブページでも、公開されているほかのウェブページからリンクされていると、URLのみが検索結果に表示されることがあります（URLやドメイン名を検索キーワードにして検索した場合）。YSTは、このようなウェブページは「thin document」としてURL情報のみ登録し、ウェブページの内容 はインデックスに登録していません。