存在しないウェブページを表示しようとしたときに、サーバーが「HTTP 200 OK」のステータスを返してエラーページを表示する設定にしていると、クローラーはエラーページとみなさず、巡回を続けます。
存在しないウェブページを表示しようとしたときには、サーバーが「HTTP 404 Not Found」のステータスを返すように設定を行ってください。
また、このような設定ができない場合には、エラーページのHTMLのheadに、メタタグを使ったインデックス拒否の設定を行ってください。
このような場合とは別に、YSTのクローラーは、「HTTP 404 Not Found」のステータスを返さないサイトに、無作為に作成したURLでリクエストを行うことがあります。こうして存在しないウェブページに対するレスポンスの情報を集め、インデックスに残っている存在しないウェブページの情報を削除しています。
このチェックは、1つのサーバーに対して10URLを上限として実施していますが、頻繁に行われる処理ではありません。
存在しないウェブページを表示しようとしたときには、サーバーが「HTTP 404 Not Found」のステータスを返すように設定を行ってください。
また、このような設定ができない場合には、エラーページのHTMLのheadに、メタタグを使ったインデックス拒否の設定を行ってください。
このような場合とは別に、YSTのクローラーは、「HTTP 404 Not Found」のステータスを返さないサイトに、無作為に作成したURLでリクエストを行うことがあります。こうして存在しないウェブページに対するレスポンスの情報を集め、インデックスに残っている存在しないウェブページの情報を削除しています。
このチェックは、1つのサーバーに対して10URLを上限として実施していますが、頻繁に行われる処理ではありません。