コンピュータやサーバーとの間で、HTTPによる通信が行われている場合、たとえば、ブラウザでウェブページを表示したり、クローラーがウェブページを巡回したりするときには、ウェブページの設置されているサーバーとブラウザやクローラーとの間で、お互いの状態(ステータス)をやりとりしています。このステータスをあらわすコードが「HTTPステータスコード」です。
代表的なHTTPステータスコードには次のようなものがあります。

ステータスコード 内容
200 OK コンピュータやサーバーとの間での通信が成功した状態。問題なくウェブページが表示される場合、ブラウザやクローラーは、このステータスを受け取っています。
301 Moved Permanently ウェブページは、指定されたURLではすでに存在せず、別のURLに永久的に移転したので、新しいURLに転送したことを示します。
302 Found(Moved temporarily) ウェブページは、指定されたURLでは一時的に存在せず、別のURLに仮の移転をしているので、移動先のURLに転送したことを示します。
401 Unauthorized 指定されたURLのウェブページを表示するには認証が必要であることを示し、認証に失敗したときなどに使われます。
403 Forbidden 指定されたURLの表示リクエストは受け付けられたが、ウェブページを表示する権限がないことを示します。
404 Not Found 指定されたURLはサーバー上に存在していないことを示します。
500 Internal Server Error サーバー側でのスクリプト実行エラーなどの理由で、リクエストを実行できなかったことを示します。
503 Service Unavailable アクセスが集中しているなどの理由により、サーバーがリクエストを受け付けられないことを示します。
指定されたURLが存在しない場合、サーバーは、通常「404 Not Found」のHTTPステータスコードを返しますが、どのようなステータスコードを返すかはサーバー側で任意に設定できます。このため、たとえば、削除したウェブページがクローラーに巡回され続けるという場合には、そのサーバーが存在しないURLに対して「404 Not Found」のHTTPステータスコードをクローラーに返しているかを確認する必要があります。
動的URLとは、次の例のようにURL中に「?」や「&」が含まれ、さらにこれらの文字の後にパラメータ(パラメータの名前とパラメータの値の組み合わせ)が含まれるものです。

動的URLの例:
http://dic.yahoo.co.jp/dsearch?enc=UTF-8&p=%E3%83%A4%E3%83%95%E3%83%BC&stype=0&dtype=2
たとえば、この例のURLには、「enc」「p」「stype」「dtype」という4つのパラメータの名前が含まれていて、それぞれ、「enc=UTF-8」「p=%E3%83%A4%E3%83%95%E3%83%BC」「stype=0」「dtype=2」というパラメータの値が指定されており、それぞれのパラメータは「&」記号でつながれています。
この例のURLの場合、「http://dic.yahoo.co.jp/dsearch」のページ表示プログラムを「enc=UTF-8&p=%E3%83%A4%E3%83%95%E3%83%BC&stype=0&dtype=2」というパラメータで実行して、ウェブページを表示するという意味を持ちます。パラメータとページ表示プログラムのURLは「?」記号で結ばれています。

このようなURLが「動的URL(ダイナミックURL)」と呼ばれるのに対して、URL中にパラメータを持たないURLは「静的URL(スタティックURL)」と呼ばれます。

静的URLの例:
http://dic.yahoo.co.jp/
通常、YSTのクローラーは、1回の巡回で、1URLに対して1回、ウェブページの取得を行います。まれにクローラーが停止し、巡回を再開する際に取得したばかりのウェブページを続けて巡回することがあります。ただし、この現象は、頻繁におこることではありません。

注意
Yahoo! Inc.やYahoo! JAPANでは、YSTのクローラー(=「Slurp」)以外にも、クローラーの開発・運用を行っています。これらのクローラーについては「Yahoo! JAPANの検索エンジン(クローラー)について」(Yahoo!検索ヘルプ)をご覧ください。
クローラーが短い間隔で繰り返しウェブページを取得する現象が見られた場合には、アクセスログからクローラーの名前(ユーザーエージェント名)を確認してください。
そこでYSTのクローラー名になっている場合、そのクローラーは、クローラー名を偽装している可能性がありますので、「クローラー名(ユーザーエージェント名)の確認方法」に記載された情報を確認してください。
YSTのクローラー以外のYahoo!のクローラーが、このようなアクセスをしている場合には、Yahoo!検索ヘルプのページからお問い合わせを行ってください。