robots.txt
ロボットは、最初にサイトトップのrobots.txtにアクセスする。
すべてを巡回
User-agent: *
Disallow:
Googleだけ拒否
User-agent: Googlebot
Disallow: /*
Yahoo!だけ拒否
User-agent: Slurp
Disallow: /*
すべてのロボットを拒否
User-agent: *
Disallow: /* ロボットの巡回を制限する
次の訪問までの時間を指定し、例えば20秒経たないとアクセスできないようにするには、
MSNBotの場合
User-Agent: msnbot
Crawl-Delay: 20
Yahoo! Slurpの場合
User-agent: Slurp
Crawl-delay: 20