※ロボットタグについて※
<meta name="ROBOTS" content="">
meta要素でこの指定を行なうことにより、自動収集、検索を制御することが可能になります。
name="ROBOTS"
content="" INDEX…その文書の収集を許可する
NOINDEX…その文書の収集を拒否する
FOLLOW…リンクを辿ることを許可する
NOFOLLOW…リンクを辿ることを拒否する
ALL…その文書の収集を許可し、リンクを辿ることも許可する
NONE…その文書の収集を拒否し、リンクを辿ることも拒否する