ロボットテキスト

robots.txt とは、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファイルです。自分のページが、検索エンジンのデータベースに登録されないように指示します。


今回私はあえてすべてを許可する記述を指定してファイルを作っておきました。

クローラーをブロックしない時の記述の仕方。