子供でも遊び感覚でつくれる
そういったプログラム作成が理想なのですが
今回、購入した書籍がLinux OSのUbuntuを対象に書かれたものだったため
取り敢えずは、Ubuntuでプログラムを組むことにしました
しかし、アップデートやアップグレードに凄く時間が掛かたり
それをを怠ると
インストールが上手くいかなかったり
面倒ではあります
文字コード変換のために『nkf』をインストールし実行する
正直言って
面倒なコマンドは一切なく
『Mery』で再読み込みするだけで変換できてしまうのですが
この書籍で気付かされてことがあります
それは当然のことではありますが
『むやみにクローリング、スクレイピングをするべきではない』ということ
気を付けいているつもりではありましたが
より慎重にやるよう心掛けたいと
改めて思いました
robots.txt
# Sorry, wget in its recursive mode is a frequent problem.
# Please read the man page and use it properly; there is a
# --wait option you can use to set the delay between hits,
# for instance.
#
User-agent: wget
Disallow: /