HTTPのGETを利用したリソースの取得

WEB上のリソースを取得し、解析したい人はたくさんいるのでは？・・・と思い次のサンプルコードを掲載してみます。

-- code ------------

System.Net.WebClient client = new System.Net.WebClient();

// ユーザエージェントの設定

string userAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)";

client.Headers.Add("user-agent", userAgent);

// URLの指定

string url = "http://ameblo.jp/only-human/ ";

// バイトで取得

byte[] downloadBytes = client.DownloadData(url);

// 文字コード指定

System.Text.Encoding encoding = System.Text.Encoding.GetEncoding("EUC-JP");

Console.WriteLine(encoding.GetString(downloadBytes));

-------------------

こんな感じですかね？

最初から文字コードがわかっている場合は、WebClientクラスのEncodingプロパティを指定し、DownloadDataメソッドの代わりに、DownloadStringを利用すれば、一回で文字列を取得するこも可能。

後は正規表現等を利用し解析すれば、色々とオリジナルの解析ソフトも自由自在に作れるはずでわ。