Hadoop

高まるHadoop導入機運、日本のHadoopが終結

まず、Hadoopとはなにか？
Hadoopとは、Apach HadoopでGoogleのGoogle File SystemとMapReduceのオープンソース版です。
Googleの分散処理技術をオープンソースに実装しているみたいです。

実績としてはIBM、Yahoo!、amazon、Facebookなど有名なサイトに使用されているので注目を集めています。
Hadoopは、これから次々企業で採用されていくと思いますね。
Javaで実装されているそうです。

そもそも、Hadoopの元になったGoogle File SystemとMapReduceとは？
ざっくり話します。参考サイト→CodeZine

GFS(Google File System)
・大量のデータを大量マシンので安全に保存するための分散ファイルシステム
・複数のマシンのディスクを1つのディスクとして見せるファイルシステム

特徴としては、データを冗長化して1つのディスクが壊れてもデータが失われない。

MapReduce
・大規模なデータを大量のマシンで並列に処理するための分散計算フレームワーク
・ウェブ検索のためのインデックス作成処理や、ログ解析、機械学習などの処理に利用

MapReduceは、MapフェーズとReduceフェーズに分かれる。

Mapフェーズ
大量の情報を分解し、必要な情報を抜き出して出力。

Reduceフェーズ
Mapフェーズで抽出された情報を集約し、それに対して計算を行い結果を出力。

GoogleのGFSにあたるのが、HadoopのHadoop Distributed File Systemで、MapReduceにあたるのが、Hadoop MapReduceになります。

その他、関連情報としてBigTableとかありますが、サイトなど見てください。

内容は浅すぎますが、実際知識(IT関連の知識も)が浅いですのですみませんがこの辺で。
実際、やって知識深めるしかないですね。

大量データなどを扱うところには、これから普及していきそうですね。

追記
Hadoopについて書かれているブログ見つけたました。
分かりやすく書かれています。
Hadoopで、かんたん分散処理

twitter、「バルス」に勝つ

Twitterサーバ、「バルス」に勝つ

この記事見て面白いと思った。
ラピュタの放送にTwitterのサーバが耐えたってことみたいです。

今まで、2chではラピュタには耐えきれず落ちるらしい。はじめて知りました。
今回も落ちたようです。2chのサーバだめですね。バルス前に落ちたらしいです。

Twitterが普及してきて、初のラピュタ放送だったが、みんなが一斉にバルスってつぶやいても落ちなかったのはすごいですね。色々分散処理とかしているのかな？

2chとTwitterのユーザーがどれだけだったのかが知りたいね。

Twitterを考えた人も尊敬です。
自分は、1回しか発したことはないですが（;´▽｀A``、普及するってことは良いサービスってことなので。

みんなは、Twitterで何をつぶやいているんだろう。少し、気になる。

あぁー、0時超えちゃった寝ないとね。

2Gサービス終了

ソフトバンクモバイル、2010年3月31日に2Gサービス終了

ソフトバンクが2Gサービスを終了するそうです。
自分は、ソフトバンクユーザーではないのでどうでもいいですが。
2Gと3Gは何が違うのか？って思い調べてみました。
2G
wikiみてもあまり分かないな。
デジタル技術を利用した最初の世代で、日本のPDC方式や欧州のGSM方式などの移動通信システムが2Gみたいです。PHSも2Gらしい。今は知らないけど。知識無くてすみません。docomoなら2Gはmovaです。

3G
世界共通の通話周波数(2GHz帯)を使用した移動通信システムのことみたいです。外国でも通話ができるようになったことが3Gってことみたいですね。docomoならfomaになりますね。

docomoなら自分の機種が2Gか3Gかがmova,fomaで分かるけど、softbankの機種で2G,3Gの違いってわかるのだろうか。5年前の最新機種ぐらいなら3Gなのかな。

高速化や共通化で2G→3Gに移ってきたってことですね。技術の進歩ってすごいね。
技術者として、こういう技術を提供できる側になりたいですね。
どうすればいいのだろうかと悩みますね。新たなものを作るクリエイティブ力が足りないので。クリエイティブ力をつけたいですね。何か生み出していく人に憧れます。ピグとか生み出した人とかgoogleの人などかなり尊敬しますね。

iPhoneがほしい。
2つ目の携帯として持ちたい。
docomoは好きであるのと、家族そろってdocomoユーザーなので手放せないので。

softbankユーザーで2G携帯の人は3G携帯に変えてください。機種変の事務手数料とか無料になるらしいので。