今までのデータ解析では解明できなかったことが分ったのはビッグデータ解析のお陰と言う評価がありますが、分析対象のデータを集める範囲（幅と深さ）が広がり、多方面の解析ができる環境ができたからに過ぎません。幅×深さの結果、いわゆるビッグデータとなったわけですが、単にVolume (量的)だけの問題ではなく、質の問題を考慮しなければなりません。すなわち、手間の問題でできなかった大量なデータを対象にし、高速に多方面な切り口で分析できるようになったというフィジカルな環境が劇的に改善されたということです。具体的には、高速安価なCPU、メモリを実装したコンピュータ、パソコンの登場です。これにより、分析の質を高めるための手間が大幅に軽減され、その結果、手間をいとわず見方を変えて調べられるようになり、解明につながったケースが出てきました。これが、“ビッグデータ”という名前を得てブームの様相を呈していると思います。
見方を変えた結果、今まで解明できなかったことが解明できた米国での例をＮＨＫが紹介していました。紹介されたのは医療データでした。医療関係者の間では未熟児が死亡する原因の多くが感染症であることは知られていました。未熟児の場合、感染を起こしてから治療しても手遅れの場合や、体力的に施行できないケースがあり、家族が悲嘆にくれる事態に陥る状況を救えないでいました。感染症が発症する予兆が捉えられないか、起きそうだという予知ができないかにつき、医療関係者は研究していましたが、成果は出てこなかったようです。しかし、医療業務には門外漢なはずの証券アナリストが見事に解明しました。以下のとおりです。
①未熟児が死亡する原因の多くが感染症であることは既知
②感染を起こしてから治療しても手遅れの場合が多い
③感染症が発症する予兆が捉えられないか、起きそうだという予知ができないか
④専門家である医療関係者が研究していたが有効な成果は出なかった
⑤証券会社で株価の推移を分析していた専門家が参加した
⑥未熟児で生まれ、感染症で死亡までの各種データの推移をチェック
⑦感染症に罹る未熟児の血中の酸素濃度／呼吸数／心拍数の変化に有為な相関があることに気づいた
⑧医療チームは、バイタル値を観察し、感染症に至る予兆を捉え、治療にあたった
⑨未熟児が感染症に罹る割合が改善された
⑩未熟児で生まれた赤ちゃんの死亡率が改善された
医師ではない、データ分析の専門家にどうしてそれができたのでしょう？数学的な処理能力ではなく、先入観にとらわれなかったということが最大のポイントではないかと思います。医療の専門家は、未熟児治療に関係する専門的なデータばかりを見ていて、バイタルという基本中の基本的なデータとの関係をチェックするという発想が抜けていたようです。これに対し、医療に関する知識のない証券アナリストは、先入観なく、全てのデータをチェックしていて有為な相関を発見しました。専門家は専門家故の狭い領域でしかデータを見なかった、これが問題で、決してビッグデータ解析のお陰ではありません。
※質問はosugisama@gmail.comにどうぞ
※リブログを除き、本ブログの無断転載、流用を禁じます。