データの単位

2008年2月26日火曜日

早嶋です。

本日は、BPSリーダー講座の修了式でした。そして、今まで懇親会でした。参加者の皆様、お疲れ様でした。

さて近年、ハードディスクの大容量化と低価格化によって巨大なデータ集合を分析する仕事が再び注目を集めています。データ分析の結果を使って現実世界の様々な仕事の意思決定に利用するのです。

統計分析を使って意思決定を行うという考えは昔から行われていました。しかし、分析するソースであるデータの大規模ぶりと言ったら想像を絶します。例えば企業や政府のデータ集合は、メガバイトやギガバイトではなく、テラバイト単位になっています。

そして、更にその上のペタバイト、つまり1000テラバイトという単位も最近は耳にするようになりました。テラの語源はギリシャ語。化け物を指す意味だそうですが、1000テラバイトはまさにデータの化け物ですね。

では、このようなデータを企業はどのように活用するのでしょうか？統計分析の手法の中に全く違った情報との間に相関を見出す方法があります。昔は、経験則や伝統的な専門家を当てにするしか方法が無かった判断が、データ分析を行うことで比較的容易に因果関係を調べることがでるのです。

例えば、レンタカー会社や保険会社はクレジット返済実績の低い人に対してサービスを拒否します。これは、返済実績の低い人が事故を起こしやすいという相関があるからです。

例えば、ウォルマートでの入社試験で「どんな会社にも一匹狼の居場所はある」という命題に「はい」と答えた人は採用されませんでした。ウォルマートが一匹狼向きだと思う人は職場になじまず、辞める傾向が高いのです。

ハリケーンがフロリダを襲う直前、先のウォルマートはハリケーンの進路の店に「ポップタルト」を大量に入荷させました。以前、ハリケーン被害を受けた地域の店舗売上の分析結果から、ハリケーン後にポップタルトに顧客が群がることを知っていたからです（ポップタルトは調理や冷凍が不要で食器無しで食べられる甘い食べ物です）。

上記の例はほんのわずかで、このような分析は企業内でも行なわれていますが、多くは外のデータウェアハウスに送信されデータを専門企業が分析しています。特に米国ではウォルマートやJCペニーをはじめとする世界的な小売業者の6割、航空会社の7割、銀行の4割が膨大なデータ分析を専門業者に委託していると言われます。

データ分析によって企業は圧倒的に有利な立場に立てるようになっているのです。