GTM-MML4VXJ
Skip to main content

English

Japan

  1. ホーム >
  2. コラム >
  3. オピニオン >
  4. ビッグデータと「汚い」処理

ビッグデータと「汚い」処理

2012年8月16日(木曜日)

本稿を書くに当たって色々と考えたり調べたりしたが、他に適切な表現が思いつかなかったので、敢えて「汚い」という言葉を使うことにする。

1.予測システムのジレンマ

予測システムというのは概ね10年サイクルくらいで循環的なブームが出てくるので、近々また新しい提案やソリューションが出てくるかもしれないが、予測システムを揶揄する表現に「予測システムというのは、そのシステムを作った瞬間が一番よく当たり、後はどんどん外れていく」というものがある。

筆者も一時期、予測モデルの開発やシステム構築に精励した時期があるが、ある日、予測の虚しさに気がつき、ビジネスの方向転換をした。その理由は一言でいえば、「当たらないから」だ。しかし、それは、技術や私の力量に悲観したからというわけではなく、予測が当たらない理由は予測環境がどんどん変わっていくことにあり、さらに予測を求める側が予測環境を自ら崩していくということを確信したからである。

簡単に言えば、売れれば売れたなりの、売れなければ売れないなりの、前例踏襲型のビジネスをしていれば予測はよく当たるが、商売というのはそもそも売れればもっと売ろう、売れなければ売り方を変えようと創意工夫するものであり、創意工夫すればするほど予測は当たらなくなるということになるわけだ。

生きたビジネスでは、今のその先を創り出して行く「目論み」や「施策」がダイナミズムの本質なのだが、それらは予測や統計処理では往々にしてバイアスやノイズ、つまりは「汚い」ものとして扱われる。さらに言えば、予測や統計に限らず、現在のシステムというのは、こうしたダイナミズムを反映しにくい構造になっている。統計処理では除去される汚いパラメータが実は「今」を捉えるキーパラメータであるかもしれないわけである。

2.構造化の限界

最近SNS分析などの流行で非構造化データに注目が当たって、「これからはVARIETY(=恐らく非構造化データ)の時代だ」とういうような記事をよく目にする。それはそれで重要なことだが、これから先の事を考える上で、そもそも構造化とは何かということに立ち戻って確認することも大事ではないかと考えている。

データの構造化というのは、システム化される範囲全体に関して、それらの構成要素を正規的にデータ系に表現し直して、さらにそれらの関係を定義するということである。そしてその目的は、開発・運用するシステムの機能・コスト・パフォーマンスの必要十分性を担保したり、品質や保守性を保証するためにある。これはシステム開発者にとっては“イロハ”の“イ”で、「何を今さら」と言われそうだが、もしそうであれば、これを裏返せば、今あるデータ構造は今開発している(あるいは稼動している)システムに対応するものであって、それ以上でもそれ以下でもない、ということになる。そして、構造化されなかった要素はすべて非構造側に存在しているということになる。

完成カットオーバー直後のシステムは芸術的に美しいまでのデータ構造であったのに、使い込まれて年を経たシステムは現実の様々なイシューに対応するために汚らしく非構造的な姿に変遷してしまう状況。

同業のA社とB社が合併する際に必ず発生するシステム統合でも、両社のデータ構造を併せ持つスーパーセットを構築するというのは言うほど簡単なことではなく、普通は汚らしさを許容して対処する。実は、構造化というのは、このように状況の変化に弱いものなのである。商品分類コードなどというのも、経理品番や原価品番はともかくとして、マーチャンダイジングなどでは年を経るごとに使いにくくなっていくのは、そのような理由によるのだ。そういう意味で、非構造化データというのは、SNSのような新しいデータにとどまらず、構造化では維持できない「汚い」が、しかし重要な現実を表すデータであると理解した方が可能性を正しく見積もれるのではないかと考えている。

3.自由度の高いコトやモノ

コトやモノの品質を高めたり管理レベルを向上させるためには、標準化や単純化という手法がよくとられる。これらはコトやモノの自由度を制限して、より安定レベルを高める手法である。空手の型やゴルフのフォームも上達のコツは身体の自由度を制限して瞬発力や安定度を高めることと聞く。いわゆる管理可能状態にするということだ。

管理可能な状態を計画し、実行させ、評価し、必要な調整を加える、というPDCAは1つの理想形ではあるが、すべての状況でそうした管理可能状態を作れるわけではない。

フィジカルなオペレーションでも、例えば物流(輸送)は管理可能状態を作り出すのは難しく、天候や道路の状況、運転者の状況、納品先の状況などによって生産性は変わってくる。

今、ビッグデータの処理で注目されている主要な領域は、人の動き、人の意見、車の動きがその代表だが、これらはいずれも自由度が高く、汚い動き方をして、そう簡単に管理可能状態に置けないものばかりである。そして、その先にあるソリューションは管理、制御といった方法ではなく、誘導・調整・即応といった方法が求められる。

4.「汚い」という事が価値を生む

「汚い」処理というのが、これからのITの活用において重要であるということを述べてきたつもりだが、「それでどんな価値を生み出すのか?」「経営の効果は?」と問われるかもしれない。そこで、最後に、「汚い」という事が価値を生む、いくつかの状況証拠を提示する。

  • 株式市場、株価の動きというのは極めて汚い動きをする。この汚い動きこそが株式市場というマーケットの本質である。
  • 携帯電話の契約オプションやキャンペーンはよく変わるが、こうした変化が顧客開拓や固定化の重要な戦略である。そして、その結果、個人別に異なる契約条件や料金計算を行うシステムはどんどん汚くなる。
  • コンビニの商品は頻繁に変わる。単に単品の入れ替えだけではなく、カテゴリ単位の拡縮が行われる。その結果、売り場の活性化とテンポラリーな最適化が図られる。しかし、これを維持するためには汚いマーチャンダイジング体系を維持しなければならない。

我々は往々にして、堅牢な基幹システムというのは融通が利かないのが必然だという錯覚に陥ってしまいがちだが、事業にとってクリティカルなシステムであればあるほど、経営の新たな判断への即応や環境変化への即応といった“しなやかさ”が求められているのである。そして、「汚い処理」は、その“しなやかさ”を獲得するための有力なアプローチだろう。

関連オピニオン

「システム間インターフェース技術としてのデータマイニング」

関連サービス

【研究開発】
最先端の数理科学とITを活用して、複雑化・多様化する経営課題に新たな解決手法を提供します。数値により経営課題を「見える化」することで、意思決定の合理的な支援が可能になります。また、技術に立脚した経営戦略や事業戦略の立案・推進のための支援をします。


渡辺事業部長顔写真

渡辺 南(わたなべ みなみ)
株式会社富士通総研 執行役員 第二コンサルティング本部長代理
【略歴】1979年 富士通入社。1988年富士通総研へ出向。
流通ビジネス分野コンサルタント、ビジネスサイエンス分野コンサルタントを経て現在に至る。
【著書】「差延の戦略」(共著 富士通ブックス 1995年)、「流通ネットワーキング革命」(共著 富士通ブックス 1996年)、「リレーション・プロセス・マネジメント」(共著 ダイヤモンド社 2000年)