談大數(shù)據(jù)的機會與挑戰(zhàn)—為什么我們很難像《魔球》一樣點石成金

我們活在大數(shù)據(jù)的世界，數(shù)據(jù)的數(shù)量與多樣化的程度，每日都以前所未有的規(guī)模撲向人類。無論你是不是在相關(guān)產(chǎn)業(yè)工作，都不可能逃離被大數(shù)據(jù)「圍攻」的現(xiàn)實。自哈佛大學(xué)電腦科學(xué)系畢業(yè)、Cambridge Semantics 共同創(chuàng)辦人 Lee Feigenbaum 撰寫的〈Turnning Big Data into Smart Data〉一文，告訴我們橫亙企業(yè)眼前的「大數(shù)據(jù)挑戰(zhàn)」。讓我們先來看看，大數(shù)據(jù)到底有多大?

每天全球每一個人聚沙成塔，累積的新數(shù)據(jù)達(dá)到「艾位元組(exabytes)」(甚至達(dá)到「皆位元組(zettabytes)」，端賴統(tǒng)計的來源)。

至今一半以上(有些報告甚至指出高達(dá) 90%)的數(shù)據(jù)資料是在過去 12 個月產(chǎn)生的。

人們創(chuàng)造數(shù)據(jù)的速度每一個月都以雙倍速度成長。

除了嚇人以外，光有這些「大數(shù)據(jù)」，其實沒有什么意義，唯有人類能夠從中發(fā)掘價值，大數(shù)據(jù)才產(chǎn)生意義。所幸，已有很多應(yīng)用實例，讓大數(shù)據(jù)發(fā)出應(yīng)有的光芒，也讓我們看到各行各業(yè)有無窮盡的機會，等待數(shù)據(jù)科學(xué)家的探勘。

在「大數(shù)據(jù)」還沒變成人人瑯瑯上口的流行詞匯之前，小說改變而成的電影《魔球》描述美國大聯(lián)盟運動家隊點石成金在缺乏明星球員的狀況下殺出血路的真實故事，早已讓人津津樂道，而它正是數(shù)據(jù)分析的絕佳體現(xiàn)。

醫(yī)療與制藥產(chǎn)業(yè)紛紛投入大筆經(jīng)費，研發(fā)「客制化」的個人醫(yī)學(xué)，透過分析病人的特徵與基因組成，給予個別病人量身定做的診斷與療法，實驗室與臨床都需要大量且多樣化的數(shù)據(jù)整合。

智能手機、運動手環(huán)甚至後來的智慧型手表，我們分分秒秒都在「量化自我」，健身的程度、攝取的營養(yǎng)、身心狀況、行為趨向全部都被巨細(xì)靡遺的記錄下來。

大型銀行與隸屬政府的金融部門對資料長(chief data officer，CDO)與數(shù)據(jù)科學(xué)家需求若渴，他們要能全盤考量組織職能，針對數(shù)據(jù)的蒐集、分析與應(yīng)用做出策略性的思維。

無論地方政府或中央政府，都正流行「資料透明化」，如英美政府皆建立網(wǎng)站揭示公開資料。人們自發(fā)性要求政府公布更多資料的行動也如火如荼，例如美國的 DATA Act。

大數(shù)據(jù)在美國總統(tǒng)大選中扮演了很關(guān)鍵的角色，幫助候選人清晰的辨識出搖擺不定的選民。

Target、Walmart 等零售商巨擘已經(jīng)透徹分析顧客的資料好幾年，早就能夠在家人與朋友察覺之前，搶先一步知道某個消費者懷孕的消息。

智能恒溫器 Nest Thermostat、智能監(jiān)控 Quirky、利用使用者 GPS 「群眾外包」塞車情況的 Waze，都是基於數(shù)據(jù)蒐集與預(yù)測成就物聯(lián)網(wǎng)生活的新創(chuàng)公司，他們都已獲得 GE、Google 等大企業(yè)投入鉅資甚至并購，企盼能從大數(shù)據(jù)中挖掘巨量價值。

盡管有這么多成功的案例，對很多企業(yè)來說，大數(shù)據(jù)仍像一座無法翻越的山嶺，難以將數(shù)據(jù)完美的融入決策過程。通常公司在運用大數(shù)據(jù)時，會遇到下列五個挑戰(zhàn)：

挑戰(zhàn) 1：我們不知道答案，甚至連問題是什么都很模糊

大數(shù)據(jù)時代的其中一個關(guān)鍵特徵是，我們很難知道我們需要的答案，有時甚至連想要解決的問題都很模糊。有一部分原因是，大數(shù)據(jù)的價值在於模式(pattern)與相關(guān)性(relationship)，但這些過去隱藏在大量資料中的模式與相關(guān)性，經(jīng)常都是意外發(fā)現(xiàn)的。我們不能期待專家為每一行資料都特制 MapReduce(Google 提出的軟體架構(gòu)，用於大規(guī)模數(shù)據(jù)的并行運算)，其他大數(shù)據(jù)分析框架也一樣有很高的進(jìn)入壁壘，阻礙簡單的資料探索與分析。

擁有深度分析、數(shù)學(xué)、統(tǒng)計與程式技能的數(shù)據(jù)科學(xué)家，無疑是現(xiàn)階段最炙手可熱的人才，不過人才養(yǎng)成的速度遠(yuǎn)遠(yuǎn)不及市場需求。

挑戰(zhàn) 2：非結(jié)構(gòu)化的數(shù)據(jù)難以采集

就現(xiàn)實面來說，大數(shù)據(jù)其實就等於「非結(jié)構(gòu)化」的數(shù)據(jù)，也就是從文本分析到未經(jīng)梳理的文字、聲音與影片導(dǎo)出的數(shù)據(jù)。這些文本分析景觀，有著幾乎堆積成山的問題，讓我們難以利用非結(jié)構(gòu)化的數(shù)據(jù)幫助日常的企業(yè)營運決策。這些問題包括：

不同的內(nèi)容需要運用不同的工具：客戶回響與產(chǎn)業(yè)分析各有不同的語言分析工具，如果使用一般的分析軟體，可能就會犧牲精準(zhǔn)度。

不同的時機需要運用不同的文本分析技術(shù)：自文本中萃取企業(yè)內(nèi)部資訊，跟分析社群媒體情緒波動是完全不同的挑戰(zhàn)。

文本分析的結(jié)果不可預(yù)測：挖掘大量網(wǎng)頁、電子信箱中的信件、以及其他文件，通常能夠顯示過去未知的關(guān)聯(lián)性。只是，即使大數(shù)據(jù)的貯存，讓我們能夠更便利的捕捉難以控制的數(shù)據(jù)，不過後續(xù)的分析，光有大數(shù)據(jù)的存在是沒有多少幫助的。

挑戰(zhàn) 3：大數(shù)據(jù)難以重復(fù)利用

一般而言，數(shù)據(jù)的搜集、貯存、使用，都是針對單一目的，像是投資銀行搜集 10-K 文件(美國上市公司年度報表)，協(xié)助買方從事權(quán)益分析，生技公司在資料庫中儲存臨床實驗的結(jié)果，向 FDA(美國食品藥品監(jiān)督管理局)提交報告，電商從制造商擷取庫存滋料庫，與他們自己的網(wǎng)站內(nèi)容管理系統(tǒng)整合在一起。這些數(shù)據(jù)既然只為特定目的服務(wù)，自然很難再被利用到其他使用情境上。因此，風(fēng)險管理人員無法從 10-K 文件的分析獲取與自己職務(wù)相關(guān)的資訊，生技公司的資深科學(xué)家沒辦法自臨床數(shù)據(jù)滋料庫預(yù)測早期藥物的成功機率，電商從業(yè)者也沒辦法重復(fù)利用庫存資料庫，辨識不同商品的戰(zhàn)略性差距。

挑戰(zhàn) 4：大數(shù)據(jù)只是故事的一小部分

從前幾項挑戰(zhàn)看下來，想要促成一家真正由數(shù)據(jù)驅(qū)動、且由數(shù)據(jù)決策的公司，光有大數(shù)據(jù)是遠(yuǎn)遠(yuǎn)不足的。大數(shù)據(jù)得跟傳統(tǒng)的企業(yè)資料來源(如交易與營運資料庫或 ERP 儲存系統(tǒng))，或者云端 SaaS 應(yīng)用(如 Salesforce 的 CRM 資料)、無數(shù)的影子 IT(shadow IT)數(shù)據(jù)來源(包括試算表、簡報、文件、SharePoint)，整合的工作極端昂貴而且曠日費時，但是如果不做，那也甭想利用大數(shù)據(jù)解決企業(yè)的問題了。

挑戰(zhàn) 5：大數(shù)據(jù)的「準(zhǔn)備」階段成本極高

大數(shù)據(jù)時代的普遍心態(tài)與工具，總是鼓舞著我們蒐集愈多數(shù)據(jù)愈好。不過數(shù)據(jù)要有價值，在準(zhǔn)備的階段就需考量整合、散布與利用。大數(shù)據(jù)的「準(zhǔn)備」可能代表三種情況：

發(fā)現(xiàn)：在大量的數(shù)據(jù)儲存中辨識正確的數(shù)據(jù)記錄

去蕪存菁：評估與改善數(shù)據(jù)的品質(zhì)、可靠度與精確度

組合(alignment)：將數(shù)據(jù)概要與個人記錄以常態(tài)的模式聯(lián)系起來，以利整合與分析。

普遍來說，數(shù)據(jù)的準(zhǔn)備，幾乎完全是純手工作業(yè)，因此非常冗長乏味，消耗很多時間，而且還很容易出錯。