關于大數(shù)據(jù):CIO需要知道的五件事

企業(yè)大數(shù)據(jù)分析始于谷歌、雅虎和Twitter等互聯(lián)網(wǎng)公司，與這些互聯(lián)網(wǎng)公司類似，傳統(tǒng)企業(yè)也迫切需要挖掘用戶數(shù)據(jù)的價值，提高企業(yè)的競爭力和決策質(zhì)量。以下是關于大數(shù)據(jù)CIO需要了解的五件事：

一、大數(shù)據(jù)的商業(yè)價值。

今天，大數(shù)據(jù)分析所需的數(shù)據(jù)源和數(shù)據(jù)已經(jīng)極大豐富并且在高速增長中，即使你是一家小企業(yè)，也可能會擁有大數(shù)據(jù)，一家小的對沖基金公司可能擁有數(shù)以TB計的數(shù)據(jù)，根據(jù)麥肯錫公司的一份報告，未來幾年，包括醫(yī)療、公共服務、零售和制造業(yè)的企業(yè)都將從大數(shù)據(jù)分析中受益。

Hortonworks的首席技術官Eric Baldeschwieler認為，大家一提到大數(shù)據(jù)部署就想到Hadoop，Hadoop方案確實適用于各種客戶：通過收集、分析交易數(shù)據(jù)，企業(yè)能更好地了解客戶的需求和傾向，同時也能優(yōu)化產(chǎn)品和服務創(chuàng)新，更快響應和處置緊急問題。

二、大數(shù)據(jù)的來源。

有些CIO會認為企業(yè)里的數(shù)據(jù)還不夠多，不足以構成大數(shù)據(jù)分析，其實數(shù)據(jù)就像海綿里的水，只要你愿意擠。Baldeschwieler認為很多時候大數(shù)據(jù)通常就是那些被丟棄到垃圾堆和回收站里的“垃圾”數(shù)據(jù)。

比方說，你的服務器日志就是很好的大數(shù)據(jù)分析素材。服務器記錄所有訪問你網(wǎng)站的訪客和他們的訪問行為。跟蹤分析這些數(shù)據(jù)你將知道客戶正在找什么，雖然日志數(shù)據(jù)分析不是什么新鮮事了，但其實分析的“粒度”還可以進一步精細到你之前無法想象的程度。

大數(shù)據(jù)的另一個重要來源是傳感器，業(yè)界分析師已經(jīng)鼓吹了多年的物聯(lián)網(wǎng)，其實物聯(lián)網(wǎng)說白了就是通過傳感器把物理世界給數(shù)字化了，接入互聯(lián)網(wǎng)的大量傳感器將產(chǎn)生持續(xù)的大數(shù)據(jù)流，智能交通、智能電網(wǎng)甚至智能家電都將是大數(shù)據(jù)源，分析這些數(shù)據(jù)能大大提升相關企業(yè)的運營效率和決策質(zhì)量。

三、大數(shù)據(jù)需要新型人才。

根據(jù)Forrester Research的分析師James Kobielus認為：當部署完大數(shù)據(jù)分析系統(tǒng)后，企業(yè)接下來面對的最大挑戰(zhàn)就是找到合適的人才使用這個系統(tǒng)分析數(shù)據(jù)。大數(shù)據(jù)非常依賴數(shù)據(jù)建模，企業(yè)需要補充各種類型的“數(shù)據(jù)科學家”，例如統(tǒng)計模型師、文本挖掘專家以及語義分析領域的專家。這些數(shù)據(jù)科學家需要具備的新技能與過去的商業(yè)智能專家的技能還有所不同。

大數(shù)據(jù)人才目前嚴重短缺，根據(jù)麥肯錫的報告，到2018年，美國市場還將短缺14-19萬名高級數(shù)據(jù)分析人才，以及150萬懂得使用大數(shù)據(jù)分析進行決策的經(jīng)理人和分析師。

CIO需要具備的另外一個大數(shù)據(jù)技能是整合大量硬件來存儲和分析數(shù)據(jù)，你可能還需要從當?shù)卮髮W或者研究機構招聘一些超級計算機管理員。

四、大數(shù)據(jù)無需事先規(guī)劃。

那些習慣縝密規(guī)劃企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)（EDW）的CIO看到這里應該松口氣，大數(shù)據(jù)的優(yōu)勢就是可以先收集，再考慮如何分析。

在數(shù)據(jù)倉庫中，你必須在導入數(shù)據(jù)前先制定好數(shù)據(jù)架構。這意味著在導入數(shù)據(jù)前你必須知道你要什么，因為你在壓縮數(shù)據(jù)的時候也會損失粒度，而且如果你改變主意了，或者想進行歷史分析，這些數(shù)據(jù)架構就成了你給自己設置的障礙。

而大數(shù)據(jù)的存儲庫可以看做是一個大的垃圾場，你可以先把各種數(shù)據(jù)一窩蜂堆進去，然后再進行分析，很多企業(yè)在大數(shù)據(jù)分析之前都不是很清楚他們能發(fā)現(xiàn)什么，因此大數(shù)據(jù)在數(shù)據(jù)導入上的自由對于企業(yè)應用而言有著非同一般的意義。

五、大數(shù)據(jù)不僅僅是Hadoop。

人們一說到大數(shù)據(jù)，就會提到Hadoop數(shù)據(jù)分析平臺，Hadoop確實炙手可熱，很多企業(yè)都在Hadoop方案上投入資金和人力，但實際上你還有其他軟件選擇。

法務研究機構巨頭LexusNexus最近就無私地開源了其分析平臺——HPCC系統(tǒng)。MarkLogic也公開了其非結構化數(shù)據(jù)庫MarkLogic Server，可用于大數(shù)據(jù)分析。此外，Splunk的搜索引擎也在獲得關注，可以用于搜索和分析機器數(shù)據(jù)，例如服務器日志。無論你希望從日志中提取何種數(shù)據(jù)，Splunk都很有可能幫上忙。