大數(shù)據(jù)，為什么不是傳統(tǒng)BI的簡單升級

大數(shù)據(jù)，為什么不是傳統(tǒng)BI的簡單升級？

大數(shù)據(jù)(Big Data)，指在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產。

不管定義如何不同，大數(shù)據(jù)與傳統(tǒng)BI是社會發(fā)展到不同階段的產物，大數(shù)據(jù)對于傳統(tǒng)BI，既有繼承，也有發(fā)展，從”道”的角度講，BI與大數(shù)據(jù)區(qū)別在于前者更傾向于決策，對事實描述更多是基于群體共性，幫助決策者掌握宏觀統(tǒng)計趨勢，適合經營運營指標支撐類問題，大數(shù)據(jù)則內涵更廣，傾向于刻畫個體，更多的在于個性化的決策。

基于這個特點，大數(shù)據(jù)很容易在生產中形成基于個體的評估和閉環(huán)反饋網絡，BI則由于偏向宏觀而難以在生產中貫徹執(zhí)行從而產生實際價值，因此，當前的大量的新數(shù)據(jù)應用領域，實際BI是沒有覆蓋的，比如RTB廣告、智能制造、個性醫(yī)療等等。

當然純粹從思想的角度講，兩者在概念上是可以實現(xiàn)統(tǒng)一的，都遵循數(shù)據(jù)-信息-知識-智慧這個脈絡，甚至在更高的層次，兩者也是可以統(tǒng)一的，比如這個定義：“世界上萬事萬物都在被數(shù)據(jù)化，形成一個與現(xiàn)實世界相關聯(lián)的數(shù)據(jù)世界，人類可以利用數(shù)據(jù)化的方式，應對和解決生存和發(fā)展問題?！?/span>

因此很多人說BI跟大數(shù)據(jù)沒區(qū)別，的確是這樣，沒必要抬高大數(shù)據(jù)，但由此認為兩者價值也差不多，那也有問題，它忽略了”術”的不同，由此造成應用的巨大差別。

舉個例子：神經網絡理論幾十年前就有，為啥直到現(xiàn)在才有深度學習突破性的進展，關鍵是其”術”的能力提高了，一定程度講，大規(guī)模數(shù)據(jù)并行處理讓這個理論煥發(fā)了新生。

理念是一回事，付諸實踐是另一回事，因此，我們還是要從“術”的角度來闡述大數(shù)據(jù)與傳統(tǒng)BI的區(qū)別，事實上，傳統(tǒng)BI，由于其術的限制，已經達到了一定瓶頸。

傳統(tǒng)BI廠家喊了多少年的”幫助企業(yè)做出明智的業(yè)務經營決策”，現(xiàn)在除了一堆報表系統(tǒng)，搞了一些決策樹等統(tǒng)計算法，還剩下什么呢?傳統(tǒng)企業(yè)引入了那么多的BI咨詢，寫了那么多報告，真正發(fā)生過價值的有多少?BI已死也并非空穴來風。

如果搞BI的還在原有的地方轉圈圈，不去變革，除了空喊我也是大數(shù)據(jù)，沒有意義，因為數(shù)據(jù)價值最終還得看落地的能力。

大數(shù)據(jù)的4V特征大家都懂，大數(shù)據(jù)在量、維度、速度等方面相對于傳統(tǒng)BI的改變的確讓數(shù)據(jù)改造世界的能力發(fā)生了質的變化，那么，大數(shù)據(jù)的“術”于傳統(tǒng)BI到底有哪些變化？傳統(tǒng)企業(yè)需要做哪些改變呢？

1、超越BI，拓展新的業(yè)務邊界

大數(shù)據(jù)不是繡花枕頭，它的第一要務就是解決業(yè)務問題，大數(shù)據(jù)一定程度上講就是用全新的數(shù)據(jù)技術手段來拓展和優(yōu)化業(yè)務，傳統(tǒng)企業(yè)需要聚集一撥人來研究這個問題。

如果對外，想清楚新的商業(yè)模式，如果對內，想清楚在哪個場景，可以用大數(shù)據(jù)的手段來提升效率。

當前大數(shù)據(jù)可以產生價值的地方，從行業(yè)的角度看，互聯(lián)網、制造業(yè)、公共服務、醫(yī)療保健、金融服務都有廣闊前景。

從領域的角度看，廣告、營銷、風控、供應鏈都是大數(shù)據(jù)發(fā)揮價值的地方，對于特定企業(yè)，比如電信運營商，大數(shù)據(jù)也可以在網絡優(yōu)化等方面提供新的方法。

大數(shù)據(jù)應用場景是企業(yè)特別需要想清楚的地方，傳統(tǒng)BI失敗，一定程度講，是技術推動業(yè)務導致的倒掛現(xiàn)象所致，是高估傳統(tǒng)BI利用數(shù)據(jù)的能力所致，比如大量領域用傳統(tǒng)BI產生不了生產力，當然也少不了忽悠。

大數(shù)據(jù)也面臨這個重大問題，但應該看到，隨著大數(shù)據(jù)概念的普及，應用領域的大幅延伸，企業(yè)的管理和業(yè)務人員對于數(shù)據(jù)的認識有了很大的轉變，數(shù)據(jù)化的思維開始深入人心，對于大數(shù)據(jù)來說，是一個新的機會。

不業(yè)務，無大數(shù)據(jù)。

2、顛覆BI，打造大數(shù)據(jù)技術引擎

這是當前大數(shù)據(jù)領域最火的地方，很多企業(yè)紛紛在建設自己的大數(shù)據(jù)臺，不外乎解決以下問題，以下僅舉例。

比如用Hadoop、流處理等技術解決海量的結構化、非結構化數(shù)據(jù)的ETL問題，用Hadoop、MPP等技術計算海量數(shù)據(jù)的計算問題，用redis、HBASE等方式解決高效讀的問題，用Impala等技術實現(xiàn)在線分析等問題。

本質是基于廉價的機器，采用去中心化，分布式的方式去解決海量結構，非結構化數(shù)據(jù)的存儲、處理和讀寫的問題。

要理解這個，其實去讀懂Google的三篇論文就可以了，分別是關于Google File System、Google Bigtable及Google MapReduce的。

但并不是每個企業(yè)都需要打造自己的大數(shù)據(jù)平臺，量力而行吧，可以自研 ，比如BAT，也可以采購，比如傳統(tǒng)大企業(yè)，也可以租用，比如用阿里云和AWS。

在技術上，傳統(tǒng)BI的ETL、數(shù)據(jù)倉庫、OLAP、可視化報表技術，都處于淘汰的邊緣，因為它解決不了海量數(shù)據(jù)(包括結構化與非結構化)的處理問題，其所有的功能都可以被對應的大數(shù)據(jù)組件所替代，因此不再有發(fā)展前途，大多數(shù)企業(yè)即使沒有大數(shù)據(jù)業(yè)務的驅動，但大數(shù)據(jù)技術的成本優(yōu)勢在那里，不做大數(shù)據(jù)也倒逼你用大數(shù)據(jù)技術，是不?

當然傳統(tǒng)BI那套，也將長期存在，畢竟大數(shù)據(jù)的普及和應用是個漫長的過程，傳統(tǒng)企業(yè)對于大數(shù)據(jù)技術穩(wěn)定性的擔憂也是個障礙，但企業(yè)至少要末雨綢繆了，趨勢不可擋啊，大數(shù)據(jù)技術會越來越成熟。

我記得自己的企業(yè)1年前還在用DB2，僅一年的時間，GBASE就把它替換了。我們總是低估了技術革命對于我們自身的影響程度。

3、重塑BI，升級人員的知識結構

有了業(yè)務，也有了技術，再來看看人吧，很多企業(yè)在熱火朝天的建設大數(shù)據(jù)平臺，但建完之后，卻發(fā)現(xiàn)仍然是個報表系統(tǒng)，或者仍然是原來的BI，領導一看，會感嘆，不就是換了個馬甲啊，大數(shù)據(jù)有啥用?

很多企業(yè)，它可以有很多的預算購買很貴的機器和軟件，但對于引入人才和培養(yǎng)人才卻有點力不從心，買了1個億的大數(shù)據(jù)硬件和軟件，卻希望原來的BI班底就能帶來大數(shù)據(jù)應用的繁榮，那也是差強人意的事情，新品裝舊酒，原來班底能搞定公司的報表系統(tǒng)就已經很好了。

為什么傳統(tǒng)BI人員搞不定？

大數(shù)據(jù)需要有人專門研究和探索，傳統(tǒng)BI人員時間精力有限，此為其一，不是否定BI人員的能力，只是表達不要奢望BI人員既做個合格的報表哥，又是個大數(shù)據(jù)創(chuàng)新達人，企業(yè)要能做些取舍。

大數(shù)據(jù)的數(shù)據(jù)處理，涉及太多新的技術，傳統(tǒng)BI只要懂點SQL就可以活的很好了，但現(xiàn)在看看，不同的應用場景需要不同的大數(shù)據(jù)處理方法了，而且不再有人機交互那么好的客戶端了，至少要懂流處理、HADOOP、列式或分布式鍵值數(shù)據(jù)庫吧，大數(shù)據(jù)對于BI人員的技能要求其實大幅提高了,此其二。

大數(shù)據(jù)更強調全量了，原來的BI挖掘人員，搞一些樣本在單機上運行個R就很歡樂，但現(xiàn)在不行了，針對5000萬用戶搞個三度交往圈試試?傳統(tǒng)方式在BI時代大都嘗試過了，只有更新方法，才能帶來新的機會，比如，至少要求建模師會在SPARK上開發(fā)算法程序吧，對于用戶畫像、產品標簽化、推薦系統(tǒng)、排序算法都應有所理解，此其三。

人才是大數(shù)據(jù)的核心要素，沒有人的投入，不能奢望有啥產出，需要多點人才的引入和培養(yǎng)，少點大數(shù)據(jù)的心靈雞湯，大數(shù)據(jù)絕對不是大忽悠，如果有所懷疑，就問問你這個企業(yè)有多少人是在做大數(shù)據(jù)研究和實踐的。

因此，大數(shù)據(jù)相對于傳統(tǒng)BI，不是簡單的PLUS的關系，它涉及了思想、工具和人員深層次的變革，BI人員既不要一提大數(shù)據(jù)，就嗤之以鼻，認為它是新包裝的馬甲，其實就那么回事;也不需妄自菲薄，以為搞大數(shù)據(jù)就那么高大上，它的確是BI大多數(shù)思想的傳承，傳統(tǒng)BI對于數(shù)據(jù)的處理思想，都可以用于大數(shù)據(jù)。

順應大勢，更新自己，奮起直追，重裝上陣，是BI應有的態(tài)度。