大數(shù)據(jù)能干啥

這兩年大數(shù)據(jù)這個詞特別火，傳統(tǒng)企業(yè)IT部門都紛紛在探索上線大數(shù)據(jù)。當然，過去的十年，傳統(tǒng)企業(yè)IT部門也都紛紛上線了商業(yè)智能。

很多處于云里霧里的傳統(tǒng)企業(yè)IT人員，心中第一個困惑就是：大數(shù)據(jù)和商業(yè)智能有啥本質(zhì)區(qū)別。

一、大數(shù)據(jù)和商業(yè)智能有啥本質(zhì)區(qū)別

我先拋開數(shù)據(jù)、拋開業(yè)務(wù)應(yīng)用，就說大數(shù)據(jù)技術(shù)平臺和商業(yè)智能技術(shù)平臺的本質(zhì)區(qū)別，那就是技術(shù)架構(gòu)的升級。如果你發(fā)現(xiàn)你運行一個報表需要3-5天，而且不管升級單臺服務(wù)器硬件，還是擴展服務(wù)器集群，性能提升并不明顯，那說明，技術(shù)架構(gòu)不能支撐現(xiàn)有需求了，需要升級技術(shù)架構(gòu)了。那說明你需要考慮上馬大數(shù)據(jù)技術(shù)平臺了。

二、大數(shù)據(jù)為啥這幾年火了

大數(shù)據(jù)為啥這幾年火了，有兩方面驅(qū)動，一方面是數(shù)據(jù)量，一方面是數(shù)據(jù)類型。

從數(shù)據(jù)量來說，因為移動手機人手一部隨時隨地產(chǎn)生信息，智能設(shè)備&物聯(lián)網(wǎng)、產(chǎn)業(yè)鏈打通、互聯(lián)網(wǎng)社區(qū)、電子商務(wù)這些新技術(shù)新應(yīng)用的產(chǎn)生，導(dǎo)致數(shù)據(jù)量激增。如果企業(yè)沒有搞這些新技術(shù)新應(yīng)用，那數(shù)據(jù)量只是隨企業(yè)業(yè)務(wù)規(guī)模增大而增大。

從數(shù)據(jù)類型來說，過去企業(yè)一般只關(guān)注應(yīng)用系統(tǒng)產(chǎn)生的關(guān)系型數(shù)據(jù)，或者是EXCEL產(chǎn)生的結(jié)構(gòu)性數(shù)據(jù)。但是隨著智能硬件、互聯(lián)網(wǎng)社區(qū)的產(chǎn)生，非結(jié)構(gòu)性信息更多，如照片、視頻、音頻、日志、聊天記錄、地理信息...。過去我們不關(guān)注這些信息，但是隨著我們應(yīng)用的需求，如生物識別、聲音識別、圖像識別、視頻識別、用戶地理周邊價值挖掘、社交信息價值挖掘，我們需要收集這些信息，也需要分析這些信息。而過去專注結(jié)構(gòu)性數(shù)據(jù)的商業(yè)智能技術(shù)平臺顯然就不適合來高性能處理這些非結(jié)構(gòu)化信息。如果企業(yè)沒有收集和處理這些非結(jié)構(gòu)化信息的需求，當然也不存在真正的大數(shù)據(jù)技術(shù)平臺購買需求。

三、大數(shù)據(jù)能干啥

大數(shù)據(jù)技術(shù)平臺這幾年發(fā)展飛速，從Hadoop的海量批處理作業(yè)，Spark又往前走了一步可以更多的利用內(nèi)存來計算，而Storm更進一步可以數(shù)據(jù)邊導(dǎo)過來邊處理。這就讓大數(shù)據(jù)的計算性能、處理性能高很多，不需要我們再等待幾天來看結(jié)果了。這樣就能滿足咱們實時的應(yīng)用需求，比如說搜索關(guān)聯(lián)推薦想通過用戶上下文的點擊大數(shù)據(jù)來實時推薦，過去無法滿足，現(xiàn)在可以了。這比過去商業(yè)智能OLAP離線數(shù)據(jù)處理要高很多。

但是，大數(shù)據(jù)應(yīng)用技術(shù)這么多年并無長足進步。我們的大數(shù)據(jù)技術(shù)平臺只是讓更大量的數(shù)據(jù)可以高性能的存儲和計算了，但如何高價值利用數(shù)據(jù)，我們目前的應(yīng)用技術(shù)還不支撐。

大數(shù)據(jù)利用，目前還主要停留在報表查詢與統(tǒng)計，只不過這么多數(shù)據(jù)、這么不同類型的數(shù)據(jù)，處理性能更高。但是要注意，需要你自己對業(yè)務(wù)很精通很洞察，你才能設(shè)計出有高價值含量的報表，大數(shù)據(jù)技術(shù)平臺只是把數(shù)據(jù)給你按你的要求輸出出來，還得你自己分析數(shù)據(jù)到底有啥價值。所以說啊，你現(xiàn)在購買一套大數(shù)據(jù)平臺，你最后干的事還是做報表、分析報表。

再往前走一步，現(xiàn)在利用最多的就是搜索關(guān)聯(lián)推薦，這就有點人工智能的意味了，至少相關(guān)性算法是要利用上了。如果你沒啥需要關(guān)聯(lián)性信息展示的，那有這個功能你也是白浪費。

現(xiàn)在大數(shù)據(jù)應(yīng)用技術(shù)熱點，今年都扎在了深度學(xué)習(xí)方面，主要在分類、聚類、回歸這些算法上。這些算法在商業(yè)智能時代就有了，但是沒有360度海量數(shù)據(jù)來訓(xùn)練算法、調(diào)整參數(shù)，算法的演進在過去并不快。現(xiàn)在有了移動&智能硬件&物聯(lián)網(wǎng)、產(chǎn)業(yè)鏈信息打通、互聯(lián)網(wǎng)社區(qū)和電子商務(wù)，360度的海量數(shù)據(jù)有了，數(shù)據(jù)豐富了，算法訓(xùn)練就進化快多了。而且現(xiàn)在分布式存儲和計算中間件平臺的興起，為海量數(shù)據(jù)的高速存儲和計算提供了很好的基礎(chǔ)支撐，可以高性能運行起來了，所以近幾年在深度學(xué)習(xí)的精準度方面進展不錯。

大數(shù)據(jù)應(yīng)用技術(shù)，目前在世界最前沿搞的是模式識別，就是沒有模式，機器從從海量數(shù)據(jù)中24小時不停歇計算，根據(jù)初始算法模型不斷進行數(shù)據(jù)訓(xùn)練，自動調(diào)節(jié)參數(shù)，再繼續(xù)往前演進，這樣慢慢會自己形成最佳模式甚至?xí)苌鲎儺惸Ｊ?。這就真正智能化了?？上?，這種機器學(xué)習(xí)模式識別，目前還無法普及性商用，只能在某些特定領(lǐng)域特定訓(xùn)練。

四、傳統(tǒng)企業(yè)是否要購買大數(shù)據(jù)平臺

如果你滿意現(xiàn)在的商業(yè)智能處理性能、成本，那么你不需要上馬大數(shù)據(jù)平臺。因為那表示你的數(shù)據(jù)量并不大，現(xiàn)有商業(yè)智能技術(shù)平臺能夠支撐。

如果你過去就沒做過商業(yè)智能項目，那么現(xiàn)在上馬大數(shù)據(jù)平臺，我個人覺得無所謂，可以上可以不上，但即使是上，過去搞商業(yè)智能的步驟，該弄的還得弄，一步也少不了。而且你仍然別指望數(shù)據(jù)輸出、知識黃金輸出。別做春秋大夢，該設(shè)計業(yè)務(wù)報表、該分析解讀業(yè)務(wù)報表，還得搞。大數(shù)據(jù)技術(shù)平臺只是讓更多的數(shù)據(jù)可以高性能存儲和計算而已。