大數(shù)據(jù)已死—但大數(shù)據(jù)亦將長(zhǎng)存

在不久的將來(lái)，我們將迎來(lái)大量集合了分布式處理、機(jī)器學(xué)習(xí)以及分析等當(dāng)下各項(xiàng)熱門(mén)定制化解決方案的“預(yù)打包”式應(yīng)用程序。

在過(guò)去的幾年當(dāng)中，我們一直在積極討論大數(shù)據(jù)，而這一切的推動(dòng)要素正是當(dāng)初的Hadoop與現(xiàn)下的Spark。下一輪熱點(diǎn)將圍繞著將機(jī)器學(xué)習(xí)引入大數(shù)據(jù)展開(kāi)，但如果不繼續(xù)使用上述熱門(mén)詞匯、我們?nèi)匀缓茈y讓人們接受AI與分析技術(shù)方案。

事實(shí)上，大數(shù)據(jù)時(shí)代目前正迅速走向其生命周期的終點(diǎn)。大家可能已經(jīng)發(fā)現(xiàn)，各大媒體關(guān)于大數(shù)據(jù)技術(shù)的相關(guān)報(bào)道正不斷減少——在我看來(lái)，這意味著Gartner著名的炒作周期已經(jīng)由此走向低價(jià)甚至幻滅。

時(shí)至今日，大數(shù)據(jù)概念已經(jīng)步入“終結(jié)”的轉(zhuǎn)折點(diǎn)，但這項(xiàng)技術(shù)的實(shí)際應(yīng)用卻將由此開(kāi)始興起。

對(duì)于整個(gè)業(yè)界而言，這意味著“讓我們先推出相關(guān)平臺(tái)，再觀察其實(shí)際效果”類項(xiàng)目將越來(lái)越少。決策制定者們將采取更為合理的方案并以實(shí)際業(yè)務(wù)問(wèn)題作為切入點(diǎn)——這顯然更符合科學(xué)實(shí)施思維。換言之，即使是平臺(tái)供應(yīng)商自身也開(kāi)始更多地著眼于“解決方案”。

針對(duì)特定問(wèn)題的標(biāo)準(zhǔn)化解決方案

接下來(lái)的另一項(xiàng)重要步驟在于分析問(wèn)題、找出模式并創(chuàng)建能夠切實(shí)解決這些問(wèn)題的打包解決方案。

我們已經(jīng)親眼見(jiàn)證金融業(yè)界的不少企業(yè)對(duì)各類分布式欺詐檢測(cè)方案進(jìn)行打包并加以運(yùn)用。欺詐檢測(cè)軟件并不算什么新鮮事物，但將其分布至Hadoop以及 /或者云規(guī)模之下卻是種前所未見(jiàn)的新思路。當(dāng)然，盡管金融行業(yè)的行動(dòng)速度很快，但欺詐活動(dòng)的組織者同樣在與時(shí)俱進(jìn)。多年以來(lái)，金融業(yè)界一直無(wú)法真正追及惡意活動(dòng)者們的發(fā)展節(jié)奏。但現(xiàn)在，他們有了發(fā)起反擊的必要武器，而Hadoop、Spark以及其它現(xiàn)代化工具將成為其軍火庫(kù)中最值得信賴的新儲(chǔ)備。

單純采用下一代技術(shù)方案還不足以讓定制化解決方案擁有應(yīng)對(duì)一切的能力。面向信用卡的欺詐檢測(cè)機(jī)制與其它發(fā)票開(kāi)具、保險(xiǎn)乃至各類常見(jiàn)商業(yè)應(yīng)用其實(shí)并無(wú)本質(zhì)區(qū)別。下一波浪潮的核心并不是針對(duì)特定業(yè)界編寫(xiě)出專用性極高的應(yīng)用程序，而是思考如何利用“分布式大數(shù)據(jù)模式”解決跨多種現(xiàn)有業(yè)務(wù)線的各類常見(jiàn)問(wèn)題。

當(dāng)然，構(gòu)建一套定制化解決方案以幫助每一位使用者以不同方式解決類似問(wèn)題的作法仍將持續(xù)相當(dāng)長(zhǎng)的一段時(shí)間。不過(guò)未來(lái)我們需要逐步找尋具備共性的開(kāi)發(fā)模式，并將其推廣至各個(gè)業(yè)務(wù)線當(dāng)中——具體而言，以規(guī)?；植挤绞竭\(yùn)用這項(xiàng)新技術(shù)，將其拓展至能夠帶來(lái)經(jīng)濟(jì)優(yōu)勢(shì)的規(guī)模并在排除盲點(diǎn)之后加以部署。最終，我們將成功實(shí)現(xiàn)定制化調(diào)整，使用正確的表述并加入必要調(diào)整，但同時(shí)又要保證軟件當(dāng)中的接入算法不需要在面臨不同具體問(wèn)題時(shí)進(jìn)行反復(fù)重寫(xiě)——這才是大數(shù)據(jù)技術(shù)的終極實(shí)現(xiàn)目標(biāo)。

我們此前已經(jīng)經(jīng)歷過(guò)類似的狀況。幾十年前，財(cái)會(huì)軟件就曾經(jīng)是一類熱門(mén)話題。雖然大家仍然會(huì)偶爾接觸到特定業(yè)務(wù)領(lǐng)域的專用性財(cái)會(huì)軟件，但多數(shù)大型企業(yè)都在使用打包式解決方案，其中只有特定部分進(jìn)行定制或者利用插件解決不同行業(yè)內(nèi)的特定需求。經(jīng)驗(yàn)豐富的CIO及CTO很少為特定某套業(yè)務(wù)線編寫(xiě)專用的財(cái)會(huì)工具包，并將其適用范疇限定在單一企業(yè)當(dāng)中。他們更傾向于購(gòu)買現(xiàn)成產(chǎn)品，即使可選方案的種類并不是非常豐富。

下一次巨大飛躍將表現(xiàn)為“數(shù)據(jù)驅(qū)動(dòng)”形式，并將“機(jī)器學(xué)習(xí)”技術(shù)引入到一系列軟件包的購(gòu)買及獨(dú)立功能集成當(dāng)中。從后端角度出發(fā)，整個(gè)流程也許將由大數(shù)據(jù)驅(qū)動(dòng)，但“大數(shù)據(jù)”本身就像是以太網(wǎng)卡：它將成為一個(gè)前提性、但卻不再熱門(mén)的常規(guī)性技術(shù)議題。