大數(shù)據(jù)分析報(bào)告：大數(shù)據(jù)+機(jī)器學(xué)習(xí)將成為大部分企業(yè)的標(biāo)配

一、什么是大數(shù)據(jù)？

數(shù)據(jù)已經(jīng)被使用了十幾年了，比如它們總是被用于各種分析，所以為什么說(shuō)是「大數(shù)據(jù)」呢？主要是因?yàn)槲覀儸F(xiàn)在可用數(shù)據(jù)的數(shù)據(jù)量（Volume）、處理速度（Velocity）以及數(shù)據(jù)種類（Variety）。數(shù)據(jù)并不新，只是比之前大得多。

二、什么使得數(shù)據(jù)更大？

大部分傳統(tǒng)數(shù)據(jù)是結(jié)構(gòu)化的或整齊有序的數(shù)據(jù)集。而后，全球進(jìn)入了數(shù)字化，互聯(lián)網(wǎng)也隨之而來(lái)。我們所做的大部分事都能轉(zhuǎn)錄成 1 和 0 組成的字符串，進(jìn)行記錄、存儲(chǔ)、處理以及分析。

對(duì)大型企業(yè)機(jī)構(gòu)而言，數(shù)據(jù)存儲(chǔ)成本直線下降。企業(yè)如今有了選擇：要么把所有的數(shù)據(jù)存儲(chǔ)到遠(yuǎn)程數(shù)據(jù)中心，要么轉(zhuǎn)包給基于云的數(shù)據(jù)存儲(chǔ)提供商。

如今，全球每天創(chuàng)造 2.5 個(gè)五萬(wàn)億字節(jié)（IBM，「什么是大數(shù)據(jù)？」）。當(dāng)然，這些數(shù)據(jù)并不是都與商業(yè)有關(guān)，但數(shù)字之后的信息表明公司可用的數(shù)據(jù)規(guī)模一直在增長(zhǎng)。不可否認(rèn)，大數(shù)據(jù)的增長(zhǎng)正在改變現(xiàn)代商業(yè)的外觀。但公司如何處理數(shù)據(jù)至關(guān)重要。

實(shí)際上，如今每一個(gè)產(chǎn)業(yè)在某種程度上都是信息驅(qū)動(dòng)的。金融、專業(yè)服務(wù)、制造、零售、物流、交通等等。沒(méi)有一個(gè)分支能逃脫數(shù)據(jù)革命的影響。

從機(jī)器學(xué)習(xí)到人工智能以及商業(yè)分析，這一科技的大規(guī)模應(yīng)用超越了傳統(tǒng)的 IT 部門(mén)的限制，推動(dòng)創(chuàng)新。但僅僅大數(shù)據(jù)達(dá)不到這一點(diǎn)，它是洞見(jiàn)的來(lái)源。

三、SoftServe 大數(shù)據(jù)分析調(diào)查

為了幫助理解這一新場(chǎng)景，我們呈現(xiàn)了 2016 年的 SoftServe 大數(shù)據(jù)分析調(diào)查，這是在接下來(lái) 12 個(gè)月或更久的時(shí)間中可能會(huì)顛覆商業(yè)與公司的大數(shù)據(jù)趨勢(shì)的審查報(bào)告。

這一調(diào)查有 300 位調(diào)查對(duì)象，這些中到大型公司的決策者 100 位來(lái)自英國(guó)，200 位來(lái)自美國(guó)。其中的 150 位所在的公司有 1000 到 3000 位職員，剩下的 150 位調(diào)查對(duì)象代表的公司所有職員超過(guò) 3000 位。調(diào)查對(duì)象分布于六大產(chǎn)業(yè)：

商業(yè)和專業(yè)服務(wù)

制造業(yè)

金融服務(wù)

零售

物流與運(yùn)輸

其他商業(yè)部門(mén)

這一調(diào)查由調(diào)研機(jī)構(gòu) Vanson Bourne 在今年 4 月份進(jìn)行，跨行業(yè)調(diào)查了組織領(lǐng)導(dǎo)者對(duì)大數(shù)據(jù)分析和商業(yè)中的風(fēng)險(xiǎn)、挑戰(zhàn)和機(jī)遇的看法。該調(diào)查的目的在于揭示最新的機(jī)會(huì)和見(jiàn)解，以幫助你從今天的海量數(shù)據(jù)中獲得最大價(jià)值。

我們的報(bào)告是受到了如今各產(chǎn)業(yè)、地方、大小公司內(nèi)的決策者公認(rèn)的機(jī)遇的啟發(fā)。我們探索了他們?nèi)绾问褂么髷?shù)據(jù)與分析重塑各自公司的方方面面，也探索了他們利用這一新生的技術(shù)與方法進(jìn)行轉(zhuǎn)型時(shí)所面臨的挑戰(zhàn)。我們調(diào)查的領(lǐng)導(dǎo)者非常幸運(yùn)的能處于數(shù)據(jù)革命的前沿位置，這場(chǎng)革命有望徹底改變我們做生意的方式。

四、大數(shù)據(jù)的影響

站在未行者的前方

處于一個(gè)步伐不斷加速的環(huán)境中，一個(gè)細(xì)節(jié)的忽視就會(huì)對(duì)底線產(chǎn)生重大的影響，一個(gè)錯(cuò)誤多犯幾次的影響將會(huì)是災(zāi)難性的。在全球競(jìng)爭(zhēng)中，快節(jié)奏的玩家越來(lái)越占據(jù)主導(dǎo)地位，數(shù)據(jù)成為建立更加靈活、反應(yīng)敏捷、多產(chǎn)的商業(yè)的關(guān)鍵。

全世界的企業(yè)開(kāi)始公認(rèn)大數(shù)據(jù)是一個(gè)關(guān)鍵趨勢(shì)。更重要的是，他們開(kāi)始將大量的時(shí)間與金錢(qián)投入到分析服務(wù)。從幫助銀行追蹤實(shí)時(shí)趨勢(shì)，到為零售商提供洞見(jiàn)從而幫助他們更好地理解消費(fèi)者的購(gòu)物喜好，分析能為每一行業(yè)開(kāi)啟新的機(jī)遇。

對(duì)其當(dāng)前地位的戰(zhàn)略重要性而言，大數(shù)據(jù)的優(yōu)勢(shì)在短時(shí)間內(nèi)就顯現(xiàn)了出來(lái)。但這一報(bào)告發(fā)現(xiàn)，盡管大數(shù)據(jù)分析技術(shù)相對(duì)較新卻分布廣泛，86% 的公司已經(jīng)使用某種形式的大數(shù)據(jù)分析了。其中，45% 在全公司內(nèi)使用大數(shù)據(jù)，41% 部分使用。剩下的還未開(kāi)始使用大數(shù)據(jù)的公司中，有11% 計(jì)劃在未來(lái)使用大數(shù)據(jù)。信息：大數(shù)據(jù)將很快在全球每一組織的運(yùn)行中起作用。

五、從一次機(jī)遇成為必須品

大數(shù)據(jù)不再只是一次機(jī)遇，它成為了必需品。不久之前，公司還在問(wèn)他們?yōu)槭裁葱枰P(guān)注大數(shù)據(jù)。如今，大數(shù)據(jù)分析已經(jīng)達(dá)到了一個(gè)點(diǎn)：63%的被調(diào)查公司相信它對(duì)保持競(jìng)爭(zhēng)力至關(guān)重要。此外，公司也變得更加容易接受建立在大數(shù)據(jù)分析方法論上的新技術(shù)。

60%的IT 公司使用大數(shù)據(jù)，在產(chǎn)業(yè)采用大數(shù)據(jù)達(dá)到最高度的過(guò)程中，科技企業(yè)帶路前行。同時(shí)，零售、物流、運(yùn)輸行業(yè)還有很多事情要做，這些公司中只有 29% 使用大數(shù)據(jù)支持現(xiàn)有的策略。這并不是因?yàn)檫@些行業(yè)缺乏應(yīng)用。對(duì)使用大數(shù)據(jù)的人來(lái)說(shuō)，大數(shù)據(jù)能成為大商業(yè)。零售商可以使用大數(shù)據(jù)分析網(wǎng)頁(yè)瀏覽模式、產(chǎn)業(yè)預(yù)測(cè)以及消費(fèi)者記錄，從而預(yù)測(cè)需求、定位消費(fèi)人群、優(yōu)化定價(jià)以及監(jiān)控實(shí)時(shí)趨勢(shì)。

在美國(guó)，大數(shù)據(jù)已經(jīng)在飛速發(fā)展。這使得英國(guó)望塵莫及，只有 23% 的英國(guó)調(diào)查對(duì)象在全公司內(nèi)使用大數(shù)據(jù)，相比于此美國(guó)是 56%。然而，英國(guó)看起來(lái)在未來(lái)會(huì)大步前行，53% 的公司已經(jīng)部分使用大數(shù)據(jù)，同時(shí) 16% 的有計(jì)劃將大數(shù)據(jù)并入他們的策略中（相比于此，美國(guó)分別是 35% 與 9%）。

六、如何使用大數(shù)據(jù)

由大數(shù)據(jù)提供的機(jī)遇范圍從節(jié)約成本到改進(jìn)分析等。調(diào)查對(duì)象被問(wèn)及相比于傳統(tǒng)的系統(tǒng)，他們看到的大數(shù)據(jù)提供的最大機(jī)遇是哪個(gè)領(lǐng)域。62% 的認(rèn)為實(shí)時(shí)分析是如今最大的潛在增長(zhǎng)機(jī)會(huì)。

相比于傳統(tǒng)系統(tǒng)，大數(shù)據(jù)分析為你公司提供了什么機(jī)會(huì)？

金融服務(wù)行業(yè)內(nèi)的公司主要認(rèn)為大數(shù)據(jù)的機(jī)遇來(lái)自于實(shí)時(shí)分析（70%）以及趨勢(shì)分析（67%）。

金融服務(wù)公司比其他產(chǎn)業(yè)內(nèi)的公司更加重視大數(shù)據(jù)分析的價(jià)值，當(dāng)出現(xiàn)新技術(shù)時(shí)也更早的采納，其中 67% 的調(diào)查對(duì)象稱它為保持競(jìng)爭(zhēng)力的必需品，68% 期望在兩年內(nèi)使用機(jī)器學(xué)習(xí)捕捉商業(yè)洞見(jiàn)。

想要縮小提供的體驗(yàn)與消費(fèi)者的期望之間的差距讓金融機(jī)構(gòu)面臨的壓力日益增大。銀行正在采用來(lái)自消費(fèi)者的線索，也從其他產(chǎn)業(yè)學(xué)習(xí)，比如媒體、移動(dòng)以及零售，并且基于這些其他產(chǎn)業(yè)內(nèi)的經(jīng)驗(yàn)設(shè)定期望。

在金融領(lǐng)域，知識(shí)能提供競(jìng)爭(zhēng)優(yōu)勢(shì)，驅(qū)動(dòng)數(shù)百萬(wàn)的附加收益，這比其他產(chǎn)業(yè)要多。能提供這種洞見(jiàn)的科技成為了高度追求的對(duì)象，大數(shù)據(jù)分析這樣的工具也在上升。對(duì)金融部門(mén)而言，大數(shù)據(jù)是迎合客戶需求，提供更為快速、準(zhǔn)確的服務(wù)的關(guān)鍵部分。

制造業(yè)有同樣的看法，60% 的調(diào)查對(duì)象認(rèn)為大數(shù)據(jù)分析是必需品，且 62% 計(jì)劃在未來(lái)部署機(jī)器學(xué)習(xí)。

對(duì) IT 產(chǎn)業(yè)而言，大數(shù)據(jù)的好處大多可視為是降低成本（80% 的調(diào)查對(duì)象），反映出他們的使用許可以及節(jié)約硬件的意識(shí)。

七、機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是一個(gè)新術(shù)語(yǔ)，但它有現(xiàn)實(shí)生活中的應(yīng)用

機(jī)器學(xué)習(xí)帶來(lái)的一大主要益處是能快速而有效地分析海量數(shù)據(jù)，而人類要做到這一點(diǎn)需要龐大的團(tuán)隊(duì)。這已經(jīng)在金融服務(wù)業(yè)被證明是有效的，在這個(gè)行業(yè)內(nèi)，保險(xiǎn)公司、銀行和貸款機(jī)構(gòu)需要有價(jià)值的及時(shí)的洞見(jiàn)。機(jī)器學(xué)習(xí)還幫助金融機(jī)構(gòu)提供更好的客戶體驗(yàn)，以及更強(qiáng)的識(shí)別發(fā)展趨勢(shì)和模式的能力，從而減小風(fēng)險(xiǎn)。

例如，銀行可以使用預(yù)測(cè)性分析改善貸款批準(zhǔn)流程。使用遍及大型匿名數(shù)據(jù)集的一套標(biāo)準(zhǔn)化準(zhǔn)則，銀行可以將他們的批準(zhǔn)過(guò)程從幾天加速到幾分鐘。

公司正意識(shí)到這點(diǎn)，當(dāng)他們孤注一擲，部署機(jī)器學(xué)習(xí)技術(shù)時(shí)，他們可以在短時(shí)間內(nèi)領(lǐng)悟許多洞見(jiàn)，從消費(fèi)者在做什么轉(zhuǎn)變?yōu)槔斫庀M(fèi)者為什么這樣做。

這份報(bào)告顯示，在下一個(gè)十年，大數(shù)據(jù)、機(jī)器學(xué)習(xí)和人工智能將無(wú)縫對(duì)接到許多不同公司的結(jié)構(gòu)體系中。研究結(jié)果強(qiáng)調(diào)，大數(shù)據(jù)「甜蜜點(diǎn)」對(duì)每家公司是相異的，但是每個(gè)部門(mén)都能獲得相當(dāng)大的收益。從日益增長(zhǎng)的顧客忠誠(chéng)度到更快的業(yè)務(wù)流程，來(lái)自大數(shù)據(jù)的獎(jiǎng)賞絕不會(huì)是微不足道的。像這樣的未來(lái)投資預(yù)計(jì)是有意義的。

八、大數(shù)據(jù)，高價(jià)值

然而，當(dāng)大數(shù)據(jù)有潛力提供重大價(jià)值時(shí)，它也存在新的挑戰(zhàn)。調(diào)查考慮了各行各業(yè)的增長(zhǎng)困難。例如，零售行業(yè)最關(guān)心數(shù)據(jù)管理。

相比于傳統(tǒng)系統(tǒng)，大數(shù)據(jù)分析的數(shù)據(jù)管理更值得關(guān)注?？傮w上看， 76% 的公司贊同在進(jìn)行大數(shù)據(jù)分析時(shí)，數(shù)據(jù)管理比傳統(tǒng)系統(tǒng)更值得關(guān)注的，這表明數(shù)據(jù)管理對(duì)所有行業(yè)而言仍然是一大挑戰(zhàn)。這還證明，公司需要針對(duì)隱私、安全和管理采用積極主動(dòng)的方法做好隱私，安保，和管理工作，從而保證所有數(shù)據(jù)和洞見(jiàn)都被安全地保護(hù)起來(lái)。

九、打破信息孤島

公司孤島都有傳統(tǒng)上數(shù)據(jù)準(zhǔn)確性的復(fù)合問(wèn)題（compounded problem）。商業(yè)領(lǐng)域有自己的習(xí)慣，許多已經(jīng)習(xí)慣于在孤島中專注于某一焦點(diǎn)上的工作。這會(huì)導(dǎo)致獨(dú)立的數(shù)據(jù)集以及臨時(shí)行動(dòng)，而這些反過(guò)來(lái)會(huì)產(chǎn)生不充分或不精確的數(shù)據(jù)。未能將這些數(shù)據(jù)源聯(lián)系起來(lái)，阻礙了不同部門(mén)獲得關(guān)鍵洞見(jiàn)，這可能就意味著成功與失敗的差別。

48% 的金融服務(wù)公司認(rèn)同大數(shù)據(jù)分析提供了整合數(shù)據(jù)孤島的機(jī)會(huì)。在情理之中的是，與金融世界最緊密相連的公司將大數(shù)據(jù)視為優(yōu)先事項(xiàng)。根據(jù) Gartner 的報(bào)道（「數(shù)據(jù)質(zhì)量現(xiàn)狀：現(xiàn)行的做法和發(fā)展趨勢(shì)」），低質(zhì)量的數(shù)據(jù)每年讓公司付出 1420 萬(wàn)美元。財(cái)務(wù)報(bào)表上不可能存在該對(duì)這種級(jí)別的損失負(fù)責(zé)的條目。通過(guò)系統(tǒng)地整合這些數(shù)據(jù)孤島，大數(shù)據(jù)轉(zhuǎn)變是可以克服這個(gè)挑戰(zhàn)的——而且可以將低劣的數(shù)據(jù)轉(zhuǎn)換為有用的信息。

十、機(jī)遇來(lái)臨

但是，大致來(lái)說(shuō)，未來(lái)是光明的。從數(shù)據(jù)驅(qū)動(dòng)的市場(chǎng)營(yíng)銷到指導(dǎo)油田運(yùn)營(yíng)，大數(shù)據(jù)正在為每種類型的公司加速創(chuàng)新、推動(dòng)效率以及創(chuàng)收提供機(jī)會(huì)。

若想在大數(shù)據(jù)領(lǐng)域成為重要玩家，一家公司需要采取三個(gè)至關(guān)重要的步驟。第一步是關(guān)于數(shù)據(jù)本身：確保你的信息形式是方便獲取和分析的。大多數(shù)大公司實(shí)際上已經(jīng)做到這點(diǎn)了，他們擁有的數(shù)據(jù)通常比他們使用的數(shù)據(jù)多得多。第二步是可利用的大數(shù)據(jù)工具，比如 Hadoop、MPP Data Warehouse 和 NoSQL 。近來(lái)，擁有專利的或開(kāi)源的工具和平臺(tái)隨處都可以獲得——你需要的是能夠利用這些工具和平臺(tái)完成工作的人。然后我們到了第三步，這通常是最有挑戰(zhàn)的問(wèn)題：專業(yè)知識(shí)。高級(jí)的分析需要員工具備從數(shù)據(jù)科學(xué)到全球范圍的隱私法等方方面面的最先進(jìn)技能，還需要了解商業(yè)以及與相關(guān)的價(jià)值來(lái)源。

大數(shù)據(jù)不僅是一種技術(shù)倡議。事實(shí)上，它根本不是技術(shù)倡議；它是需要專業(yè)的科技知識(shí)的商業(yè)項(xiàng)目。所以，你不能只是加入更多的能力和專業(yè)知識(shí)，就期待你的 IT 或市場(chǎng)部門(mén)開(kāi)始產(chǎn)生基于數(shù)據(jù)的洞見(jiàn)。即使他們做到了，公司的其他部門(mén)也極有可能不會(huì)執(zhí)行這些洞見(jiàn)。

正如進(jìn)行數(shù)據(jù)分析的領(lǐng)導(dǎo)者所發(fā)現(xiàn)的那樣，在大數(shù)據(jù)方面取得成功需要另辟蹊徑：你需要大數(shù)據(jù)嵌入和能深入理解你的公司知道提出何種問(wèn)題的人。這是確保信息和洞見(jiàn)能在不同業(yè)務(wù)和部門(mén)之間分享的最佳方法。這也確保整個(gè)公司能認(rèn)識(shí)到一個(gè)運(yùn)行良好的分析程序能提供規(guī)模效應(yīng)。

最終，事先做好準(zhǔn)備的最佳方式是咨詢一位專家，讓其針對(duì)你的商業(yè)需求提供最好的大數(shù)據(jù)方案。利用一個(gè)全套解決方案，這個(gè)過(guò)程可以進(jìn)一步流水線化，這個(gè)解決方案能幫助你識(shí)別出大數(shù)據(jù)分析能為你的哪些業(yè)務(wù)帶來(lái)最多的利益。未來(lái)數(shù)據(jù)會(huì)非常大，對(duì)于有效使用數(shù)據(jù)的公司而言，發(fā)展?jié)摿κ菬o(wú)窮盡的。