10大特征幫你把脈數(shù)據(jù)分析3.0時代

不論是經(jīng)營多年的公司還是創(chuàng)業(yè)公司，繼續(xù)使用舊有模式來支持商業(yè)分析，都前景黯淡。大數(shù)據(jù)已經(jīng)有了長足的進(jìn)步，但不要指望它能給你長期的競爭優(yōu)勢。那些想要在新的數(shù)據(jù)經(jīng)濟(jì)中獲得成功的公司，必須從根本上重新考慮如何利用數(shù)據(jù)分析為自己和客戶創(chuàng)造價值。

分析3.0是變革的方向，也是“分析競爭”的新模式。

每日日一獲

分析進(jìn)化史數(shù)據(jù)分析3.0時代 分析1.0――商業(yè)智能時代

相較于更早的商業(yè)活動，我們所謂的分析1.0已經(jīng)有了實質(zhì)性的發(fā)展，能夠客觀分析和深入理解重要的商業(yè)現(xiàn)象，并且?guī)椭芾碚呋诳陀^事實決策，而不是僅憑直覺。

在商業(yè)實踐中，生產(chǎn)流程、銷售、客戶交互乃至更多的數(shù)據(jù)，第一次被存錄、整合和分析。新的計算技術(shù)是實現(xiàn)這些的關(guān)鍵因素。這就是企業(yè)級數(shù)據(jù)倉庫的時代，系統(tǒng)可以捕捉數(shù)據(jù)，然后利用軟件進(jìn)行商業(yè)智能分析，最后可以進(jìn)行數(shù)據(jù)查詢和結(jié)果交付。

分析2.0——大數(shù)據(jù)時代

2005年前后，谷歌，eBay等硅谷的互聯(lián)網(wǎng)公司和社交網(wǎng)絡(luò)開始大規(guī)模存儲和分析新類型信息。大數(shù)據(jù)明顯有別于系統(tǒng)內(nèi)部產(chǎn)生的交易類“小”數(shù)據(jù)，它是來自公司外部、互聯(lián)網(wǎng)、傳感器、各種公開發(fā)布的數(shù)據(jù)（比如人類基因組計劃），還包括來源于音頻和視頻的數(shù)據(jù)。

當(dāng)分析進(jìn)入2.0時代，人們對于強(qiáng)大的新型分析工具的需求——以及通過提供工具來獲利的機(jī)會——很快就顯而易見了。所有公司都忙于發(fā)展新能力和爭取新客戶。第一個吃螃蟹的公司很容易占得先機(jī)，獲得令人印象深刻的宣傳效果，并且會快速地研發(fā)新產(chǎn)品。

許多創(chuàng)新技術(shù)已經(jīng)被開發(fā)、收購和熟練掌握。比如，大數(shù)據(jù)很難在單個服務(wù)器上運行并進(jìn)行快速分析，所以Hadoop平臺應(yīng)運而生。新型數(shù)據(jù)庫NoSQL可以處理相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)。

分析2.0要求公司所具備的能力與分析1.0大不相同。新一代的數(shù)量分析師被稱為數(shù)據(jù)科學(xué)家，他們不僅要具備計算能力還要掌握分析能力。數(shù)據(jù)科學(xué)家已不再滿足于被藏在公司內(nèi)部，他們希望接觸客戶以開發(fā)新產(chǎn)品，并為公司出謀劃策，甚至是創(chuàng)造新的商業(yè)形態(tài)。

分析3.0——富化數(shù)據(jù)的產(chǎn)品時代

在分析2.0時代，一些敏銳的觀察者已經(jīng)洞見到即將來臨的下一個大時代。硅谷的大數(shù)據(jù)先驅(qū)公司開始投資面向客戶產(chǎn)品、服務(wù)和功能領(lǐng)域的數(shù)據(jù)分析。它們通過大數(shù)據(jù)分析吸引更多的訪客登錄它們的網(wǎng)站，這些辦法包括更佳的搜索算法、朋友和同事推薦產(chǎn)品、購買建議以及針對性極高的定向廣告等。

大公司的紛紛介入標(biāo)志著分析3.0時代的來臨?，F(xiàn)在不僅僅是IT公司或者電子商務(wù)公司利用數(shù)據(jù)分析創(chuàng)造新產(chǎn)品和新服務(wù)，任何行業(yè)的任何公司都在這樣做。和前兩個時代類似，對于那些想在“分析競爭”中占有優(yōu)勢的公司或者為此類公司提供數(shù)據(jù)和分析工具的供應(yīng)商，

“分析競爭”不僅能夠解決公司的傳統(tǒng)問題，比如改善內(nèi)部決策，也能為公司創(chuàng)造更有價值的產(chǎn)品和服務(wù)——這才是分析3.0的精髓?，F(xiàn)在，銀行業(yè)、工業(yè)制造業(yè)、醫(yī)療設(shè)備和產(chǎn)品的供應(yīng)商、零售業(yè)――任何行業(yè)、任何公司，只要愿意去探索各種可能性，都能從他們的整合的數(shù)據(jù)中開發(fā)出有價值的產(chǎn)品和服務(wù)。

10大特征數(shù)據(jù)分析3.0時代

公司要用全新的視角看待“分析”的價值和作用，這意味著戰(zhàn)略重點的轉(zhuǎn)移。公司需要意識到這將是一系列挑戰(zhàn)——發(fā)展新能力、設(shè)置新崗位和重新設(shè)定業(yè)務(wù)的優(yōu)先級。

1各種類型數(shù)據(jù)通常會混在一起

公司需要整合內(nèi)部、外部、結(jié)構(gòu)化、非結(jié)構(gòu)化的大數(shù)據(jù)和小數(shù)據(jù)，利用規(guī)定性分析和預(yù)測性分析模型給出新見解，并能明確地指導(dǎo)一線工人有效完成工作。為監(jiān)視油量、油箱位置和油箱容量和駕駛行為等部分關(guān)鍵的指標(biāo)，施耐德物流公司（Schneider National）把傳感器的數(shù)據(jù)輸入物流優(yōu)化算法。這樣做的結(jié)果是在改善物流網(wǎng)絡(luò)的同時，降低了燃油成本和事故率。

2新工具組合

在分析1.0時代，數(shù)據(jù)倉庫被視作分析的基礎(chǔ)。2.0時代，公司主要依靠Hadoop集群和NoSQL數(shù)據(jù)庫。如果問我今天的技術(shù)手段是什么，答案是“綜上所有”：數(shù)據(jù)倉庫、數(shù)據(jù)庫和大數(shù)據(jù)裝置，將傳統(tǒng)數(shù)據(jù)查詢手段與Hadoop結(jié)合的環(huán)境（亦稱為Hadoop 2.0），還包括垂直和圖表數(shù)據(jù)庫等等。

無論從數(shù)量還是復(fù)雜性的角度考慮，IT架構(gòu)師面對數(shù)據(jù)管理設(shè)備的選擇難度極大，而且?guī)缀趺總€公司最終的選擇都是混合的數(shù)據(jù)環(huán)境。有些數(shù)據(jù)還以舊格式存在，但同時需要新的數(shù)據(jù)處理流程以滿足暫存、求值、搜索和生成應(yīng)用之間的數(shù)據(jù)傳遞和數(shù)據(jù)分析。

3更快的分析方法和技術(shù)

2.0時代的大數(shù)據(jù)技術(shù)已經(jīng)比1.0時代的數(shù)據(jù)管理和分析技術(shù)快了很多。為了滿足這一速度需求，3.0時代的新型“敏捷”分析方法和機(jī)器學(xué)習(xí)技術(shù)正在以更快的速度來提供分析結(jié)果。

和敏捷開發(fā)相似，敏捷分析法要求工程師高頻率地向項目利益相關(guān)人交付部分結(jié)果，讓最優(yōu)秀的數(shù)據(jù)科學(xué)家一直在緊迫感中工作。3.0時代面臨的挑戰(zhàn)是如何讓企業(yè)在運營及產(chǎn)品發(fā)展、決策過程方面充分利用新技術(shù)和新方法的優(yōu)勢。

4嵌入式分析

為了與日益提高的數(shù)據(jù)處理和分析速度相匹配，分析3.0的模塊通常是直接嵌入到運營系統(tǒng)和決策系統(tǒng)中，這顯著地提升了數(shù)據(jù)的運行速度和分析效果。

一些公司把評分算法和分析規(guī)則集成到全自動化的系統(tǒng)當(dāng)中；另外一些公司則把分析植入以客戶為導(dǎo)向的產(chǎn)品和特性當(dāng)中。不管是哪種情況，把分析植入系統(tǒng)和流程，不僅會帶來更快的運算速度，也使管理者無法繞過數(shù)據(jù)分析做決策――這通常是一件好事。

5數(shù)據(jù)發(fā)掘

為了開發(fā)以數(shù)據(jù)為基礎(chǔ)的產(chǎn)品和服務(wù)，公司通常需要一個強(qiáng)大的數(shù)據(jù)發(fā)掘平臺，還需要具備相應(yīng)的技能和流程。

雖然最初設(shè)計公司數(shù)據(jù)倉庫的目的是數(shù)據(jù)發(fā)掘和分析，但不幸的是，很多公司已經(jīng)把它變成了數(shù)據(jù)貯藏室——把數(shù)據(jù)堆在那里不做任何處理。如前文所述，把數(shù)據(jù)錄入到數(shù)據(jù)倉庫非常耗時耗力。如今，數(shù)據(jù)發(fā)掘環(huán)境使得不需要太多準(zhǔn)備就能確定數(shù)據(jù)集的特質(zhì)，并將其分別輸入數(shù)據(jù)倉庫。

6跨學(xué)科的數(shù)據(jù)團(tuán)隊

在互聯(lián)網(wǎng)公司或者大數(shù)據(jù)創(chuàng)業(yè)公司中，數(shù)據(jù)科學(xué)家通常能掌控全局，或者至少有著很大的自主權(quán)。但是，在大型和相對傳統(tǒng)的公司中，他們必須和其他部門的同事通力協(xié)作，以確保大數(shù)據(jù)和業(yè)務(wù)所需的“大分析”相匹配。

在許多情況下中，這些公司中的“數(shù)據(jù)科學(xué)家”與傳統(tǒng)的數(shù)量分析師無異，他們不得不花更多的時間進(jìn)行數(shù)據(jù)管理工作。公司現(xiàn)在也開始聘用擅長提取信息并將其結(jié)構(gòu)化的數(shù)據(jù)黑客，并讓他們與擅長建模的分析師一起工作。

數(shù)據(jù)科學(xué)家和數(shù)據(jù)黑客團(tuán)隊都必須與IT部門一同工作，IT負(fù)責(zé)提供大數(shù)據(jù)和用于數(shù)據(jù)分析的基礎(chǔ)架構(gòu)，配置“沙盒”以供數(shù)據(jù)探索。（沙盒在這里是指IT部門有所有的數(shù)據(jù)，——譯者注），然后將探索性分析轉(zhuǎn)變?yōu)樯a(chǎn)能力。這個聯(lián)合團(tuán)隊將會竭盡所能地完成分析工作，他們角色上也經(jīng)常會有所重疊。

7首席分析官

當(dāng)分析已經(jīng)變得如此重要，公司需要更高級別的管理者進(jìn)行監(jiān)管。已經(jīng)有公司設(shè)置了“首席分析官”職位來培養(yǎng)和開發(fā)員工的分析能力。美國國際集團(tuán)（American International Group）、匹茲堡大學(xué)醫(yī)療中心、奧巴馬競選團(tuán)隊、富國銀行（Wells Fargo）和美國銀行（Bank of America）已經(jīng)有C級的分析主管。毫無疑問，這個名單還會繼續(xù)增加。

8規(guī)定性分析

通常有三種類型的分析：描述性，用于報告過去；預(yù)測性，使用模型分析過往的數(shù)據(jù)來預(yù)測未來；規(guī)定性，使用數(shù)據(jù)模型來確定最優(yōu)行動方式。雖然分析3.0包含以上三種類型的分析，但它強(qiáng)調(diào)的是最后一種。

規(guī)定性分析要求大量的測試和優(yōu)化工作，然后把分析嵌入關(guān)鍵流程和員工行為中。這一方法能帶來很高的運營效益，但同時要求高水平的計劃案和高質(zhì)量的執(zhí)行力。比如，如果UPS ORION系統(tǒng)提供了錯誤的路線信息，管理者必須立即著手處理，不能讓這種情況持續(xù)太久。UPS高管們說，比起算法和系統(tǒng)開發(fā)，他們在管理上花費了更多的時間。

9用于實際業(yè)務(wù)的分析

相對于只將分析用于內(nèi)部決策，分析3.0提供了把分析流程擴(kuò)展到業(yè)務(wù)領(lǐng)域的機(jī)會。機(jī)器學(xué)習(xí)能創(chuàng)造更多模型，讓組織獲得更精細(xì)、更準(zhǔn)確的預(yù)測。

以IBM為例，之前公司在“需求生成”流程中使用了150個數(shù)據(jù)模型，用來評估哪些客戶更值得銷售人員投入時間和精力。在與現(xiàn)代分析公司 （Modern Analytics）合作后，IBM啟動了“模型工廠”（Model Factory）和“數(shù)據(jù)流水線”（Data Assembly Line），IBM現(xiàn)在每年能開發(fā)和維護(hù)5000個數(shù)據(jù)模型，卻只需4個人來完成。

新系統(tǒng)能夠在無需人工干預(yù)的情況下建構(gòu)95%的模型，而另外3%只需要分析師做些微調(diào)。這些新模型能高度準(zhǔn)確地識別出產(chǎn)品、客戶和地理位置的差別。在泛亞洲市場進(jìn)行的測試表明，相比沒有數(shù)據(jù)分析的細(xì)分市場，該模型使客戶反饋率翻倍。

10決策和管理的新方式

如果希望在公司里讓分析助力數(shù)據(jù)經(jīng)濟(jì)，你就需要決策和管理方面的新方法。這些方法能夠讓你的決策更可靠。管理者們需要習(xí)慣數(shù)據(jù)驅(qū)動的實驗和測試。他們應(yīng)該主動要求任何重要項目都必須進(jìn)行小規(guī)模但系統(tǒng)的驗證實驗，并切記實驗的目的是為了嚴(yán)格控制高管的“雄心壯志”。

不得不提醒的是，一些由大數(shù)據(jù)應(yīng)用所提示的改變并不一定會發(fā)生。大數(shù)據(jù)是持續(xù)動態(tài)變化的，以社交媒體數(shù)據(jù)為基礎(chǔ)分析品牌忠誠度就是很好的一例，你會發(fā)現(xiàn)各項指標(biāo)不可避免地動態(tài)起落。這種“數(shù)據(jù)煙霧彈”，可被視作問題的早期預(yù)警，但是它們只是指示性的警告，而非證實的結(jié)果。管理者們需要制定規(guī)范來確定決策和行為的預(yù)警標(biāo)準(zhǔn)。

大數(shù)據(jù)先天就具有不確定的特質(zhì)。通常大數(shù)據(jù)分析出的結(jié)果與因素之間的關(guān)系都是相關(guān)性，不是因果關(guān)系，也可能純屬巧合（從統(tǒng)計學(xué)的角度，數(shù)據(jù)量越大純屬巧合的情況越多）。大數(shù)據(jù)的這一本質(zhì)可能會讓許多高管頭疼，究竟是信還是不信。解決的方法是，如果待定決策事關(guān)重大，那么決定之前必須進(jìn)一步調(diào)查。

規(guī)定性分析會改變管理一線員工的方式。公司能觀察到員工的所有行為，這是前所未有的情況。毫無疑問，員工也能覺察到這樣的密切監(jiān)控，過分詳盡的行為報告讓員工不自在，正如可以分析顧客購買行為的大數(shù)據(jù)會讓顧客有脊背發(fā)涼的感覺。在分析3.0的世界，有時我們需要學(xué)會適當(dāng)?shù)亍盁o視”。

分析3.0是“分析競爭”的終極版么？也許不是；但是我有把握說，當(dāng)有一天數(shù)據(jù)經(jīng)濟(jì)成為主流時，你回望歷史會發(fā)現(xiàn)，“現(xiàn)在”就是最關(guān)鍵的時刻。