決勝大數(shù)據(jù)的六大要素

每次在為一家企業(yè)搭建大數(shù)據(jù)平臺(tái)的起步階段，他們總是向我展示各種他們采用的各種前沿技術(shù)，還有他們視若珍寶的數(shù)據(jù)儲(chǔ)備。但是毫不避諱地講，我根本不想在這個(gè)階段討論這些方面的細(xì)節(jié)。因?yàn)殪趴岬募夹g(shù)或海量的數(shù)據(jù)儲(chǔ)備并不是大數(shù)據(jù)項(xiàng)目成功最關(guān)鍵因素。

一通展示過(guò)后，我會(huì)想我的客戶發(fā)問(wèn)，這個(gè)項(xiàng)目所關(guān)心的核心問(wèn)題究竟是什么？貴方是否有相應(yīng)的解決方案和能力？我通常得到的都是肯定的答復(fù)，但我心里明白，實(shí)際情況遠(yuǎn)非如此。就算各方面的技術(shù)專家、業(yè)界精英都參與到這個(gè)項(xiàng)目中，也沒(méi)人可以找到一套通用的分工合作準(zhǔn)則來(lái)確保該項(xiàng)目的順利進(jìn)行。

大數(shù)據(jù)的真正威力在于，一支全能團(tuán)隊(duì)能以打破常規(guī)的方式高效運(yùn)轉(zhuǎn)，開(kāi)發(fā)、利用大數(shù)據(jù)，發(fā)現(xiàn)其中價(jià)值。而后對(duì)產(chǎn)品進(jìn)行優(yōu)化，再通過(guò)深入的思考與探究，對(duì)現(xiàn)有核心業(yè)務(wù)加以拓展、創(chuàng)新。

對(duì)大數(shù)據(jù)的認(rèn)知相在開(kāi)發(fā)中是至關(guān)重要的。假設(shè)我們將大數(shù)據(jù)的作用范圍限定在一項(xiàng)業(yè)務(wù)或一家企業(yè)現(xiàn)有的涉及領(lǐng)域，僅對(duì)其加以技術(shù)上的利用，以求解決一些當(dāng)下所面臨的或傳統(tǒng)的問(wèn)題，這固然是又不小的實(shí)際意義。但是如果將大數(shù)據(jù)地應(yīng)用在深度和廣度上都加以提高的話，我們最終收到的效益恐怕會(huì)飆升一個(gè)數(shù)量級(jí)。如此程度的質(zhì)的躍升當(dāng)然不是唾手可得之事。這要求相關(guān)各方的通力合作，其中包括產(chǎn)品用戶（分析人員、下游產(chǎn)品的開(kāi)發(fā)人員）、軟件工程師、數(shù)據(jù)管理專家、DevOps（開(kāi)發(fā)、運(yùn)營(yíng)、QA的綜合角色）和的商務(wù)方面專家。

數(shù)據(jù)湖泊將使這樣一支全能團(tuán)隊(duì)如魚(yú)得水、如虎添翼。它可以為用戶提供一個(gè)更宏觀和更高維的角度審視和分析一項(xiàng)業(yè)務(wù)甚至一個(gè)行業(yè)。用戶可以對(duì)每個(gè)細(xì)枝末節(jié)進(jìn)行時(shí)間軸上的追溯，將情景重現(xiàn)，加以深入分析。一旦大數(shù)據(jù)團(tuán)隊(duì)確立目標(biāo)，手握適當(dāng)?shù)姆治龉ぞ?，任何?shù)據(jù)開(kāi)發(fā)及應(yīng)用問(wèn)題的解決過(guò)程都應(yīng)勢(shì)如破竹。團(tuán)隊(duì)成員可以運(yùn)用各自專場(chǎng)攻克壁壘，保證項(xiàng)目進(jìn)展順暢。此外，數(shù)據(jù)湖泊應(yīng)該成為團(tuán)隊(duì)活動(dòng)、交流的平臺(tái)和中間媒介。

上述理想的狀態(tài)有一種非常極端的反面。在這種極端的情況下，團(tuán)隊(duì)成員各自為陣，只顧單槍匹馬埋頭蠻干，從不分享交流；項(xiàng)目的各種的日程安排紛亂繁雜且沖突頻頻，還有許多不必要的大小會(huì)議；還會(huì)有人在辦公時(shí)間過(guò)度的休息消遣；當(dāng)然這也少不了最受詬病的各種官僚化的政策。大數(shù)據(jù)和Hadoop顯然沒(méi)有什么魔力消除這些工作中的減分項(xiàng)，但它們內(nèi)在的無(wú)限潛能給人帶來(lái)一種對(duì)于未知的好奇與興奮。正是這樣一種魅力可以激勵(lì)一個(gè)團(tuán)隊(duì)不斷地了解未知、創(chuàng)造價(jià)值。這才是我從成功案例中提煉到的制勝法寶。

在幫助企業(yè)做項(xiàng)目木的過(guò)程中，我總是強(qiáng)調(diào)兩點(diǎn)。其一，是要有一個(gè)全能的團(tuán)隊(duì)，而且要抱團(tuán)協(xié)作；其二，就是一定要搭建一座強(qiáng)大的數(shù)據(jù)湖泊。以下六點(diǎn)訣竅可以幫助企業(yè)解決我所見(jiàn)到過(guò)的大部分常見(jiàn)問(wèn)題。

1.要有目標(biāo)做領(lǐng)航

一個(gè)明確的整體目標(biāo)絕不是一個(gè)可有可無(wú)或無(wú)人問(wèn)津的東西。目標(biāo)的設(shè)立切忌過(guò)于宏偉，以致無(wú)法達(dá)成。項(xiàng)目初期要對(duì)產(chǎn)品藍(lán)圖進(jìn)行規(guī)劃，并著力于完成一些較易實(shí)現(xiàn)又有長(zhǎng)遠(yuǎn)意義的小產(chǎn)品，一般這樣的產(chǎn)品都是數(shù)據(jù)湖泊的組分或基礎(chǔ)。這個(gè)階段的團(tuán)隊(duì)一定要小而精，隨著項(xiàng)目開(kāi)發(fā)的推進(jìn)，團(tuán)隊(duì)的規(guī)模和多元化程度都會(huì)自然而然的得到提升。

2.搭建一座企業(yè)級(jí)的數(shù)據(jù)湖泊

企業(yè)級(jí)的數(shù)據(jù)湖泊是企業(yè)長(zhǎng)久經(jīng)營(yíng)各項(xiàng)業(yè)務(wù)的必要條件。而在Hadoop平臺(tái)上簡(jiǎn)單的數(shù)據(jù)的堆砌，并不能打通企業(yè)各部門之間的脈絡(luò)，或?qū)⑺麄冇袡C(jī)的粘合起來(lái)。在一個(gè)企業(yè)級(jí)的數(shù)據(jù)湖泊中，用戶可以根據(jù)不同需求提取元數(shù)據(jù)，用來(lái)組織各式數(shù)據(jù)，也可以進(jìn)行數(shù)據(jù)變換并記錄各級(jí)數(shù)據(jù)間的關(guān)系。數(shù)據(jù)湖泊的所有者應(yīng)對(duì)其各種權(quán)限加以嚴(yán)格的管理，也應(yīng)在其備份、存檔等方面的管理上做足功課。

3.樹(shù)立信心

一座企業(yè)級(jí)的數(shù)據(jù)湖泊應(yīng)當(dāng)有較嚴(yán)密的安全防護(hù)措施，這樣的話就一般就不會(huì)允許企業(yè)的各個(gè)部門直接向其中注入數(shù)據(jù)。如若沒(méi)有這方面的限制，這樣的數(shù)據(jù)湖泊就很難保持健康穩(wěn)定，也就無(wú)法將不同源的數(shù)據(jù)進(jìn)行充分的洗牌、重組。如果企業(yè)肯在數(shù)據(jù)湖泊上下大力氣，力保其可靠性、全面性、精簡(jiǎn)化，便可以大大提升企業(yè)在數(shù)據(jù)方面的信心。這是后續(xù)業(yè)務(wù)能成功開(kāi)展的關(guān)鍵。

4.精于變更管理

一個(gè)管理團(tuán)隊(duì)必須要有做變更管理的心理準(zhǔn)備，而且要精于變更管理。作為團(tuán)隊(duì)主管，必須要為自己的團(tuán)隊(duì)樹(shù)立目標(biāo)并與每個(gè)成員對(duì)此進(jìn)行溝通，也要為團(tuán)隊(duì)提供必要的技術(shù)培訓(xùn)，等等。這些都要求管理者有領(lǐng)導(dǎo)才能，這其中涵蓋的各項(xiàng)具體能力在不同的行業(yè)中會(huì)不盡相同。但大部分的失敗案例顯示，變更管理能力的欠佳，往往都是成功路上的阻礙。

5.掌握相關(guān)技能

許多大公司都擁有不少天賦異稟的人才，但他們往往沒(méi)有掌握最新的技術(shù)和某些技能，也沒(méi)有相應(yīng)的實(shí)戰(zhàn)經(jīng)驗(yàn)。正是這些經(jīng)驗(yàn)會(huì)使我們明白如何才能高效地利用最適當(dāng)?shù)氖侄谓鉀Q不同的數(shù)據(jù)問(wèn)題。理論上的培訓(xùn)固然是必不可少的，但真正使人成長(zhǎng)的還是實(shí)踐應(yīng)用。而一個(gè)經(jīng)驗(yàn)豐富的導(dǎo)師通常都會(huì)讓培訓(xùn)和實(shí)踐都事半功倍。一個(gè)全能團(tuán)隊(duì)中的成員往往都是從其他項(xiàng)目抽借過(guò)來(lái)，如果他們個(gè)個(gè)都要兼顧原本工作的話，那么我們的項(xiàng)目是很難做出成績(jī)的。這些牛人總是被其他的領(lǐng)導(dǎo)所覬覦，所以老辣的管理者千方百計(jì)的讓這些人才死心塌地為己所用。

6.重視開(kāi)發(fā)、分析工具的利用

市面上不乏那些可以直接與大數(shù)據(jù)平臺(tái)對(duì)接的分析挖掘工具，當(dāng)然我們也可以選擇使用諸如Presto之類基于SQL的工具讀取數(shù)據(jù)，然后再加以利用。除此之外我們還有純大數(shù)據(jù)工具，例如Zoomdata和Datameer。如果我們給成型的數(shù)據(jù)湖泊配以適當(dāng)?shù)墓ぞ叩脑?，?shí)乃如虎添翼。反之，如果我們只是把Hadoop當(dāng)做一個(gè)文件系統(tǒng)，而不去嘗試著從創(chuàng)新的角度融合、重組、剖析數(shù)據(jù)的話，數(shù)據(jù)湖泊的價(jià)值就會(huì)大大縮水。

若能做到以上幾點(diǎn)，我們就可以很大程度上將數(shù)據(jù)、運(yùn)營(yíng)體系和具體的業(yè)務(wù)有機(jī)的結(jié)合起來(lái)，避免一個(gè)大數(shù)據(jù)項(xiàng)目的無(wú)疾而終。將以上建議牢記于心，并在大數(shù)據(jù)開(kāi)發(fā)、分析的過(guò)程中把它們一一落到實(shí)處，一個(gè)團(tuán)隊(duì)定能在所從事領(lǐng)域中洞悉一切、行動(dòng)敏銳、引領(lǐng)風(fēng)潮。