決勝大數(shù)據(jù)的六大要素

每次在為一家企業(yè)搭建大數(shù)據(jù)平臺的起步階段，他們總是向我展示各種他們采用的各種前沿技術，還有他們視若珍寶的數(shù)據(jù)儲備。但是毫不避諱地講，我根本不想在這個階段討論這些方面的細節(jié)。因為炫酷的技術或海量的數(shù)據(jù)儲備并不是大數(shù)據(jù)項目成功最關鍵因素。

一通展示過后，我會想我的客戶發(fā)問，這個項目所關心的核心問題究竟是什么？貴方是否有相應的解決方案和能力？我通常得到的都是肯定的答復，但我心里明白，實際情況遠非如此。就算各方面的技術專家、業(yè)界精英都參與到這個項目中，也沒人可以找到一套通用的分工合作準則來確保該項目的順利進行。

大數(shù)據(jù)的真正威力在于，一支全能團隊能以打破常規(guī)的方式高效運轉(zhuǎn)，開發(fā)、利用大數(shù)據(jù)，發(fā)現(xiàn)其中價值。而后對產(chǎn)品進行優(yōu)化，再通過深入的思考與探究，對現(xiàn)有核心業(yè)務加以拓展、創(chuàng)新。

對大數(shù)據(jù)的認知相在開發(fā)中是至關重要的。假設我們將大數(shù)據(jù)的作用范圍限定在一項業(yè)務或一家企業(yè)現(xiàn)有的涉及領域，僅對其加以技術上的利用，以求解決一些當下所面臨的或傳統(tǒng)的問題，這固然是又不小的實際意義。但是如果將大數(shù)據(jù)地應用在深度和廣度上都加以提高的話，我們最終收到的效益恐怕會飆升一個數(shù)量級。如此程度的質(zhì)的躍升當然不是唾手可得之事。這要求相關各方的通力合作，其中包括產(chǎn)品用戶（分析人員、下游產(chǎn)品的開發(fā)人員）、軟件工程師、數(shù)據(jù)管理專家、DevOps（開發(fā)、運營、QA的綜合角色）和的商務方面專家。

數(shù)據(jù)湖泊將使這樣一支全能團隊如魚得水、如虎添翼。它可以為用戶提供一個更宏觀和更高維的角度審視和分析一項業(yè)務甚至一個行業(yè)。用戶可以對每個細枝末節(jié)進行時間軸上的追溯，將情景重現(xiàn)，加以深入分析。一旦大數(shù)據(jù)團隊確立目標，手握適當?shù)姆治龉ぞ?，任何?shù)據(jù)開發(fā)及應用問題的解決過程都應勢如破竹。團隊成員可以運用各自專場攻克壁壘，保證項目進展順暢。此外，數(shù)據(jù)湖泊應該成為團隊活動、交流的平臺和中間媒介。

上述理想的狀態(tài)有一種非常極端的反面。在這種極端的情況下，團隊成員各自為陣，只顧單槍匹馬埋頭蠻干，從不分享交流；項目的各種的日程安排紛亂繁雜且沖突頻頻，還有許多不必要的大小會議；還會有人在辦公時間過度的休息消遣；當然這也少不了最受詬病的各種官僚化的政策。大數(shù)據(jù)和Hadoop顯然沒有什么魔力消除這些工作中的減分項，但它們內(nèi)在的無限潛能給人帶來一種對于未知的好奇與興奮。正是這樣一種魅力可以激勵一個團隊不斷地了解未知、創(chuàng)造價值。這才是我從成功案例中提煉到的制勝法寶。

在幫助企業(yè)做項目木的過程中，我總是強調(diào)兩點。其一，是要有一個全能的團隊，而且要抱團協(xié)作；其二，就是一定要搭建一座強大的數(shù)據(jù)湖泊。以下六點訣竅可以幫助企業(yè)解決我所見到過的大部分常見問題。

1.要有目標做領航

一個明確的整體目標絕不是一個可有可無或無人問津的東西。目標的設立切忌過于宏偉，以致無法達成。項目初期要對產(chǎn)品藍圖進行規(guī)劃，并著力于完成一些較易實現(xiàn)又有長遠意義的小產(chǎn)品，一般這樣的產(chǎn)品都是數(shù)據(jù)湖泊的組分或基礎。這個階段的團隊一定要小而精，隨著項目開發(fā)的推進，團隊的規(guī)模和多元化程度都會自然而然的得到提升。

2.搭建一座企業(yè)級的數(shù)據(jù)湖泊

企業(yè)級的數(shù)據(jù)湖泊是企業(yè)長久經(jīng)營各項業(yè)務的必要條件。而在Hadoop平臺上簡單的數(shù)據(jù)的堆砌，并不能打通企業(yè)各部門之間的脈絡，或?qū)⑺麄冇袡C的粘合起來。在一個企業(yè)級的數(shù)據(jù)湖泊中，用戶可以根據(jù)不同需求提取元數(shù)據(jù)，用來組織各式數(shù)據(jù)，也可以進行數(shù)據(jù)變換并記錄各級數(shù)據(jù)間的關系。數(shù)據(jù)湖泊的所有者應對其各種權(quán)限加以嚴格的管理，也應在其備份、存檔等方面的管理上做足功課。

3.樹立信心

一座企業(yè)級的數(shù)據(jù)湖泊應當有較嚴密的安全防護措施，這樣的話就一般就不會允許企業(yè)的各個部門直接向其中注入數(shù)據(jù)。如若沒有這方面的限制，這樣的數(shù)據(jù)湖泊就很難保持健康穩(wěn)定，也就無法將不同源的數(shù)據(jù)進行充分的洗牌、重組。如果企業(yè)肯在數(shù)據(jù)湖泊上下大力氣，力保其可靠性、全面性、精簡化，便可以大大提升企業(yè)在數(shù)據(jù)方面的信心。這是后續(xù)業(yè)務能成功開展的關鍵。

4.精于變更管理

一個管理團隊必須要有做變更管理的心理準備，而且要精于變更管理。作為團隊主管，必須要為自己的團隊樹立目標并與每個成員對此進行溝通，也要為團隊提供必要的技術培訓，等等。這些都要求管理者有領導才能，這其中涵蓋的各項具體能力在不同的行業(yè)中會不盡相同。但大部分的失敗案例顯示，變更管理能力的欠佳，往往都是成功路上的阻礙。

5.掌握相關技能

許多大公司都擁有不少天賦異稟的人才，但他們往往沒有掌握最新的技術和某些技能，也沒有相應的實戰(zhàn)經(jīng)驗。正是這些經(jīng)驗會使我們明白如何才能高效地利用最適當?shù)氖侄谓鉀Q不同的數(shù)據(jù)問題。理論上的培訓固然是必不可少的，但真正使人成長的還是實踐應用。而一個經(jīng)驗豐富的導師通常都會讓培訓和實踐都事半功倍。一個全能團隊中的成員往往都是從其他項目抽借過來，如果他們個個都要兼顧原本工作的話，那么我們的項目是很難做出成績的。這些牛人總是被其他的領導所覬覦，所以老辣的管理者千方百計的讓這些人才死心塌地為己所用。

6.重視開發(fā)、分析工具的利用

市面上不乏那些可以直接與大數(shù)據(jù)平臺對接的分析挖掘工具，當然我們也可以選擇使用諸如Presto之類基于SQL的工具讀取數(shù)據(jù)，然后再加以利用。除此之外我們還有純大數(shù)據(jù)工具，例如Zoomdata和Datameer。如果我們給成型的數(shù)據(jù)湖泊配以適當?shù)墓ぞ叩脑挘瑢嵞巳缁⑻硪?。反之，如果我們只是?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop當做一個文件系統(tǒng)，而不去嘗試著從創(chuàng)新的角度融合、重組、剖析數(shù)據(jù)的話，數(shù)據(jù)湖泊的價值就會大大縮水。

若能做到以上幾點，我們就可以很大程度上將數(shù)據(jù)、運營體系和具體的業(yè)務有機的結(jié)合起來，避免一個大數(shù)據(jù)項目的無疾而終。將以上建議牢記于心，并在大數(shù)據(jù)開發(fā)、分析的過程中把它們一一落到實處，一個團隊定能在所從事領域中洞悉一切、行動敏銳、引領風潮。