企業(yè)構(gòu)建大數(shù)據(jù)平臺的痛點、思路與解決路徑

隨著大數(shù)據(jù)技術(shù)的到來，企業(yè)會問自己：大數(shù)據(jù)是否是我的業(yè)務問題的正確解決方案，或者它是否為我提供了業(yè)務機會?大數(shù)據(jù)中是否隱藏著業(yè)務機會?

CIO在考慮創(chuàng)建大數(shù)據(jù)平臺往往遇到以下問題：

● 如果我使用大數(shù)據(jù)技術(shù)，可能會獲得何種洞察和業(yè)務價值?

● 它是否可以擴充我 現(xiàn)有的數(shù)據(jù)倉庫?

● 我如何評估擴展當前環(huán)境或采用新解決方案的成本?

● 對我現(xiàn)有的IT治理有何影響?

● 我能否以增量方式實現(xiàn)大數(shù)據(jù)解決方案?

● 我需要掌握哪些具體的技能來理解和分析構(gòu)建和維護大數(shù)據(jù)解決方案的需求?

● 我的現(xiàn)有企業(yè)數(shù)據(jù)能否用于提供業(yè)務洞察?

● 來自各種來源的數(shù)據(jù)的復雜性在不斷增長。

● 大數(shù)據(jù)解決方案對我有幫助嗎?

● 維度可幫助評估大數(shù)據(jù)解決方案的可行性?

為了回答這些問題，本文提出了一種依據(jù)下圖中所示的維度來評估大數(shù)據(jù)解決方案的可行性的結(jié)構(gòu)化方法。

對于每個維度，我們都給出了一些關(guān)鍵問題。依據(jù)業(yè)務上下文，為每個維度分配一個權(quán)重和優(yōu)先級。評估會因業(yè)務案例和組織的不同而有所不同。

一、通過大數(shù)據(jù)技術(shù)獲取何種業(yè)務價值?

許多組織想知道，他們尋找的業(yè)務洞察能否通過大數(shù)據(jù)解決方案來解決。然而事實上，沒有權(quán)威的指南能夠用來定義可從大數(shù)據(jù)獲取的洞察。

具體場景需要由組織識別，而且這些場景在不斷演變。

在確定和識別在實現(xiàn)后會給企業(yè)帶來重大價值的業(yè)務用例和場景的過程中，數(shù)據(jù)科學家起著至關(guān)重要的作用。數(shù)據(jù)科學家必須能夠理解關(guān)鍵績效指標，對數(shù)據(jù)應用統(tǒng)計算法和復雜算法來獲得一個用例列表。用例行業(yè)和業(yè)務不同而有所不同。

研究市場競爭對手的行動、發(fā)揮作用的市場力量，以及客戶在尋找什么，會很有幫助。下表給出了來自各行各業(yè)的用例示例。

潛在的客戶正在社交網(wǎng)絡和評論站點上生成大量新數(shù)據(jù)。在企業(yè)內(nèi)，隨著客戶切換到在線渠道來執(zhí)行業(yè)務和與公司交互，交易數(shù)據(jù)和 Web 日志與日俱增。

二、確定數(shù)據(jù)的優(yōu)先級

首先為企業(yè)內(nèi)存在的數(shù)據(jù)創(chuàng)建一個清單，識別內(nèi)部系統(tǒng)和應用程序中存在的數(shù)據(jù)以及從第三方傳入的數(shù)據(jù)。如果業(yè)務問題可使用現(xiàn)有數(shù)據(jù)解決，那么有可能不需要使用來自外部來源的數(shù)據(jù)。這個時候，需考慮構(gòu)建一個大數(shù)據(jù)解決方案的成本，并權(quán)衡它與帶給業(yè)務部門的新洞察的價值。在有關(guān)現(xiàn)有客戶的歸檔數(shù)據(jù)的上下文中分析此新數(shù)據(jù)時，業(yè)務人員將獲得對新業(yè)務機會的洞察。

主要滿足以下條件，大數(shù)據(jù)可提供可行的解決方案：

● 從數(shù)據(jù)中開發(fā)的洞察所生成的價值，值得在大數(shù)據(jù)解決方案中投入的資本成本

●面向客戶的場景可證明來自洞察的潛在價值

評估通過大數(shù)據(jù)解決方案獲取的業(yè)務價值時，企業(yè)還應考慮當前的環(huán)境是否可擴展并權(quán)衡此投資的成本。

三、我當前的環(huán)境能否擴展?

詢問以下問題，確定企業(yè)能否擴充現(xiàn)有的數(shù)據(jù)倉庫平臺?

●當前的數(shù)據(jù)集是否非常大，是否達到了 TB 或 PB 數(shù)量級?

●現(xiàn)有的倉庫環(huán)境是否包含生成或獲取的所有 數(shù)據(jù)的存儲庫?

●是否有大量冷數(shù)據(jù)或人們很少接觸的數(shù)據(jù)未分析，可以通過分析這些數(shù)據(jù)獲得業(yè)務洞察?

●您是否需要丟棄數(shù)據(jù)，因為無法存儲或處理它?

●您是否希望能夠在復雜且大量的數(shù)據(jù)上執(zhí)行數(shù)據(jù)探索?

●您是否希望能夠?qū)Ψ遣僮鲾?shù)據(jù)執(zhí)行分析?

●您是否有興趣使用數(shù)據(jù)執(zhí)行傳統(tǒng)和新類型的分析?

●您是否試圖延遲對現(xiàn)有數(shù)據(jù)倉庫的升級?

●您是否在尋求途徑降低執(zhí)行分析的總體成本?

如果任何這些問題的答案是 “是”，那么企業(yè)就可以探索擴充現(xiàn)有數(shù)據(jù)倉庫環(huán)境的方式。

四、擴展企業(yè)當前的環(huán)境的成本是多少?

擴展現(xiàn)有數(shù)據(jù)倉庫平臺或 IT 環(huán)境與實現(xiàn)大數(shù)據(jù)解決方案的成本和可行性取決于：

●現(xiàn)有工具和技術(shù)

●現(xiàn)有系統(tǒng)的可伸縮性

●現(xiàn)有環(huán)境的處理能力

●現(xiàn)有平臺的存儲能力

●執(zhí)行的治理和策略

●現(xiàn)有 IT 應用程序的異構(gòu)性

●組織中存在的技術(shù)和業(yè)務技能

它還依賴于將從新數(shù)據(jù)來源收集的數(shù)據(jù)量、業(yè)務用例的復雜性、處理的分析復雜性，以及獲取數(shù)據(jù)和擁有恰當技能集的人員的成本?，F(xiàn)有的資源池能否開發(fā)新的大數(shù)據(jù)技能，或者是否可從外部雇傭擁有稀缺技能的人員?

值得注意的是，大數(shù)據(jù)舉措會對其他正在實施的項目產(chǎn)生影響。從新的來源獲取數(shù)據(jù)具有很高的成本。您首先應當識別系統(tǒng)和應用程序內(nèi)部存在的數(shù)據(jù)，以及目前收到的第三方數(shù)據(jù)，這一點很重要。如果業(yè)務問題可以使用現(xiàn)有數(shù)據(jù)解決，那么有可能不需要使用來自外部來源的數(shù)據(jù)。

在生成新工具和應用程序之前，請評估組織的應用程序組合。例如，一個普通的 Hadoop 平臺可能無法滿足您的需求，您可能必須購買專業(yè)的工具。或者相對而言，Hadoop 的商業(yè)版本對當前用例而言可能很昂貴，但可能需要用作長期投資來支持一個戰(zhàn)略性的大數(shù)據(jù)平臺?？紤]大數(shù)據(jù)工具和技術(shù)需要的基礎架構(gòu)、硬件、軟件和維護的成本。

五、對現(xiàn)有的 IT 治理有何影響?

在決定是否實現(xiàn)一個大數(shù)據(jù)平臺時，組織可能會查看新數(shù)據(jù)源和新的數(shù)據(jù)元素類型，而這些信息當前的所有權(quán)尚未明確定義。一些行業(yè)制度會約束組織獲取和使用的數(shù)據(jù)。例如，在醫(yī)療行業(yè)，通過訪問患者數(shù)據(jù)來從中獲取洞察是否合法?類似的規(guī)則約束著所有行業(yè)。除了 IT 治理問題之外，組織的業(yè)務流程可能也需要重新定義和修改，讓組織能夠獲取、存儲和訪問外部數(shù)據(jù)。

還需考慮以下治理相關(guān)問題：

● 安全性和隱私：為了與當?shù)胤ㄒ?guī)一致，解決方案可以訪問哪些數(shù)據(jù)?可以存儲哪些數(shù)據(jù)?哪些數(shù)據(jù)應在移動過程中加密?靜止數(shù)據(jù)呢?誰可以查看原始數(shù)據(jù)和洞察?

● 數(shù)據(jù)的標準化：是否有標準約束數(shù)據(jù)?數(shù)據(jù)是否具有專用的格式?是否有部分數(shù)據(jù)為非標準格式?

● 數(shù)據(jù)可用的時段：數(shù)據(jù)在一個允許及時采取操作的時段是否可用?

● 數(shù)據(jù)的所有權(quán)：誰擁有該數(shù)據(jù)?解決方案是否擁有適當?shù)脑L問權(quán)和權(quán)限來使用數(shù)據(jù)?

● 允許的用法：允許如何使用該數(shù)據(jù)?

六、企業(yè)能否增量地實現(xiàn)大數(shù)據(jù)解決方案?

大數(shù)據(jù)解決方案可以采用增量方式實現(xiàn)。明確地定義業(yè)務問題的范圍，并以可度量的方式設置預期的業(yè)務收入提升，這樣做會很有幫助。對于基礎業(yè)務案例，請仔細列出問題的范圍和解決方案帶來的預期收益。

如果該范圍太小，業(yè)務收益將無法實現(xiàn)，如果范圍太大，獲得資金和在恰當?shù)钠谙迌?nèi)完成項目就會很有挑戰(zhàn)性。在項目的第一次迭代中定義核心功能，以便能夠輕松地贏得利益相關(guān)者的信任。

七、組織是否具備恰當技能的技術(shù)人員?

需要特定的技能來理解和分析需求，并維護大數(shù)據(jù)解決方案。這些技能包括行業(yè)知識、領(lǐng)域?qū)ｉL，以及有關(guān)大數(shù)據(jù)工具和技術(shù)的技術(shù)知識。擁有建模、統(tǒng)計、分析和數(shù)學方面的專業(yè)經(jīng)驗的數(shù)據(jù)科學家，是任何大數(shù)據(jù)舉措成功的關(guān)鍵。

在實施一個新的大數(shù)據(jù)項目之前，確保已安排了合適的人員：

● 是否獲得利益相關(guān)者和其他愿意投資該項目的業(yè)務贊助者的支持?

● 是否擁有熟悉該領(lǐng)域、能分析大量數(shù)據(jù)、而且能識別從數(shù)據(jù)生成有意義且有用的洞察的途徑的數(shù)據(jù)科學家?

八、是否擁有可用于獲取業(yè)務洞察的現(xiàn)有數(shù)據(jù)?

所有組織都擁有大量未用于獲取業(yè)務洞察的數(shù)據(jù)。這些數(shù)據(jù)包括日志文件、錯誤文件和來自應用程序的操作數(shù)據(jù)。不要忽略此數(shù)據(jù)，它是寶貴信息的潛在來源。

1. 數(shù)據(jù)復雜性是否在增長?

查找數(shù)據(jù)復雜性增長的線索，尤其是在數(shù)據(jù)量、種類、速度和真實性方面。

2. 數(shù)據(jù)量是否已增長?

如果滿足以下條件，企業(yè)可以考慮大數(shù)據(jù)解決方案：

● 數(shù)據(jù)大小達到 PB 和 EB 級，而且在不久的將來，它們可能增長到 ZB 級別。

● 這一數(shù)據(jù)量給使用傳統(tǒng)方法(比如關(guān)系數(shù)據(jù)庫引擎)存儲、搜索、共享、分析和可視化數(shù)據(jù)帶來的技術(shù)和經(jīng)濟挑戰(zhàn)。

● 數(shù)據(jù)處理目前可使用可用硬件上的大規(guī)模并行處理能力。

3. 數(shù)據(jù)種類是否已增多?

如果滿足以下條件，各種各樣的數(shù)據(jù)可能都需要大數(shù)據(jù)解決方案：

● 數(shù)據(jù)內(nèi)容和結(jié)構(gòu)無法預期或預測。

● 數(shù)據(jù)格式各不相同，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

● 用戶和機器能夠以任何格式生成數(shù)據(jù)，例如：Microsoft Word 文件、Microsoft Excel 電子表格、Microsoft PowerPoint 演示文稿、PDF 文件、社交媒體、Web 和軟件日志、電子郵件、來自相機的照片和視頻、信息感知的移動設備、空中感知技術(shù)、基因組和醫(yī)療記錄。

● 以前沒有為了獲得洞察而被挖掘的數(shù)據(jù)來源不斷地在產(chǎn)生新的數(shù)據(jù)類型。

● 領(lǐng)域?qū)嶓w在不同的上下文中具有不同的含義。

4. 數(shù)據(jù)的速度是否已增長或改變?

考慮您的數(shù)據(jù)是否：

● 在快速更改，必須立即響應。

● 擁有過多的傳統(tǒng)技術(shù)和方法，它們不再足以實時處理傳入的數(shù)據(jù)。

5. 您的數(shù)據(jù)是否值得信賴?

如果滿足以下條件，那么請考慮使用大數(shù)據(jù)解決方案：

● 數(shù)據(jù)的真實性或準確性未知。

● 數(shù)據(jù)包含模糊不清的信息。

● 不清楚數(shù)據(jù)是否完整。

如果數(shù)據(jù)的量、種類、速度或真實性具有合理的復雜性，那么有可能會適合地采用大數(shù)據(jù)解決方案。對于更復雜的數(shù)據(jù)，需要評估與實現(xiàn)大數(shù)據(jù)解決方案關(guān)聯(lián)的任何風險。對于不太復雜的數(shù)據(jù)，則應該評估傳統(tǒng)的解決方案。

九、是否所有大數(shù)據(jù)都存在大數(shù)據(jù)問題?

不是所有大數(shù)據(jù)情形都需要大數(shù)據(jù)解決方案，我們需在市場中尋找線索：競爭對手在做什么?哪些市場力量在發(fā)揮作用?客戶想要什么?

通過根據(jù)本文中的問題，確定大數(shù)據(jù)解決方案是否適合企業(yè)自身的業(yè)務情形和所需要的業(yè)務洞察。