存一份備用：大數(shù)據(jù)分析工具采購(gòu)指南

大數(shù)據(jù)分析工具使用戶能夠分析各種各樣的信息——包括結(jié)構(gòu)化事務(wù)數(shù)據(jù)和社交媒體帖子、Web服務(wù)器日志文件及其他形式的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。一旦組織決定要購(gòu)買(mǎi)一個(gè)大數(shù)據(jù)分析工具，下一步就是制定一個(gè)流程，評(píng)估可用的產(chǎn)品，然后從中找到一個(gè)最適合你需求和要求的產(chǎn)品。

下面我們將介紹在評(píng)估各種大數(shù)據(jù)分析工具符合企業(yè)需求的程度時(shí)可能用到的必備特性和特定屬性。然后，你再編寫(xiě)一個(gè)預(yù)案請(qǐng)求（RFP），說(shuō)明使用這些工具將如何解決組織的需求。

評(píng)估標(biāo)準(zhǔn)

建模技術(shù)的廣度與深度。供應(yīng)商已經(jīng)應(yīng)用了不同級(jí)別的建模，并且相應(yīng)地開(kāi)發(fā)了不同復(fù)雜度的分析功能。單個(gè)工具支持的分析建模廣度反應(yīng)了所提供的不同方法。其中一些例子包括回歸技術(shù)、根據(jù)過(guò)去趨勢(shì)預(yù)測(cè)變化值的時(shí)間序列模型、分類與回歸樹(shù)（也稱為CART）和神經(jīng)網(wǎng)絡(luò)。

建模技術(shù)的深度反映了所使用方法的兩個(gè)方面特征：支持更精準(zhǔn)開(kāi)發(fā)模型的算法成熟度和建模技術(shù)的靈活性。換而言之，數(shù)據(jù)挖掘和預(yù)測(cè)分析時(shí)需要使用哪一種級(jí)別的專業(yè)知識(shí)才能理解目前能夠開(kāi)發(fā)哪一些類別的模型及如何使用一個(gè)特定工具完成建模？

經(jīng)驗(yàn)一般的數(shù)據(jù)分析師感興趣的是提供大量分析功能的供應(yīng)商產(chǎn)品，而更專業(yè)的分析師和統(tǒng)計(jì)師則更偏好于那些能夠更深入分析特定分析模型的工具。

集成與可訪問(wèn)性。大數(shù)據(jù)分析應(yīng)用通常依賴于越來(lái)越多的內(nèi)部和外部數(shù)據(jù)源，其中包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。這促成了支持?jǐn)?shù)據(jù)可訪問(wèn)性和系統(tǒng)集成的功能需求。這個(gè)方面要考慮的特性有：

非結(jié)構(gòu)化數(shù)據(jù)使用率。確認(rèn)產(chǎn)品能夠使用不同類型的非結(jié)構(gòu)化數(shù)據(jù)（文檔、電子郵件、圖像、視頻、演示文稿、社交媒體渠道信息等），并且能夠解析和利用收到的信息。

大數(shù)據(jù)可訪問(wèn)性。對(duì)比供應(yīng)商工具連接大數(shù)據(jù)架構(gòu)的方式，其中包括存儲(chǔ)在Hadoop的分布式數(shù)據(jù)，以及各種橫向擴(kuò)展存儲(chǔ)中存儲(chǔ)的文件（例如，MongoDB或Apache Cassandra等NoSQL數(shù)據(jù)）。

與現(xiàn)有平臺(tái)組件的互操作性。如果要在一些傳統(tǒng)數(shù)據(jù)管理和BI技術(shù)中混搭分析方法，那么這一點(diǎn)非常重要。例如，許多分析工具支持通過(guò)傳統(tǒng)的SQL查詢?nèi)フ{(diào)用分析模型。這種形式的互操作性允許使用預(yù)測(cè)模型的結(jié)構(gòu)去產(chǎn)生一些傳統(tǒng)數(shù)據(jù)分析師通常都能使用的查詢與報(bào)表。

連接性。一定要評(píng)估連接性，或者說(shuō)產(chǎn)品訪問(wèn)其他系統(tǒng)的能力，以及作為數(shù)據(jù)源給現(xiàn)有平臺(tái)提供用于生成報(bào)表和分析的能力。

易用性。有一些大數(shù)據(jù)分析產(chǎn)品是供應(yīng)商從零開(kāi)始開(kāi)發(fā)的，而有一些則基于開(kāi)源的R統(tǒng)計(jì)語(yǔ)言。無(wú)論是哪一種情況，這種評(píng)估類別主要關(guān)注于產(chǎn)品用于分析數(shù)據(jù)、開(kāi)發(fā)模型和確定模型有效性與準(zhǔn)確性的易用性。

業(yè)務(wù)分析師可用性。沒(méi)有統(tǒng)計(jì)背景的商業(yè)分析師是否也能夠輕松地開(kāi)發(fā)分析和應(yīng)用呢？確定產(chǎn)品是否提供了方便開(kāi)發(fā)和分析的可視化方法。

部署不同業(yè)務(wù)用例的靈活性。相同的算法方法可以應(yīng)用到許多不同行業(yè)的不同業(yè)務(wù)場(chǎng)景中。如果你的組織準(zhǔn)備做的這類分析數(shù)量有限，并且集中在更為普通的用例上（如客戶生命周期價(jià)值分析、欺騙行為分析或存留預(yù)防），那么你可能應(yīng)該在技術(shù)選擇犧牲一些靈活性。然而，如果你的組織想要一種廣度更大、約束更小的分析方法，則應(yīng)該尋找一些靈活性更高的建模技術(shù)。

模型評(píng)分。這包括一些額外工具，它們可以幫助分析師自動(dòng)比較準(zhǔn)確性、有效性和不同預(yù)測(cè)模型用于相似業(yè)務(wù)場(chǎng)景時(shí)的預(yù)測(cè)價(jià)值。

協(xié)同性。隔離分析與開(kāi)發(fā)可能導(dǎo)致重復(fù)工作和不協(xié)調(diào)的結(jié)果。提供一種集成協(xié)同功能和在大數(shù)據(jù)分析平臺(tái)中分享分析模型的手段，使分析師可以協(xié)同工作，共同優(yōu)化他們的應(yīng)用程序及將來(lái)重用相同的模型，從而能夠降低開(kāi)發(fā)成本和提高一致性。

大數(shù)據(jù)分析工具的系統(tǒng)管理功能

接下來(lái)要考慮將一項(xiàng)新技術(shù)整合到組織中的實(shí)踐環(huán)節(jié)。管理與配置的簡(jiǎn)單性評(píng)估包括理解所有的系統(tǒng)需求及安裝、配置和持續(xù)管理的依賴條件。例如，使用R統(tǒng)計(jì)模型的大數(shù)據(jù)分析工具要求在安裝產(chǎn)品時(shí)同時(shí)購(gòu)買(mǎi)和安裝R環(huán)境。此外，還需要確定產(chǎn)品可能安裝的平臺(tái)，以及確定能夠嵌入已開(kāi)發(fā)模型和應(yīng)用的平臺(tái)。

其他考慮因素包括分析流程與將已開(kāi)發(fā)模型加入到業(yè)務(wù)應(yīng)用過(guò)程中分配角色和訪問(wèn)權(quán)限等安全問(wèn)題。分析產(chǎn)品所提供的身份驗(yàn)證、授權(quán)和訪問(wèn)控制等選項(xiàng)。

性能

大多數(shù)高端Hadoop平臺(tái)和專業(yè)設(shè)備在設(shè)計(jì)上都支持多個(gè)并行處理和分布式計(jì)算的計(jì)算節(jié)點(diǎn)。如果要求較高的運(yùn)行性能，那么很重要的一點(diǎn)是所評(píng)估的產(chǎn)品是否支持大規(guī)模并行處理（MPP）系統(tǒng)配置。

使用MPP平臺(tái)要求使用一組特定的工具才能高效地使用平臺(tái)的性能優(yōu)化機(jī)制，其中包括：

平等性和數(shù)據(jù)分發(fā)。如果要用并行進(jìn)程獨(dú)立處理分布式的數(shù)據(jù)集，并且要求減小網(wǎng)絡(luò)帶寬和增大數(shù)據(jù)存儲(chǔ)位置，那么最適合使用數(shù)據(jù)并行系統(tǒng)。要檢查產(chǎn)品的并行性是否能很好地吻合數(shù)據(jù)分發(fā)策略。

產(chǎn)品的下推功能。它使分析算法能夠利用系統(tǒng)軟件堆中其他組件的內(nèi)在功能。例如，如果有一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)在其工具集內(nèi)部提供了支持參數(shù)定制的建模工具，并且這些工具本身就經(jīng)過(guò)優(yōu)化和支持DBMS的架構(gòu)特性。在這種情況下，分析工具最好要使用原生功能，而不要嘗試替換這些功能。

可擴(kuò)展性和可伸縮性。隨著數(shù)據(jù)量的不斷增長(zhǎng)和數(shù)據(jù)管理平臺(tái)的不斷擴(kuò)展，要評(píng)估不同的分析產(chǎn)品如何跟隨處理與存儲(chǔ)容量的增長(zhǎng)而增長(zhǎng)。

大數(shù)據(jù)分析工具的費(fèi)用

在使用大數(shù)據(jù)技術(shù)的大部分案例中，產(chǎn)品的價(jià)格必須影響購(gòu)買(mǎi)決策。有一些大數(shù)據(jù)分析工具價(jià)格昂貴，而有一些則價(jià)格較低，甚至是免費(fèi)的。此外，供應(yīng)商可能根據(jù)不同的定價(jià)提供不同的特性、功能或約束（如限制可分析數(shù)據(jù)容量）。

另一個(gè)要注意的問(wèn)題是特殊服務(wù)需求。對(duì)于每一個(gè)評(píng)估的產(chǎn)品，我們都要評(píng)估它是否需要軟件供應(yīng)商或外部專家的幫助，才能完成安裝和培訓(xùn)，或者提供特殊的開(kāi)發(fā)服務(wù)。

此外，一定要考慮所評(píng)估的長(zhǎng)期總擁有成本（TCO）。TCO計(jì)算應(yīng)該包括年度維護(hù)費(fèi)用和支持該產(chǎn)品的系統(tǒng)軟件堆分?jǐn)傎M(fèi)用，以及運(yùn)維人員、數(shù)據(jù)中心空間、制冷及其他設(shè)施的分?jǐn)傎M(fèi)用。

制定自己的RFP

根據(jù)組織的具體用例來(lái)過(guò)濾出最適合的產(chǎn)品，從而縮小候選供應(yīng)商范圍。要檢查組織需求與上面的評(píng)估類別的關(guān)系，制作出一個(gè)RFP，其中除了說(shuō)明關(guān)于集成、互操作性和企業(yè)明細(xì)之外的標(biāo)準(zhǔn)問(wèn)題，主要關(guān)注于量化預(yù)期因素的符合程度，如分析建模、數(shù)據(jù)容量、必要知識(shí)水平和數(shù)據(jù)可訪問(wèn)性要求等。

確定最重要的差異性因素，如產(chǎn)品隨著數(shù)據(jù)容量增長(zhǎng)的擴(kuò)展能力和性能，它使用非結(jié)構(gòu)化數(shù)據(jù)的能力，以及建模功能的廣度和深度。同時(shí)，要提出一些反映用戶社區(qū)的需求，特別是分析師專業(yè)知識(shí)水平有差別或者需要企業(yè)內(nèi)部協(xié)作的時(shí)候。此外，選擇一種大數(shù)據(jù)分析工具的關(guān)鍵影響因素包括它的初始價(jià)格、人員要求和總運(yùn)營(yíng)成本，提出一些與評(píng)估過(guò)程相關(guān)的費(fèi)用和預(yù)算問(wèn)題。

說(shuō)明業(yè)務(wù)需求并對(duì)它按優(yōu)先級(jí)劃分，然后從一組供應(yīng)商產(chǎn)品中指定預(yù)期產(chǎn)品，這樣可以使采購(gòu)團(tuán)隊(duì)能夠?qū)I(yè)務(wù)需求與評(píng)估類別相關(guān)聯(lián)。通過(guò)檢查上面的列表、定義相關(guān)問(wèn)題和規(guī)定可接受答復(fù)來(lái)配置RFP，從而確定各個(gè)特定的產(chǎn)品符合需求的程度。