存一份備用：大數(shù)據(jù)分析工具采購指南

大數(shù)據(jù)分析工具使用戶能夠分析各種各樣的信息——包括結構化事務數(shù)據(jù)和社交媒體帖子、Web服務器日志文件及其他形式的非結構化和半結構化數(shù)據(jù)。一旦組織決定要購買一個大數(shù)據(jù)分析工具，下一步就是制定一個流程，評估可用的產品，然后從中找到一個最適合你需求和要求的產品。

下面我們將介紹在評估各種大數(shù)據(jù)分析工具符合企業(yè)需求的程度時可能用到的必備特性和特定屬性。然后，你再編寫一個預案請求（RFP），說明使用這些工具將如何解決組織的需求。

評估標準

建模技術的廣度與深度。供應商已經應用了不同級別的建模，并且相應地開發(fā)了不同復雜度的分析功能。單個工具支持的分析建模廣度反應了所提供的不同方法。其中一些例子包括回歸技術、根據(jù)過去趨勢預測變化值的時間序列模型、分類與回歸樹（也稱為CART）和神經網絡。

建模技術的深度反映了所使用方法的兩個方面特征：支持更精準開發(fā)模型的算法成熟度和建模技術的靈活性。換而言之，數(shù)據(jù)挖掘和預測分析時需要使用哪一種級別的專業(yè)知識才能理解目前能夠開發(fā)哪一些類別的模型及如何使用一個特定工具完成建模？

經驗一般的數(shù)據(jù)分析師感興趣的是提供大量分析功能的供應商產品，而更專業(yè)的分析師和統(tǒng)計師則更偏好于那些能夠更深入分析特定分析模型的工具。

集成與可訪問性。大數(shù)據(jù)分析應用通常依賴于越來越多的內部和外部數(shù)據(jù)源，其中包括結構化和非結構化數(shù)據(jù)。這促成了支持數(shù)據(jù)可訪問性和系統(tǒng)集成的功能需求。這個方面要考慮的特性有：

非結構化數(shù)據(jù)使用率。確認產品能夠使用不同類型的非結構化數(shù)據(jù)（文檔、電子郵件、圖像、視頻、演示文稿、社交媒體渠道信息等），并且能夠解析和利用收到的信息。

大數(shù)據(jù)可訪問性。對比供應商工具連接大數(shù)據(jù)架構的方式，其中包括存儲在Hadoop的分布式數(shù)據(jù)，以及各種橫向擴展存儲中存儲的文件（例如，MongoDB或Apache Cassandra等NoSQL數(shù)據(jù)）。

與現(xiàn)有平臺組件的互操作性。如果要在一些傳統(tǒng)數(shù)據(jù)管理和BI技術中混搭分析方法，那么這一點非常重要。例如，許多分析工具支持通過傳統(tǒng)的SQL查詢去調用分析模型。這種形式的互操作性允許使用預測模型的結構去產生一些傳統(tǒng)數(shù)據(jù)分析師通常都能使用的查詢與報表。

連接性。一定要評估連接性，或者說產品訪問其他系統(tǒng)的能力，以及作為數(shù)據(jù)源給現(xiàn)有平臺提供用于生成報表和分析的能力。

易用性。有一些大數(shù)據(jù)分析產品是供應商從零開始開發(fā)的，而有一些則基于開源的R統(tǒng)計語言。無論是哪一種情況，這種評估類別主要關注于產品用于分析數(shù)據(jù)、開發(fā)模型和確定模型有效性與準確性的易用性。

業(yè)務分析師可用性。沒有統(tǒng)計背景的商業(yè)分析師是否也能夠輕松地開發(fā)分析和應用呢？確定產品是否提供了方便開發(fā)和分析的可視化方法。

部署不同業(yè)務用例的靈活性。相同的算法方法可以應用到許多不同行業(yè)的不同業(yè)務場景中。如果你的組織準備做的這類分析數(shù)量有限，并且集中在更為普通的用例上（如客戶生命周期價值分析、欺騙行為分析或存留預防），那么你可能應該在技術選擇犧牲一些靈活性。然而，如果你的組織想要一種廣度更大、約束更小的分析方法，則應該尋找一些靈活性更高的建模技術。

模型評分。這包括一些額外工具，它們可以幫助分析師自動比較準確性、有效性和不同預測模型用于相似業(yè)務場景時的預測價值。

協(xié)同性。隔離分析與開發(fā)可能導致重復工作和不協(xié)調的結果。提供一種集成協(xié)同功能和在大數(shù)據(jù)分析平臺中分享分析模型的手段，使分析師可以協(xié)同工作，共同優(yōu)化他們的應用程序及將來重用相同的模型，從而能夠降低開發(fā)成本和提高一致性。

大數(shù)據(jù)分析工具的系統(tǒng)管理功能

接下來要考慮將一項新技術整合到組織中的實踐環(huán)節(jié)。管理與配置的簡單性評估包括理解所有的系統(tǒng)需求及安裝、配置和持續(xù)管理的依賴條件。例如，使用R統(tǒng)計模型的大數(shù)據(jù)分析工具要求在安裝產品時同時購買和安裝R環(huán)境。此外，還需要確定產品可能安裝的平臺，以及確定能夠嵌入已開發(fā)模型和應用的平臺。

其他考慮因素包括分析流程與將已開發(fā)模型加入到業(yè)務應用過程中分配角色和訪問權限等安全問題。分析產品所提供的身份驗證、授權和訪問控制等選項。

性能

大多數(shù)高端Hadoop平臺和專業(yè)設備在設計上都支持多個并行處理和分布式計算的計算節(jié)點。如果要求較高的運行性能，那么很重要的一點是所評估的產品是否支持大規(guī)模并行處理（MPP）系統(tǒng)配置。

使用MPP平臺要求使用一組特定的工具才能高效地使用平臺的性能優(yōu)化機制，其中包括：

平等性和數(shù)據(jù)分發(fā)。如果要用并行進程獨立處理分布式的數(shù)據(jù)集，并且要求減小網絡帶寬和增大數(shù)據(jù)存儲位置，那么最適合使用數(shù)據(jù)并行系統(tǒng)。要檢查產品的并行性是否能很好地吻合數(shù)據(jù)分發(fā)策略。

產品的下推功能。它使分析算法能夠利用系統(tǒng)軟件堆中其他組件的內在功能。例如，如果有一個數(shù)據(jù)庫管理系統(tǒng)在其工具集內部提供了支持參數(shù)定制的建模工具，并且這些工具本身就經過優(yōu)化和支持DBMS的架構特性。在這種情況下，分析工具最好要使用原生功能，而不要嘗試替換這些功能。

可擴展性和可伸縮性。隨著數(shù)據(jù)量的不斷增長和數(shù)據(jù)管理平臺的不斷擴展，要評估不同的分析產品如何跟隨處理與存儲容量的增長而增長。

大數(shù)據(jù)分析工具的費用

在使用大數(shù)據(jù)技術的大部分案例中，產品的價格必須影響購買決策。有一些大數(shù)據(jù)分析工具價格昂貴，而有一些則價格較低，甚至是免費的。此外，供應商可能根據(jù)不同的定價提供不同的特性、功能或約束（如限制可分析數(shù)據(jù)容量）。

另一個要注意的問題是特殊服務需求。對于每一個評估的產品，我們都要評估它是否需要軟件供應商或外部專家的幫助，才能完成安裝和培訓，或者提供特殊的開發(fā)服務。

此外，一定要考慮所評估的長期總擁有成本（TCO）。TCO計算應該包括年度維護費用和支持該產品的系統(tǒng)軟件堆分攤費用，以及運維人員、數(shù)據(jù)中心空間、制冷及其他設施的分攤費用。

制定自己的RFP

根據(jù)組織的具體用例來過濾出最適合的產品，從而縮小候選供應商范圍。要檢查組織需求與上面的評估類別的關系，制作出一個RFP，其中除了說明關于集成、互操作性和企業(yè)明細之外的標準問題，主要關注于量化預期因素的符合程度，如分析建模、數(shù)據(jù)容量、必要知識水平和數(shù)據(jù)可訪問性要求等。

確定最重要的差異性因素，如產品隨著數(shù)據(jù)容量增長的擴展能力和性能，它使用非結構化數(shù)據(jù)的能力，以及建模功能的廣度和深度。同時，要提出一些反映用戶社區(qū)的需求，特別是分析師專業(yè)知識水平有差別或者需要企業(yè)內部協(xié)作的時候。此外，選擇一種大數(shù)據(jù)分析工具的關鍵影響因素包括它的初始價格、人員要求和總運營成本，提出一些與評估過程相關的費用和預算問題。

說明業(yè)務需求并對它按優(yōu)先級劃分，然后從一組供應商產品中指定預期產品，這樣可以使采購團隊能夠將業(yè)務需求與評估類別相關聯(lián)。通過檢查上面的列表、定義相關問題和規(guī)定可接受答復來配置RFP，從而確定各個特定的產品符合需求的程度。