7個(gè)因素決定大數(shù)據(jù)的復(fù)雜性 如何處理

   我們談?wù)摿撕芏嚓P(guān)于復(fù)雜數(shù)據(jù)及其為你的商業(yè)智能帶來的挑戰(zhàn)和機(jī)遇，但是導(dǎo)致數(shù)據(jù)復(fù)雜化的是什么呢？

　　以及你如何區(qū)分你的公司當(dāng)前的數(shù)據(jù)是否是“復(fù)雜的”，亦或不久的將來會(huì)變得復(fù)雜？本文將解決這些問題。

　　為什么這很重要？

　　當(dāng)你試圖將數(shù)據(jù)轉(zhuǎn)化為商業(yè)價(jià)值時(shí)，它的復(fù)雜度很可能會(huì)預(yù)示你將面對(duì)的困難程度——復(fù)雜數(shù)據(jù)的準(zhǔn)備和分析通常要比簡(jiǎn)單數(shù)據(jù)更加困難，以及通常需要一組不同的BI 工具來實(shí)現(xiàn)。復(fù)雜數(shù)據(jù)在可以“成熟的”分析和可視化之前需要額外的準(zhǔn)備工作和數(shù)據(jù)模型。因此重要的是，通過了解您目前的數(shù)據(jù)的復(fù)雜程度以及它在未來的復(fù)雜性趨向，來評(píng)估您的大數(shù)據(jù)/商業(yè)智能項(xiàng)目是否能夠勝任這一任務(wù)。

　　簡(jiǎn)單測(cè)試：大數(shù)據(jù)或者異構(gòu)數(shù)據(jù)

　　在高級(jí)層面上，有兩種基本的跡象表明你的數(shù)據(jù)可能被視為是復(fù)雜的：

　　你的數(shù)據(jù)很“大”：我們把大放在引號(hào)里是因?yàn)樗菜品稀按髷?shù)據(jù)”術(shù)語的含義。然而事實(shí)是，處理海量數(shù)據(jù)在計(jì)算資源需要處理巨大的數(shù)據(jù)集方面提出了一個(gè)挑戰(zhàn)， 就像把小麥從谷殼分開的困難，或者說在一個(gè)巨大的原始信息中辨別信號(hào)和雜音。

　　你的數(shù)據(jù)來自許多不同的數(shù)據(jù)源：多重?cái)?shù)據(jù)源通常意味著臟數(shù)據(jù)，或者遵循著不同的內(nèi)部邏輯結(jié)構(gòu)的簡(jiǎn)單的多個(gè)數(shù)據(jù)集。為了確保數(shù)據(jù)源有統(tǒng)一的數(shù)據(jù)語言，數(shù)據(jù)必須被轉(zhuǎn)換或整合到一個(gè)中央資源庫。

　　可以認(rèn)為這是兩個(gè)最初的（可供選擇的）征兆：如果你正處理大數(shù)據(jù)或異構(gòu)數(shù)據(jù)，你應(yīng)當(dāng)開始思考數(shù)據(jù)的復(fù)雜性。但是深究一下，對(duì)你的公司的數(shù)據(jù)的復(fù)雜性，以下有7個(gè)更具體的指標(biāo)。

　?。ㄗ⒁?，以上兩點(diǎn)之間有相似之處，但不互相排除——反之，例如，離散數(shù)據(jù)往往意味著各種各樣的數(shù)據(jù)結(jié)構(gòu)類型）

　　7個(gè)因素決定你的數(shù)據(jù)的復(fù)雜性

　　1、數(shù)據(jù)結(jié)構(gòu)

　　不同數(shù)據(jù)源的數(shù)據(jù)，或甚至來自同一個(gè)源的不同表，通常設(shè)計(jì)同樣的信息但結(jié)構(gòu)卻完全不同：

　　舉例來說，想象你們?nèi)肆Y源部有三種不同的表格，一個(gè)是員工個(gè)人信息表，另一個(gè)是員工職位和薪資表第三個(gè)是員工職位要求表，諸如此類——而你們財(cái)務(wù)部門隨同保險(xiǎn)、福利和其他花費(fèi)一起記錄同樣的信息到單個(gè)表中。另外，在這些表中的一些表可能提到員工的全名，而另一些則只有名字的首字母，或者二者的結(jié)合。為了從所有表中有效使用數(shù)據(jù)，同時(shí)不丟失或重復(fù)信息，需要數(shù)據(jù)建模或準(zhǔn)備工作。

　　這是最簡(jiǎn)單的用例：更進(jìn)一步復(fù)雜化的是處理最初沒有適當(dāng)?shù)啬Ｊ降姆墙Y(jié)構(gòu)化數(shù)據(jù)源（例如NoSQL 數(shù)據(jù)庫）。

　　2、數(shù)據(jù)大小

　　再次回到模糊的“大數(shù)據(jù)”概念，你收集的數(shù)據(jù)量會(huì)影響你需要用來分析它的軟硬件的類型。這個(gè)可以通過原始大小來衡量：字節(jié)，TB或PB——數(shù)據(jù)增長(zhǎng)越大，越有可能“窒息”廣泛使用的內(nèi)存數(shù)據(jù)庫（IMDB），依賴于轉(zhuǎn)化壓縮數(shù)據(jù)到服務(wù)器內(nèi)存。其他因素包括多元異構(gòu)數(shù)據(jù)——包含很多數(shù)據(jù)行的表（Excel，可以說是最常用的數(shù)據(jù)分析工具，最大行數(shù)限制為1048576行），或結(jié)構(gòu)化數(shù)據(jù)——包含很多數(shù)據(jù)列的表。

　　你將會(huì)發(fā)現(xiàn)在分析工具和方法上用于分析100,000行數(shù)據(jù)和那些用于分析1億行數(shù)據(jù)的是明顯不同的。

　　3、數(shù)據(jù)細(xì)節(jié)

　　你想要探索的數(shù)據(jù)的粒度水平。當(dāng)創(chuàng)建一個(gè)儀表盤或報(bào)表，展現(xiàn)總結(jié)或聚合數(shù)據(jù)時(shí)常常比讓終端用戶鉆取到每一個(gè)細(xì)節(jié)更容易實(shí)現(xiàn)——然而這是以犧牲數(shù)據(jù)分析的深度和數(shù)據(jù)挖掘為代價(jià)而做的權(quán)宜之計(jì)。

　　創(chuàng)建一個(gè)BI系統(tǒng)，使其具有顆粒向海量數(shù)據(jù)鉆取處理分析的能力，（不依賴于預(yù)定義查詢，聚合或匯總表）

　　4、查詢語言

　　不同的數(shù)據(jù)源有不同的數(shù)據(jù)語言：雖然SQL是從常見數(shù)據(jù)源和RDBMS提取數(shù)據(jù)的主要手段，但是當(dāng)使用第三方平臺(tái)時(shí)你會(huì)經(jīng)常需要通過它自己的API和語法去連接它，以及解析用于訪問數(shù)據(jù)的數(shù)據(jù)模型和協(xié)議。

　　你的BI工具需要足夠靈活的根據(jù)數(shù)據(jù)源允許這種本地連接的方式，或者通過內(nèi)置插件或API訪問，否則你會(huì)發(fā)現(xiàn)你自己將不得不重復(fù)一個(gè)繁瑣的導(dǎo)出數(shù)據(jù)到表格\SQL數(shù)據(jù)庫\數(shù)據(jù)倉庫的過程，然后導(dǎo)入到你的商業(yè)智能軟件里，從而使你的分析變得麻煩。

　　5、數(shù)據(jù)類型

　　一方面動(dòng)態(tài)數(shù)據(jù)以表格形式存儲(chǔ)，處理的大多是數(shù)值型數(shù)據(jù)，但是大規(guī)模和非結(jié)構(gòu)化的機(jī)器數(shù)據(jù)完全是另外一回事兒，就像是文字?jǐn)?shù)據(jù)集存儲(chǔ)在MongoDB中，當(dāng)然了，更別提像視頻音頻這種超大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)了。

　　不同的數(shù)據(jù)類型具有不同的規(guī)則，為使得商業(yè)決策建立在對(duì)公司數(shù)據(jù)的全面考慮的基礎(chǔ)上，找到一種建立單一可信來源的方法是至關(guān)重要的。

　　6、離散數(shù)據(jù)

　　數(shù)據(jù)存儲(chǔ)在多個(gè)位置：例如，組織里的不同部門，本地或云（付費(fèi)存儲(chǔ)或通過云應(yīng)用），來自客戶或供應(yīng)商的外部數(shù)據(jù)等。這種數(shù)據(jù)不僅收集起來很困難（簡(jiǎn)單來說是由于及時(shí)而有效的接收數(shù)據(jù)而需要的利益相關(guān)者的數(shù)量）。而且一旦收集了——在不同的數(shù)據(jù)集交叉引用和分析之前，通常需要“清理”或標(biāo)準(zhǔn)化，因?yàn)槊總€(gè)本地?cái)?shù)據(jù)集是根據(jù)相關(guān)組織\應(yīng)用程序自身的實(shí)際和關(guān)注收集數(shù)據(jù)。

　　7、數(shù)據(jù)量的增長(zhǎng)

　　最終，你不僅需要考慮當(dāng)前數(shù)據(jù)，還有數(shù)據(jù)的增長(zhǎng)或變化的速度。如果經(jīng)常更新數(shù)據(jù)源，或經(jīng)常增加新的數(shù)據(jù)源，這將會(huì)消耗你的軟硬件資源（無論何時(shí)當(dāng)源數(shù)據(jù)發(fā)生重大更改時(shí),不是非常先進(jìn)的系統(tǒng)都需要重新獲取整個(gè)數(shù)據(jù)集）,以及上述提到的關(guān)于結(jié)構(gòu)、類型、大小的復(fù)合性問題等。

　　怎樣掌控復(fù)雜數(shù)據(jù)？

　　如果你認(rèn)同上述的一個(gè)或更多以及你的數(shù)據(jù)剛剛好是復(fù)雜的，不要絕望：理解，是找到一個(gè)合適的解決方案的第一步，以及復(fù)雜數(shù)據(jù)的分析本身不需要過于復(fù)雜。我們將在未來的文章中涉及解決復(fù)雜數(shù)據(jù)的方法，但是你將想問自己的第一件事可能是——控制復(fù)雜數(shù)據(jù)你實(shí)際需要多少BI系統(tǒng)。