透視數(shù)據(jù)中心變更 應(yīng)對(duì)“大數(shù)據(jù)”分析

到目前為止，你的大數(shù)據(jù)分析和商業(yè)智能項(xiàng)目還在順暢地自行運(yùn)轉(zhuǎn)。但從長(zhǎng)遠(yuǎn)來(lái)看，通過(guò)對(duì)現(xiàn)有架構(gòu)進(jìn)行簡(jiǎn)單擴(kuò)展來(lái)保持順暢的數(shù)據(jù)訪問(wèn)可能不是最好的解決辦法。
    請(qǐng)考慮以下“大數(shù)據(jù)”特性：
    ·以網(wǎng)頁(yè)上為主（不屬于先前的內(nèi)部數(shù)據(jù)傳送）
    ·涉及多個(gè)云環(huán)境
    ·與社交媒體應(yīng)用緊密關(guān)聯(lián)，例如Facebook, Twitter和Linkedin
    ·規(guī)?？涨?br />     ·數(shù)據(jù)有時(shí) “不潔凈”,甚至不可用
    ·數(shù)據(jù)大部分是非結(jié)構(gòu)化
    ·至少要引入幾種新工具，例如Apache的Hadoop和Hive,以及graph/triple存儲(chǔ)
    分開來(lái)看，每種特性都可能構(gòu)成現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)設(shè)置的一種變體。組合起來(lái)，這些特性代表了一種與眾不同的操作環(huán)境，在規(guī)劃時(shí)必須深入到每項(xiàng)特性，分別對(duì)待。也就是說(shuō)，首先你要了解，基于未來(lái)可能的需求，哪種架構(gòu)最適合大數(shù)據(jù)分析。然后了解，如何能夠把它與現(xiàn)有的數(shù)據(jù)中心架構(gòu)（也可能是數(shù)據(jù)倉(cāng)庫(kù)型架構(gòu)）結(jié)合起來(lái)。
    那么未來(lái)有哪些可能性需求呢？有跡象表明，每個(gè)機(jī)構(gòu)都會(huì)想要在下列特性中尋求一個(gè)獨(dú)特的組合：
    1.為了維護(hù)客戶忠誠(chéng)度和出于營(yíng)銷目的，對(duì)中型客戶的社交媒體數(shù)據(jù)進(jìn)行有目標(biāo)訪問(wèn)--無(wú)需實(shí)時(shí)數(shù)據(jù)；
    2.同樣，對(duì)于預(yù)期銷售而言也是需要的，但實(shí)時(shí)數(shù)據(jù)將會(huì)帶來(lái)更大價(jià)值；
    3.出于安全考慮，當(dāng)網(wǎng)頁(yè)瀏覽者試圖訪問(wèn)公司數(shù)據(jù)時(shí)，有必要對(duì)該訪問(wèn)者的社交媒體數(shù)據(jù)進(jìn)行少量實(shí)時(shí)訪問(wèn)；
    4.實(shí)時(shí)訪問(wèn)“戰(zhàn)略威脅”數(shù)據(jù)，例如，對(duì)公司的負(fù)面宣傳信息或是給公司造成不良影響的災(zāi)難信息，通常來(lái)講造成的影響較小，但有時(shí)波及范圍也很廣。
    5.為了進(jìn)行市場(chǎng)分析對(duì)大量大數(shù)據(jù)進(jìn)行訪問(wèn)--無(wú)需實(shí)時(shí)數(shù)據(jù)；
    6.為了開展具體行業(yè)或具體機(jī)構(gòu)新產(chǎn)品研發(fā)， 對(duì)大量和超大量社交媒體數(shù)據(jù)進(jìn)行訪問(wèn)。這里，同樣不需要實(shí)時(shí)數(shù)據(jù)，但是訪問(wèn)速度越快效果越好。
    上述組合要求決定了通常的數(shù)據(jù)需求量和交付速度，以及在“數(shù)據(jù)潔凈度”和“數(shù)據(jù)及時(shí)性”方面的折衷取舍。
    我們現(xiàn)在來(lái)看看，針對(duì)這些個(gè)案的最優(yōu)架構(gòu)：
    1.訪問(wèn)目標(biāo)客戶的數(shù)據(jù)，你可能需要在每朵云上安裝查詢工具，滿足內(nèi)部數(shù)據(jù)存儲(chǔ)需要，在不至于向競(jìng)爭(zhēng)對(duì)手披露信息前提下對(duì)數(shù)據(jù)進(jìn)行分析。
    2.對(duì)于目標(biāo)預(yù)期和銷售過(guò)程數(shù)據(jù)，你可能需要在每朵云上添加本地?cái)?shù)據(jù)庫(kù)，方便針對(duì)特定目標(biāo)信息進(jìn)行快速交付。
    3.針對(duì)安全掃描，你可能需要在Hadoop旁邊部署能實(shí)現(xiàn)告警和單用戶查詢的軟件，并能把結(jié)果信息直接反饋給內(nèi)部管理員。
    4.對(duì)于“戰(zhàn)略威脅”數(shù)據(jù)，你可能需要在每朵云上建立高效，高容量的本地?cái)?shù)據(jù)庫(kù)，并且數(shù)據(jù)庫(kù)相互間能跨云聯(lián)合進(jìn)行協(xié)作，可執(zhí)行預(yù)分析。如果可能的話，在威脅抵達(dá)數(shù)據(jù)中心或單位其它部門前，該消息將直接反饋到系統(tǒng)，系統(tǒng)對(duì)此自動(dòng)做出回應(yīng)。
    5.對(duì)于市場(chǎng)分析，你可能需要云-本地“緩存”的高性能數(shù)據(jù)庫(kù)，能幫助過(guò)濾數(shù)據(jù)。這樣的話，可以把數(shù)據(jù)壓縮到數(shù)據(jù)倉(cāng)庫(kù)要求的大小，而且可能的話，還能對(duì)數(shù)據(jù)進(jìn)行預(yù)清潔。而現(xiàn)有的像extract, transform, load （ETL）這些工具還無(wú)法適應(yīng)新型數(shù)據(jù)的這些要求。
    6.對(duì)于研發(fā)，你可能需要內(nèi)部且獨(dú)立的分析數(shù)據(jù)庫(kù)，同時(shí)要有允許跨云查詢的數(shù)據(jù)聯(lián)合功能。
    假設(shè)你需要所有這六項(xiàng)內(nèi)容？那么你要考慮：
    ·數(shù)據(jù)聯(lián)合和跨數(shù)據(jù)庫(kù)查詢軟件，諸如Composite Software公司和Denodo公司的產(chǎn)品
    ·高性能和大容量數(shù)據(jù)庫(kù)技術(shù)，例如內(nèi)存和柱體技術(shù)，來(lái)自于EMC Greenplum公司，或者Sybase IQ公司的解決方案。
    ·低成本，靈活性的，云適應(yīng)型查詢/分析工具，例如Birst,或者Tableau.
    ·用于研發(fā)的內(nèi)部網(wǎng)狀架構(gòu)
    那么，現(xiàn)在要如何把它與現(xiàn)有架構(gòu)相結(jié)合呢？通常根據(jù)企業(yè)的規(guī)模，解決途徑可劃分為下列兩大陣營(yíng)：
    1.中小型企業(yè)（SMBs）往往沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)，即使有，功能也不齊全。那樣的話，在必要的數(shù)據(jù)倉(cāng)庫(kù)性能開始產(chǎn)生之際，能在云上盡量運(yùn)行的PaaS架構(gòu)是一個(gè)好選擇。
    2.大型企業(yè)有著大型主機(jī)，小型服務(wù)器群組，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)集市，以及架構(gòu)中現(xiàn)有基礎(chǔ)設(shè)施，因此確實(shí)要?jiǎng)?chuàng)建一個(gè)PaaS架構(gòu)。最好采用像IBM公司這樣的現(xiàn)行供應(yīng)商提供的方案，把公共云上的PaaS架構(gòu)與現(xiàn)有商業(yè)智能/分析/數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)相結(jié)合。
    綜上所述，不要認(rèn)為，把大量大數(shù)據(jù)從一個(gè)云直接吸納到數(shù)據(jù)倉(cāng)庫(kù)是最理想的解決方案。因?yàn)楫?dāng)你這么做時(shí)，你的競(jìng)爭(zhēng)對(duì)手將會(huì)利用他們的IT資源對(duì)其顧客進(jìn)行有針對(duì)性的，更深層的靈活分析，并推動(dòng)他們的品牌深入你的市場(chǎng)。在內(nèi)部分析和云分析功能之間設(shè)置防火墻是一回事，不做任何公共駐云分析又是另一回事。簡(jiǎn)言之：
    ·要接受：部分分析需在企業(yè)外部進(jìn)行
    ·要承認(rèn)：大型而且“不潔凈”數(shù)據(jù)需要分別處理
    要同意：為獲得最佳效果，大型數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)需要有獨(dú)立而又互相協(xié)作的架構(gòu)。