大數(shù)據(jù)時(shí)代,“數(shù)”誰靠譜

過去幾年內(nèi)，我們見證了互聯(lián)網(wǎng)從“數(shù)據(jù)”到“大數(shù)據(jù)”的量的轉(zhuǎn)變。作為擁有數(shù)據(jù)生產(chǎn)者和使用者雙重身份的企業(yè)，正面臨著時(shí)代變革所帶來的各方面的挑戰(zhàn)，無論是大公司還是小公司，或所處什么行業(yè)領(lǐng)域，企業(yè)所面臨的困境越來越相似。

企業(yè)對于自己的信息知之多少？

這些數(shù)據(jù)來自何方？

如何應(yīng)對爆炸式增長的數(shù)據(jù)量？

這些數(shù)據(jù)是否安全可靠？

如何使龐大繁雜的數(shù)據(jù)變得易于管理？

……

可見隨著 “數(shù)字化轉(zhuǎn)型”進(jìn)程的推進(jìn)，企業(yè)對數(shù)據(jù)的要求也隨之提升，從“量”變逐漸往“質(zhì)”變的方向發(fā)展?！翱尚湃螖?shù)據(jù)”（Trusted Data）將成為企業(yè)競相爭取的下一座金礦。

其實(shí)數(shù)據(jù)就如原油，只有經(jīng)過提煉才能發(fā)揮無盡的潛能，“可信任的數(shù)據(jù)”即經(jīng)過提煉后的石油，那么究竟何為“可信任數(shù)據(jù)”？從字面上理解，它主要有兩層意思：

其一，數(shù)據(jù)完整、準(zhǔn)確。大數(shù)據(jù)并非只是指其數(shù)據(jù)量之大，更體現(xiàn)在其所蘊(yùn)含的價(jià)值之大。通過保證數(shù)據(jù)的完整和準(zhǔn)確，使數(shù)據(jù)的價(jià)值得到體現(xiàn)，數(shù)據(jù)完整、準(zhǔn)確是“可信任”的根基。

其二，可值得信賴。數(shù)據(jù)質(zhì)量是確定決策所使用的數(shù)據(jù)是否可靠的一個(gè)基本考量因素?！翱尚湃蔚臄?shù)據(jù)”整合來自任何來源的可信數(shù)據(jù)，將其組合成有意義、有價(jià)值的信息，這樣的數(shù)據(jù)是值得依賴的。

高質(zhì)量的數(shù)據(jù)是大數(shù)據(jù)發(fā)揮效能的前提和基礎(chǔ)，企業(yè)獲取“可信任數(shù)據(jù)”，勢如奪金。而通過強(qiáng)大的大數(shù)據(jù)分析技術(shù)是獲取“可信任數(shù)據(jù)”發(fā)揮大數(shù)據(jù)價(jià)值的重要手段。想必這時(shí)候你就會問，如何獲得“可信賴數(shù)據(jù)”呢？作為數(shù)據(jù)管理和分析領(lǐng)域的強(qiáng)手，IBM給出了數(shù)據(jù)收集，集成到管理整個(gè)生命周期的解決方案，幫助企業(yè)從海量數(shù)據(jù)中獲得洞察，助力科學(xué)決策。

數(shù)據(jù)提質(zhì)必經(jīng)站——Information Analyzer

企業(yè)經(jīng)常碰到幾個(gè)數(shù)據(jù)質(zhì)量問題，如：數(shù)據(jù)不完整，數(shù)據(jù)不一致，數(shù)據(jù)邏輯錯(cuò)誤，數(shù)據(jù)有錯(cuò)誤等。要想獲得高質(zhì)量的“可信任數(shù)據(jù)”，則必須規(guī)避這些問題。IBM Information Analyzer就很好的解決了這些問題，它就像是一個(gè)提質(zhì)站，提供了數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)質(zhì)量監(jiān)控和數(shù)據(jù)規(guī)則設(shè)計(jì)與分析功能，幫助企業(yè)降低錯(cuò)誤信息所帶來的風(fēng)險(xiǎn)，保證“可信任數(shù)據(jù)”順利交付。

通過 IBM InfoSphere InformationAnalyzer 軟件工具實(shí)現(xiàn)對數(shù)據(jù)進(jìn)行全面分析，包括技術(shù)層面和業(yè)務(wù)層面，體現(xiàn)如下：

標(biāo)準(zhǔn)評估：為企業(yè)數(shù)據(jù)源的結(jié)構(gòu)、內(nèi)容和質(zhì)量建立一個(gè)全面、整體的認(rèn)知。

數(shù)據(jù)規(guī)則：通過定制并不斷地調(diào)整自定義數(shù)據(jù)質(zhì)量規(guī)則來對數(shù)據(jù)進(jìn)行更深入的質(zhì)量驗(yàn)證，趨勢預(yù)測和模式分析。

報(bào)告指標(biāo)：通過對分析結(jié)果的鑒別、評估以及異常管理來限制數(shù)據(jù)質(zhì)量的惡化，從而降低風(fēng)險(xiǎn)。

數(shù)據(jù)集成利器——DataStage +CDC

相信很多企業(yè)都有這么一個(gè)感覺，雖然大數(shù)據(jù)為企業(yè)機(jī)構(gòu)在做商業(yè)決策等方面提供了強(qiáng)大的支持，但與此同時(shí)，錯(cuò)綜復(fù)雜的數(shù)據(jù)本身對企業(yè)就是一個(gè)挑戰(zhàn)。如何將大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成“可信任數(shù)據(jù)”是企業(yè)所急需的，IBM擁有DataStage和ChangeDataCapture（CDC）等多種數(shù)據(jù)集成解決方案正是為解決這些問題而生。通過將不同來源的數(shù)據(jù)組合成有意義、有價(jià)值的信息，幫助企業(yè)理解、清理、監(jiān)視、轉(zhuǎn)換和提供數(shù)據(jù)，確保信息的可信度和一致性，并對數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)管。

（InfoSphereCDC產(chǎn)品的關(guān)鍵組件）

作為數(shù)據(jù)集成的兩大利器，DataStage和CDC相輔相成，卻又各有所長。IBM CDC是一種準(zhǔn)確而高效的數(shù)據(jù)復(fù)制工具，可以幫助企業(yè)輕松地獲取業(yè)務(wù)生產(chǎn)系統(tǒng)的增量數(shù)據(jù)；而DataStage 則是企業(yè)數(shù)據(jù)集成領(lǐng)域另一個(gè)專業(yè)而強(qiáng)大的ETL工具，擁有多處理器硬件平臺的并行處理能力和可擴(kuò)展的功能，可以高效批量處理海量數(shù)據(jù)。當(dāng)CDC與DataStage“雙劍合璧”時(shí)，就能實(shí)現(xiàn)快速地把業(yè)務(wù)增量數(shù)據(jù)，實(shí)時(shí)地按業(yè)務(wù)規(guī)則進(jìn)行數(shù)據(jù)轉(zhuǎn)換和集成處理，把最終處理結(jié)果更新到目標(biāo)的分析系統(tǒng)中。

（IBM DataStageETL解決方案系統(tǒng)架構(gòu)圖）

IBM DataStage 和CDC等數(shù)據(jù)集成方案適用于各個(gè)領(lǐng)域，尤其是銀行、保險(xiǎn)、大型制造業(yè)等行業(yè)領(lǐng)域。例如，華為借助DataStage ETL解決方案打通了各個(gè)業(yè)務(wù)之間的“信息孤島”的問題；中國建設(shè)銀行在建設(shè)海外開發(fā)中心的過程中，通過CDC使海外分行和北京中心建立了實(shí)時(shí)雙向數(shù)據(jù)同步功能。

我的數(shù)據(jù)我做主——InfoSphere MDM

科學(xué)的決策一定是基于準(zhǔn)確可靠的數(shù)據(jù)得出的，而想要獲得“可信賴數(shù)據(jù)”，企業(yè)就需要擁有一套適合自己的數(shù)據(jù)監(jiān)管方案。無論是銀行、制造業(yè)、零售商或政府機(jī)構(gòu)，都擁有自己的核心數(shù)據(jù)，即我們常說的主數(shù)據(jù)，一套強(qiáng)大的主數(shù)據(jù)管理可幫助企業(yè)創(chuàng)造出巨大的商業(yè)價(jià)值。IBM MDM為企業(yè)提供基于SOA 開放標(biāo)準(zhǔn)的主數(shù)據(jù)管理，可擴(kuò)展的功能架構(gòu)，和靈活地進(jìn)行客戶化定制主數(shù)據(jù)的管理方案，為所有業(yè)務(wù)部門提供及時(shí)、準(zhǔn)確的主數(shù)據(jù)業(yè)務(wù)視圖。MDM主要有三種部署方式：協(xié)作型、操作型和關(guān)聯(lián)數(shù)據(jù)管理，企業(yè)可根據(jù)自身屬性選擇使用。

由于缺乏全局意識，很多企業(yè)所采用的應(yīng)用程序只是為支持某個(gè)業(yè)務(wù)領(lǐng)域的運(yùn)營過程而設(shè)計(jì)的，它們擁有自己的信息技術(shù)設(shè)施，包括與應(yīng)用相關(guān)的數(shù)據(jù)存儲和定義，其結(jié)果就是導(dǎo)致同步數(shù)據(jù)變得十分復(fù)雜，維護(hù)難度不減反增，數(shù)據(jù)質(zhì)量很難確保。通過集信息集成、管理和共享于一身的IBM MDM，可很好的解決這些問題，5個(gè)步驟就能達(dá)到簡化結(jié)構(gòu)，降低成本，改進(jìn)數(shù)據(jù)監(jiān)管等目標(biāo)：

1.    建模：用靈活的數(shù)據(jù)模型定義任意類型的主數(shù)據(jù)

2.    識別：快速匹配和準(zhǔn)確識別重復(fù)項(xiàng)目

3.    解決：合并以創(chuàng)建可靠、唯一的真實(shí)來源

4.    聯(lián)系：揭示各類主數(shù)據(jù)之間的關(guān)系

5.    治理：創(chuàng)建、使用、管理和監(jiān)控主數(shù)據(jù)

大數(shù)據(jù)時(shí)代，企業(yè)的戰(zhàn)略一定是從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動(dòng)”。未來有價(jià)值的公司，一定是數(shù)據(jù)驅(qū)動(dòng)的公司。在這樣的時(shí)代背景下，參差不齊的數(shù)據(jù)時(shí)刻困擾著企業(yè)業(yè)務(wù)發(fā)展之路，唯有從數(shù)據(jù)的源頭到管理全過程確保數(shù)據(jù)的準(zhǔn)確可靠，才能保障企業(yè)有效地挖掘隱藏在大數(shù)據(jù)中的信息，為“我”所用。因此在大數(shù)據(jù)時(shí)代，“數(shù)”誰靠譜？相信你看完文章心里已經(jīng)有了答案。