大數(shù)據(jù)時代，“數(shù)”誰靠譜

過去幾年內(nèi)，我們見證了互聯(lián)網(wǎng)從“數(shù)據(jù)”到“大數(shù)據(jù)”的量的轉(zhuǎn)變。作為擁有數(shù)據(jù)生產(chǎn)者和使用者雙重身份的企業(yè)，正面臨著時代變革所帶來的各方面的挑戰(zhàn)，無論是大公司還是小公司，或所處什么行業(yè)領(lǐng)域，企業(yè)所面臨的困境越來越相似。

企業(yè)對于自己的信息知之多少？

這些數(shù)據(jù)來自何方？

如何應(yīng)對爆炸式增長的數(shù)據(jù)量？

這些數(shù)據(jù)是否安全可靠？

如何使龐大繁雜的數(shù)據(jù)變得易于管理？

……

可見隨著 “數(shù)字化轉(zhuǎn)型”進程的推進，企業(yè)對數(shù)據(jù)的要求也隨之提升，從“量”變逐漸往“質(zhì)”變的方向發(fā)展?！翱尚湃螖?shù)據(jù)”（Trusted Data）將成為企業(yè)競相爭取的下一座金礦。

其實數(shù)據(jù)就如原油，只有經(jīng)過提煉才能發(fā)揮無盡的潛能，“可信任的數(shù)據(jù)”即經(jīng)過提煉后的石油，那么究竟何為“可信任數(shù)據(jù)”？從字面上理解，它主要有兩層意思：

其一，數(shù)據(jù)完整、準確。大數(shù)據(jù)并非只是指其數(shù)據(jù)量之大，更體現(xiàn)在其所蘊含的價值之大。通過保證數(shù)據(jù)的完整和準確，使數(shù)據(jù)的價值得到體現(xiàn)，數(shù)據(jù)完整、準確是“可信任”的根基。

其二，可值得信賴。數(shù)據(jù)質(zhì)量是確定決策所使用的數(shù)據(jù)是否可靠的一個基本考量因素?！翱尚湃蔚臄?shù)據(jù)”整合來自任何來源的可信數(shù)據(jù)，將其組合成有意義、有價值的信息，這樣的數(shù)據(jù)是值得依賴的。

高質(zhì)量的數(shù)據(jù)是大數(shù)據(jù)發(fā)揮效能的前提和基礎(chǔ)，企業(yè)獲取“可信任數(shù)據(jù)”，勢如奪金。而通過強大的大數(shù)據(jù)分析技術(shù)是獲取“可信任數(shù)據(jù)”發(fā)揮大數(shù)據(jù)價值的重要手段。想必這時候你就會問，如何獲得“可信賴數(shù)據(jù)”呢？作為數(shù)據(jù)管理和分析領(lǐng)域的強手，IBM給出了數(shù)據(jù)收集，集成到管理整個生命周期的解決方案，幫助企業(yè)從海量數(shù)據(jù)中獲得洞察，助力科學(xué)決策。

數(shù)據(jù)提質(zhì)必經(jīng)站——Information Analyzer

企業(yè)經(jīng)常碰到幾個數(shù)據(jù)質(zhì)量問題，如：數(shù)據(jù)不完整，數(shù)據(jù)不一致，數(shù)據(jù)邏輯錯誤，數(shù)據(jù)有錯誤等。要想獲得高質(zhì)量的“可信任數(shù)據(jù)”，則必須規(guī)避這些問題。IBM Information Analyzer就很好的解決了這些問題，它就像是一個提質(zhì)站，提供了數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)質(zhì)量監(jiān)控和數(shù)據(jù)規(guī)則設(shè)計與分析功能，幫助企業(yè)降低錯誤信息所帶來的風(fēng)險，保證“可信任數(shù)據(jù)”順利交付。

通過 IBM InfoSphere InformationAnalyzer 軟件工具實現(xiàn)對數(shù)據(jù)進行全面分析，包括技術(shù)層面和業(yè)務(wù)層面，體現(xiàn)如下：

標準評估：為企業(yè)數(shù)據(jù)源的結(jié)構(gòu)、內(nèi)容和質(zhì)量建立一個全面、整體的認知。

數(shù)據(jù)規(guī)則：通過定制并不斷地調(diào)整自定義數(shù)據(jù)質(zhì)量規(guī)則來對數(shù)據(jù)進行更深入的質(zhì)量驗證，趨勢預(yù)測和模式分析。

報告指標：通過對分析結(jié)果的鑒別、評估以及異常管理來限制數(shù)據(jù)質(zhì)量的惡化，從而降低風(fēng)險。

數(shù)據(jù)集成利器——DataStage +CDC

相信很多企業(yè)都有這么一個感覺，雖然大數(shù)據(jù)為企業(yè)機構(gòu)在做商業(yè)決策等方面提供了強大的支持，但與此同時，錯綜復(fù)雜的數(shù)據(jù)本身對企業(yè)就是一個挑戰(zhàn)。如何將大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成“可信任數(shù)據(jù)”是企業(yè)所急需的，IBM擁有DataStage和ChangeDataCapture（CDC）等多種數(shù)據(jù)集成解決方案正是為解決這些問題而生。通過將不同來源的數(shù)據(jù)組合成有意義、有價值的信息，幫助企業(yè)理解、清理、監(jiān)視、轉(zhuǎn)換和提供數(shù)據(jù)，確保信息的可信度和一致性，并對數(shù)據(jù)進行實時監(jiān)管。

（InfoSphereCDC產(chǎn)品的關(guān)鍵組件）

作為數(shù)據(jù)集成的兩大利器，DataStage和CDC相輔相成，卻又各有所長。IBM CDC是一種準確而高效的數(shù)據(jù)復(fù)制工具，可以幫助企業(yè)輕松地獲取業(yè)務(wù)生產(chǎn)系統(tǒng)的增量數(shù)據(jù)；而DataStage 則是企業(yè)數(shù)據(jù)集成領(lǐng)域另一個專業(yè)而強大的ETL工具，擁有多處理器硬件平臺的并行處理能力和可擴展的功能，可以高效批量處理海量數(shù)據(jù)。當CDC與DataStage“雙劍合璧”時，就能實現(xiàn)快速地把業(yè)務(wù)增量數(shù)據(jù)，實時地按業(yè)務(wù)規(guī)則進行數(shù)據(jù)轉(zhuǎn)換和集成處理，把最終處理結(jié)果更新到目標的分析系統(tǒng)中。

（IBM DataStageETL解決方案系統(tǒng)架構(gòu)圖）

IBM DataStage 和CDC等數(shù)據(jù)集成方案適用于各個領(lǐng)域，尤其是銀行、保險、大型制造業(yè)等行業(yè)領(lǐng)域。例如，華為借助DataStage ETL解決方案打通了各個業(yè)務(wù)之間的“信息孤島”的問題；中國建設(shè)銀行在建設(shè)海外開發(fā)中心的過程中，通過CDC使海外分行和北京中心建立了實時雙向數(shù)據(jù)同步功能。

我的數(shù)據(jù)我做主——InfoSphere MDM

科學(xué)的決策一定是基于準確可靠的數(shù)據(jù)得出的，而想要獲得“可信賴數(shù)據(jù)”，企業(yè)就需要擁有一套適合自己的數(shù)據(jù)監(jiān)管方案。無論是銀行、制造業(yè)、零售商或政府機構(gòu)，都擁有自己的核心數(shù)據(jù)，即我們常說的主數(shù)據(jù)，一套強大的主數(shù)據(jù)管理可幫助企業(yè)創(chuàng)造出巨大的商業(yè)價值。IBM MDM為企業(yè)提供基于SOA 開放標準的主數(shù)據(jù)管理，可擴展的功能架構(gòu)，和靈活地進行客戶化定制主數(shù)據(jù)的管理方案，為所有業(yè)務(wù)部門提供及時、準確的主數(shù)據(jù)業(yè)務(wù)視圖。MDM主要有三種部署方式：協(xié)作型、操作型和關(guān)聯(lián)數(shù)據(jù)管理，企業(yè)可根據(jù)自身屬性選擇使用。

由于缺乏全局意識，很多企業(yè)所采用的應(yīng)用程序只是為支持某個業(yè)務(wù)領(lǐng)域的運營過程而設(shè)計的，它們擁有自己的信息技術(shù)設(shè)施，包括與應(yīng)用相關(guān)的數(shù)據(jù)存儲和定義，其結(jié)果就是導(dǎo)致同步數(shù)據(jù)變得十分復(fù)雜，維護難度不減反增，數(shù)據(jù)質(zhì)量很難確保。通過集信息集成、管理和共享于一身的IBM MDM，可很好的解決這些問題，5個步驟就能達到簡化結(jié)構(gòu)，降低成本，改進數(shù)據(jù)監(jiān)管等目標：

1.    建模：用靈活的數(shù)據(jù)模型定義任意類型的主數(shù)據(jù)

2.    識別：快速匹配和準確識別重復(fù)項目

3.    解決：合并以創(chuàng)建可靠、唯一的真實來源

4.    聯(lián)系：揭示各類主數(shù)據(jù)之間的關(guān)系

5.    治理：創(chuàng)建、使用、管理和監(jiān)控主數(shù)據(jù)

大數(shù)據(jù)時代，企業(yè)的戰(zhàn)略一定是從“業(yè)務(wù)驅(qū)動”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動”。未來有價值的公司，一定是數(shù)據(jù)驅(qū)動的公司。在這樣的時代背景下，參差不齊的數(shù)據(jù)時刻困擾著企業(yè)業(yè)務(wù)發(fā)展之路，唯有從數(shù)據(jù)的源頭到管理全過程確保數(shù)據(jù)的準確可靠，才能保障企業(yè)有效地挖掘隱藏在大數(shù)據(jù)中的信息，為“我”所用。因此在大數(shù)據(jù)時代，“數(shù)”誰靠譜？相信你看完文章心里已經(jīng)有了答案。