大數(shù)據(jù)處理系統(tǒng)是一個(gè)IT工具，還是業(yè)務(wù)系統(tǒng)呢?

        對(duì)于企業(yè)的業(yè)務(wù)人員，特別是數(shù)據(jù)科學(xué)家人群來說，Informatica的Intelligent Data Platform不僅是一個(gè)智能化的大數(shù)據(jù)預(yù)處理工具，而且可以像業(yè)務(wù)系統(tǒng)一樣為企業(yè)帶來直接的價(jià)值。

　　互聯(lián)網(wǎng)企業(yè)通常會(huì)強(qiáng)調(diào)細(xì)節(jié)和微創(chuàng)新，把產(chǎn)品的某一項(xiàng)功能做到極致，借此牢牢吸引大量用戶。但是企業(yè)級(jí)廠商則不同，它們更傾向于將產(chǎn)品平臺(tái)化。平 臺(tái)化的好處是可以把盡量多的功能集成在一起，方便部署與管理，而且可以借平臺(tái)屏蔽底層架構(gòu)的復(fù)雜性。軟件廠商尤喜平臺(tái)化，比如數(shù)據(jù)保護(hù)廠商有數(shù)據(jù)保護(hù)和統(tǒng) 一管理平臺(tái)，大數(shù)據(jù)產(chǎn)品廠商有大數(shù)據(jù)處理通用平臺(tái)等。

　　今年5月，獨(dú)立企業(yè)數(shù)據(jù)集成軟件提供商Informatica在一年一度的Informatica World上發(fā)布了Intelligent Data Platform。作為下一代數(shù)據(jù)平臺(tái)，Intelligent Data Platform可以在正確的時(shí)間提供正確的數(shù)據(jù)，并通過鋪設(shè)一條虛擬數(shù)據(jù)的高速公路，將人員、位置、設(shè)備以更加智能化的方式緊密聯(lián)系在一起，為大數(shù)據(jù)應(yīng) 用提供更好的支持。

　　提升智能化水平

　　Intelligent Data Platform包含三大核心：第一，Informatica Vibe虛擬數(shù)據(jù)機(jī)。Vibe是一種嵌入式的數(shù)據(jù)處理引擎，可以提供針對(duì)任何位置、格式或來源的數(shù)據(jù)的普遍的訪問能力，且支持客戶“一次映射，多次部 署”;第二，數(shù)據(jù)基礎(chǔ)設(shè)施。數(shù)據(jù)基礎(chǔ)設(shè)施層能夠在任何規(guī)模的環(huán)境中系統(tǒng)、連續(xù)地交付干凈、安全、互連的數(shù)據(jù)，從部門級(jí)到企業(yè)級(jí)，從事務(wù)數(shù)據(jù)到大數(shù)據(jù)，從內(nèi) 部部署到云端皆可;第三，數(shù)據(jù)智能。Informatica獨(dú)創(chuàng)的數(shù)據(jù)智能層將為客戶重新定位數(shù)據(jù)基礎(chǔ)設(shè)施層所創(chuàng)建的元數(shù)據(jù)，從而提高數(shù)據(jù)的可見性，改善 決策過程，并提升運(yùn)營(yíng)的智能化水平。

　　Intelligent Data Platform能夠以正確的方式將正確的數(shù)據(jù)傳遞給相關(guān)的人員或發(fā)送到正確的位置。Informatica公司大中國(guó)區(qū)首席產(chǎn)品顧問但彬歸納了 Intelligent Data Platform的主要功能：Informatica可以在正確的時(shí)間提供最高質(zhì)量的正確數(shù)據(jù);Informatica能夠?qū)?shù)據(jù)交付到正確的位置，包括 企業(yè)內(nèi)部或云端;Informatica 可以將數(shù)據(jù)交付給正確的人員，無論是IT人員、分析師、數(shù)據(jù)管理員，還是業(yè)務(wù)用戶;Informatica可以將數(shù)據(jù)交付給正確的設(shè)備，包括聯(lián)網(wǎng)設(shè)備或自 動(dòng)化決策系統(tǒng);Informatica能以正確的方式交付數(shù)據(jù)，并確保數(shù)據(jù)安全可靠、經(jīng)過授權(quán)且已獲得保護(hù)。

　　Intelligent Data Platform在Informatica World 2014大會(huì)上一發(fā)布，即受到了與會(huì)的Informatica的用戶的普遍歡迎。Informatica在大會(huì)上展示了一系列Intelligent Data Platform的應(yīng)用案例，包括自助服務(wù)數(shù)據(jù)集成(Springbok 項(xiàng)目)、數(shù)據(jù)導(dǎo)向型安全管理(Secure@Source 項(xiàng)目)和360 度全方位業(yè)務(wù)實(shí)體(MDM 10)等。目前，Intelligent Data Platform還沒有完全商品化。之所以在Informatica World 2014提前發(fā)布Intelligent Data Platform，Informatica是想在產(chǎn)品正式發(fā)布前先聽聽用戶的反饋，然后根據(jù)用戶的反饋進(jìn)一步對(duì)Intelligent Data Platform進(jìn)行完善，再擇機(jī)發(fā)布商用化的版本。這種在產(chǎn)品正式發(fā)布前先與客戶進(jìn)行交流已經(jīng)成了Informatica開發(fā)新產(chǎn)品的一個(gè)慣例。

　　為數(shù)據(jù)科學(xué)家服務(wù)

　　有業(yè)內(nèi)人士指出，大數(shù)據(jù)已經(jīng)發(fā)展到一個(gè)新的階段，仍然按照傳統(tǒng)商業(yè)智能(BI)的思路和方法解決大數(shù)據(jù)的問題已經(jīng)不合時(shí)宜。傳統(tǒng)BI采用包括數(shù)據(jù)采集、存儲(chǔ)、處理、分析和呈現(xiàn)等環(huán)節(jié)在內(nèi)的縱向數(shù)據(jù)處理方式，而新的大數(shù)據(jù)處理和利用方式則是分布式、扁平化的。文章來源：http://cda.pinggu.org/

　　傳統(tǒng)的數(shù)據(jù)處理方式是模式化的，用戶需要什么，廠商就提供什么樣的解決方案，但這些解決方案通常是固定的、不能靈活擴(kuò)展的。如果用戶提出了新的 要求，想在原有系統(tǒng)中增添新功能或進(jìn)行修改會(huì)十分麻煩。而Intelligent Data Platform可以解決這一問題，因?yàn)樗且粋€(gè)智能化的平臺(tái)，可以為集中到“數(shù)據(jù)湖”中的各種類型的數(shù)據(jù)建立相關(guān)性，然后再提供給業(yè)務(wù)應(yīng)用或通過接口與 分析工具銜接。

　　在進(jìn)行大數(shù)據(jù)處理時(shí)，傳統(tǒng)的數(shù)據(jù)庫(kù)和分析技術(shù)還有用嗎?但彬認(rèn)為，傳統(tǒng)技術(shù)與新技術(shù)之間不是誰對(duì)誰錯(cuò)的問題，而是要針對(duì)不同的應(yīng)用選擇適合的技 術(shù)。比如，銀行常見的商業(yè)行為分析仍然可以采用數(shù)據(jù)庫(kù)技術(shù)，而一些預(yù)測(cè)性的大數(shù)據(jù)挖掘項(xiàng)目則要采用新的大數(shù)據(jù)處理技術(shù)，呈現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)性。

　　“Intelligent Data Platform給用戶帶來的最大改變是解放了IT人員。原來IT人員既要做業(yè)務(wù)也要搞技術(shù)。未來，我們希望IT人員可以把工作重心放在做開發(fā)和系統(tǒng)集成 上，而業(yè)務(wù)人員可以基于Intelligent Data Platform將業(yè)務(wù)描述得更清楚，并且可以自動(dòng)生成一些規(guī)則。”但彬介紹說。

　　支撐Intelligent Data Platform的底層技術(shù)是Informatica的Vibe虛擬數(shù)據(jù)機(jī)，它也是所有Informatica產(chǎn)品的基礎(chǔ)引擎。在這個(gè)引擎之 上，Informatica可以幫助客戶進(jìn)行數(shù)據(jù)集成，提升數(shù)據(jù)質(zhì)量。Intelligent Data Platform是一個(gè)集成化的平臺(tái)，從IT的角度講，其實(shí)施肯定會(huì)存在一些挑戰(zhàn)，但它確實(shí)能給企業(yè)的業(yè)務(wù)帶來更多價(jià)值。“IT人員可以完成數(shù)據(jù)的抽取和 存儲(chǔ)，然后提交數(shù)據(jù)用于分析?！钡蚋嬖V記者，“但是企業(yè)的業(yè)務(wù)人員或數(shù)據(jù)科學(xué)家可以標(biāo)記數(shù)據(jù)的質(zhì)量、發(fā)現(xiàn)問題，從數(shù)據(jù)中發(fā)現(xiàn)更多有價(jià)值的東西。所以，我 們希望業(yè)務(wù)人員能借助Intelligent Data Platform更多地接觸和利用數(shù)據(jù)，而不僅僅是IT人員?！?

　　在推出Intelligent Data Platform的同時(shí)，Informatica還提出了“數(shù)據(jù)湖”的概念。所謂數(shù)據(jù)湖，就是將不同來源的數(shù)據(jù)存放在一起，但并不是將未經(jīng)處理的數(shù)據(jù)簡(jiǎn)單 地堆放在一起，而是要將這些數(shù)據(jù)進(jìn)行預(yù)先處理，建立數(shù)據(jù)之間的聯(lián)系，這更有利于日后的大數(shù)據(jù)處理。

　　大數(shù)據(jù)是業(yè)務(wù)系統(tǒng)

　　傳統(tǒng)的數(shù)據(jù)處理與分析都是IT人員的事，因此IT人員必須掌握豐富的數(shù)學(xué)知識(shí)和計(jì)算機(jī)技術(shù)。但是，大數(shù)據(jù)的最終目標(biāo)是為企業(yè)業(yè)務(wù)和應(yīng)用服務(wù)，而 IT人員通常不太了解業(yè)務(wù)，這就造成了大數(shù)據(jù)技術(shù)與應(yīng)用的脫節(jié)。但彬表示，Intelligent Data Platform最理想的使用者是企業(yè)的業(yè)務(wù)人員或數(shù)據(jù)科學(xué)家，因?yàn)樗麄兏私鈽I(yè)務(wù)需求，可以利用Intelligent Data Platform更好地解讀大數(shù)據(jù)分析結(jié)果。

　　大數(shù)據(jù)處理系統(tǒng)是一個(gè)IT工具，還是業(yè)務(wù)系統(tǒng)呢?不同的定位決定了大數(shù)據(jù)處理系統(tǒng)的不同“命運(yùn)”。“中國(guó)的很多客戶通常將大數(shù)據(jù)處理系統(tǒng)當(dāng)成一 個(gè)IT工具來使用。從IT運(yùn)維的角度來看，IT人員只負(fù)責(zé)保證系統(tǒng)的正常運(yùn)行、開關(guān)，雖然偶爾也會(huì)編寫一些代碼，但畢竟不能從業(yè)務(wù)的角度充分利用大數(shù)據(jù)處 理系統(tǒng)。在這種情況下，大數(shù)據(jù)處理系統(tǒng)只是一個(gè)IT支撐和保障系統(tǒng)，而不能直接給企業(yè)帶來商業(yè)價(jià)值?！钡蚪榻B說，“如果將大數(shù)據(jù)處理系統(tǒng)當(dāng)成一個(gè)業(yè)務(wù)系 統(tǒng)來對(duì)待，那么業(yè)務(wù)人員就可以利用這個(gè)平臺(tái)更好地挖掘數(shù)據(jù)，給業(yè)務(wù)帶來直接的價(jià)值?！?

　　據(jù)記者了解，一個(gè)具有單一功能的大數(shù)據(jù)產(chǎn)品可能需要幾十萬元，而一套比較完善的大數(shù)據(jù)整體解決方案的價(jià)格可能達(dá)到上千萬元。如果不能充分發(fā)揮大 數(shù)據(jù)產(chǎn)品應(yīng)有的價(jià)值，那么對(duì)企業(yè)來說無疑是一種巨大的浪費(fèi)。但彬表示：“如果企業(yè)只把大數(shù)據(jù)產(chǎn)品當(dāng)成一個(gè)IT工具，那么可能不會(huì)持續(xù)地對(duì)產(chǎn)品進(jìn)行升級(jí)，也 不會(huì)購(gòu)買廠商的專業(yè)服務(wù)，一旦遇到解決不了的問題，就可能輕易放棄?！?

　　Informatica曾經(jīng)帶國(guó)內(nèi)某銀行的技術(shù)人員去美國(guó)與Informatica的客戶交流。讓但彬吃驚的是，美國(guó)客戶參與交流的全是公司的 業(yè)務(wù)人員，講的全是業(yè)務(wù)系統(tǒng)如何運(yùn)行。參與交流的中國(guó)客戶全是技術(shù)人員，想了解的是美國(guó)企業(yè)如何構(gòu)建一個(gè)大數(shù)據(jù)系統(tǒng)，而不太關(guān)心系統(tǒng)如何運(yùn)行和如何給企業(yè) 帶來價(jià)值。如此強(qiáng)烈的反差給中國(guó)的用戶提了一個(gè)醒：第一，部署大數(shù)據(jù)應(yīng)用應(yīng)該以業(yè)務(wù)為中心和出發(fā)點(diǎn);第二，企業(yè)最好自己主導(dǎo)大數(shù)據(jù)系統(tǒng)的部署與應(yīng)用，因?yàn)?企業(yè)最了解自身的業(yè)務(wù)需求，可以更充分地利用大數(shù)據(jù)平臺(tái)，提高數(shù)據(jù)分析的效率。