大數(shù)據(jù)處理系統(tǒng)是一個IT工具，還是業(yè)務(wù)系統(tǒng)呢?

        對于企業(yè)的業(yè)務(wù)人員，特別是數(shù)據(jù)科學(xué)家人群來說，Informatica的Intelligent Data Platform不僅是一個智能化的大數(shù)據(jù)預(yù)處理工具，而且可以像業(yè)務(wù)系統(tǒng)一樣為企業(yè)帶來直接的價值。

　　互聯(lián)網(wǎng)企業(yè)通常會強調(diào)細(xì)節(jié)和微創(chuàng)新，把產(chǎn)品的某一項功能做到極致，借此牢牢吸引大量用戶。但是企業(yè)級廠商則不同，它們更傾向于將產(chǎn)品平臺化。平 臺化的好處是可以把盡量多的功能集成在一起，方便部署與管理，而且可以借平臺屏蔽底層架構(gòu)的復(fù)雜性。軟件廠商尤喜平臺化，比如數(shù)據(jù)保護(hù)廠商有數(shù)據(jù)保護(hù)和統(tǒng) 一管理平臺，大數(shù)據(jù)產(chǎn)品廠商有大數(shù)據(jù)處理通用平臺等。

　　今年5月，獨立企業(yè)數(shù)據(jù)集成軟件提供商Informatica在一年一度的Informatica World上發(fā)布了Intelligent Data Platform。作為下一代數(shù)據(jù)平臺，Intelligent Data Platform可以在正確的時間提供正確的數(shù)據(jù)，并通過鋪設(shè)一條虛擬數(shù)據(jù)的高速公路，將人員、位置、設(shè)備以更加智能化的方式緊密聯(lián)系在一起，為大數(shù)據(jù)應(yīng) 用提供更好的支持。

　　提升智能化水平

　　Intelligent Data Platform包含三大核心：第一，Informatica Vibe虛擬數(shù)據(jù)機(jī)。Vibe是一種嵌入式的數(shù)據(jù)處理引擎，可以提供針對任何位置、格式或來源的數(shù)據(jù)的普遍的訪問能力，且支持客戶“一次映射，多次部 署”;第二，數(shù)據(jù)基礎(chǔ)設(shè)施。數(shù)據(jù)基礎(chǔ)設(shè)施層能夠在任何規(guī)模的環(huán)境中系統(tǒng)、連續(xù)地交付干凈、安全、互連的數(shù)據(jù)，從部門級到企業(yè)級，從事務(wù)數(shù)據(jù)到大數(shù)據(jù)，從內(nèi) 部部署到云端皆可;第三，數(shù)據(jù)智能。Informatica獨創(chuàng)的數(shù)據(jù)智能層將為客戶重新定位數(shù)據(jù)基礎(chǔ)設(shè)施層所創(chuàng)建的元數(shù)據(jù)，從而提高數(shù)據(jù)的可見性，改善 決策過程，并提升運營的智能化水平。

　　Intelligent Data Platform能夠以正確的方式將正確的數(shù)據(jù)傳遞給相關(guān)的人員或發(fā)送到正確的位置。Informatica公司大中國區(qū)首席產(chǎn)品顧問但彬歸納了 Intelligent Data Platform的主要功能：Informatica可以在正確的時間提供最高質(zhì)量的正確數(shù)據(jù);Informatica能夠?qū)?shù)據(jù)交付到正確的位置，包括 企業(yè)內(nèi)部或云端;Informatica 可以將數(shù)據(jù)交付給正確的人員，無論是IT人員、分析師、數(shù)據(jù)管理員，還是業(yè)務(wù)用戶;Informatica可以將數(shù)據(jù)交付給正確的設(shè)備，包括聯(lián)網(wǎng)設(shè)備或自 動化決策系統(tǒng);Informatica能以正確的方式交付數(shù)據(jù)，并確保數(shù)據(jù)安全可靠、經(jīng)過授權(quán)且已獲得保護(hù)。

　　Intelligent Data Platform在Informatica World 2014大會上一發(fā)布，即受到了與會的Informatica的用戶的普遍歡迎。Informatica在大會上展示了一系列Intelligent Data Platform的應(yīng)用案例，包括自助服務(wù)數(shù)據(jù)集成(Springbok 項目)、數(shù)據(jù)導(dǎo)向型安全管理(Secure@Source 項目)和360 度全方位業(yè)務(wù)實體(MDM 10)等。目前，Intelligent Data Platform還沒有完全商品化。之所以在Informatica World 2014提前發(fā)布Intelligent Data Platform，Informatica是想在產(chǎn)品正式發(fā)布前先聽聽用戶的反饋，然后根據(jù)用戶的反饋進(jìn)一步對Intelligent Data Platform進(jìn)行完善，再擇機(jī)發(fā)布商用化的版本。這種在產(chǎn)品正式發(fā)布前先與客戶進(jìn)行交流已經(jīng)成了Informatica開發(fā)新產(chǎn)品的一個慣例。

　　為數(shù)據(jù)科學(xué)家服務(wù)

　　有業(yè)內(nèi)人士指出，大數(shù)據(jù)已經(jīng)發(fā)展到一個新的階段，仍然按照傳統(tǒng)商業(yè)智能(BI)的思路和方法解決大數(shù)據(jù)的問題已經(jīng)不合時宜。傳統(tǒng)BI采用包括數(shù)據(jù)采集、存儲、處理、分析和呈現(xiàn)等環(huán)節(jié)在內(nèi)的縱向數(shù)據(jù)處理方式，而新的大數(shù)據(jù)處理和利用方式則是分布式、扁平化的。文章來源：http://cda.pinggu.org/

　　傳統(tǒng)的數(shù)據(jù)處理方式是模式化的，用戶需要什么，廠商就提供什么樣的解決方案，但這些解決方案通常是固定的、不能靈活擴(kuò)展的。如果用戶提出了新的 要求，想在原有系統(tǒng)中增添新功能或進(jìn)行修改會十分麻煩。而Intelligent Data Platform可以解決這一問題，因為它是一個智能化的平臺，可以為集中到“數(shù)據(jù)湖”中的各種類型的數(shù)據(jù)建立相關(guān)性，然后再提供給業(yè)務(wù)應(yīng)用或通過接口與 分析工具銜接。

　　在進(jìn)行大數(shù)據(jù)處理時，傳統(tǒng)的數(shù)據(jù)庫和分析技術(shù)還有用嗎?但彬認(rèn)為，傳統(tǒng)技術(shù)與新技術(shù)之間不是誰對誰錯的問題，而是要針對不同的應(yīng)用選擇適合的技 術(shù)。比如，銀行常見的商業(yè)行為分析仍然可以采用數(shù)據(jù)庫技術(shù)，而一些預(yù)測性的大數(shù)據(jù)挖掘項目則要采用新的大數(shù)據(jù)處理技術(shù)，呈現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)性。

　　“Intelligent Data Platform給用戶帶來的最大改變是解放了IT人員。原來IT人員既要做業(yè)務(wù)也要搞技術(shù)。未來，我們希望IT人員可以把工作重心放在做開發(fā)和系統(tǒng)集成 上，而業(yè)務(wù)人員可以基于Intelligent Data Platform將業(yè)務(wù)描述得更清楚，并且可以自動生成一些規(guī)則?！钡蚪榻B說。

　　支撐Intelligent Data Platform的底層技術(shù)是Informatica的Vibe虛擬數(shù)據(jù)機(jī)，它也是所有Informatica產(chǎn)品的基礎(chǔ)引擎。在這個引擎之 上，Informatica可以幫助客戶進(jìn)行數(shù)據(jù)集成，提升數(shù)據(jù)質(zhì)量。Intelligent Data Platform是一個集成化的平臺，從IT的角度講，其實施肯定會存在一些挑戰(zhàn)，但它確實能給企業(yè)的業(yè)務(wù)帶來更多價值?！癐T人員可以完成數(shù)據(jù)的抽取和 存儲，然后提交數(shù)據(jù)用于分析?！钡蚋嬖V記者，“但是企業(yè)的業(yè)務(wù)人員或數(shù)據(jù)科學(xué)家可以標(biāo)記數(shù)據(jù)的質(zhì)量、發(fā)現(xiàn)問題，從數(shù)據(jù)中發(fā)現(xiàn)更多有價值的東西。所以，我 們希望業(yè)務(wù)人員能借助Intelligent Data Platform更多地接觸和利用數(shù)據(jù)，而不僅僅是IT人員。”

　　在推出Intelligent Data Platform的同時，Informatica還提出了“數(shù)據(jù)湖”的概念。所謂數(shù)據(jù)湖，就是將不同來源的數(shù)據(jù)存放在一起，但并不是將未經(jīng)處理的數(shù)據(jù)簡單 地堆放在一起，而是要將這些數(shù)據(jù)進(jìn)行預(yù)先處理，建立數(shù)據(jù)之間的聯(lián)系，這更有利于日后的大數(shù)據(jù)處理。

　　大數(shù)據(jù)是業(yè)務(wù)系統(tǒng)

　　傳統(tǒng)的數(shù)據(jù)處理與分析都是IT人員的事，因此IT人員必須掌握豐富的數(shù)學(xué)知識和計算機(jī)技術(shù)。但是，大數(shù)據(jù)的最終目標(biāo)是為企業(yè)業(yè)務(wù)和應(yīng)用服務(wù)，而 IT人員通常不太了解業(yè)務(wù)，這就造成了大數(shù)據(jù)技術(shù)與應(yīng)用的脫節(jié)。但彬表示，Intelligent Data Platform最理想的使用者是企業(yè)的業(yè)務(wù)人員或數(shù)據(jù)科學(xué)家，因為他們更了解業(yè)務(wù)需求，可以利用Intelligent Data Platform更好地解讀大數(shù)據(jù)分析結(jié)果。

　　大數(shù)據(jù)處理系統(tǒng)是一個IT工具，還是業(yè)務(wù)系統(tǒng)呢?不同的定位決定了大數(shù)據(jù)處理系統(tǒng)的不同“命運”?！爸袊暮芏嗫蛻敉ǔ⒋髷?shù)據(jù)處理系統(tǒng)當(dāng)成一 個IT工具來使用。從IT運維的角度來看，IT人員只負(fù)責(zé)保證系統(tǒng)的正常運行、開關(guān)，雖然偶爾也會編寫一些代碼，但畢竟不能從業(yè)務(wù)的角度充分利用大數(shù)據(jù)處 理系統(tǒng)。在這種情況下，大數(shù)據(jù)處理系統(tǒng)只是一個IT支撐和保障系統(tǒng)，而不能直接給企業(yè)帶來商業(yè)價值。”但彬介紹說，“如果將大數(shù)據(jù)處理系統(tǒng)當(dāng)成一個業(yè)務(wù)系 統(tǒng)來對待，那么業(yè)務(wù)人員就可以利用這個平臺更好地挖掘數(shù)據(jù)，給業(yè)務(wù)帶來直接的價值。”

　　據(jù)記者了解，一個具有單一功能的大數(shù)據(jù)產(chǎn)品可能需要幾十萬元，而一套比較完善的大數(shù)據(jù)整體解決方案的價格可能達(dá)到上千萬元。如果不能充分發(fā)揮大 數(shù)據(jù)產(chǎn)品應(yīng)有的價值，那么對企業(yè)來說無疑是一種巨大的浪費。但彬表示：“如果企業(yè)只把大數(shù)據(jù)產(chǎn)品當(dāng)成一個IT工具，那么可能不會持續(xù)地對產(chǎn)品進(jìn)行升級，也 不會購買廠商的專業(yè)服務(wù)，一旦遇到解決不了的問題，就可能輕易放棄?！?

　　Informatica曾經(jīng)帶國內(nèi)某銀行的技術(shù)人員去美國與Informatica的客戶交流。讓但彬吃驚的是，美國客戶參與交流的全是公司的 業(yè)務(wù)人員，講的全是業(yè)務(wù)系統(tǒng)如何運行。參與交流的中國客戶全是技術(shù)人員，想了解的是美國企業(yè)如何構(gòu)建一個大數(shù)據(jù)系統(tǒng)，而不太關(guān)心系統(tǒng)如何運行和如何給企業(yè) 帶來價值。如此強烈的反差給中國的用戶提了一個醒：第一，部署大數(shù)據(jù)應(yīng)用應(yīng)該以業(yè)務(wù)為中心和出發(fā)點;第二，企業(yè)最好自己主導(dǎo)大數(shù)據(jù)系統(tǒng)的部署與應(yīng)用，因為 企業(yè)最了解自身的業(yè)務(wù)需求，可以更充分地利用大數(shù)據(jù)平臺，提高數(shù)據(jù)分析的效率。