如何為企業(yè)選擇合適的數(shù)據(jù)集成工具？

企業(yè)產(chǎn)生和收集的數(shù)據(jù)量日漸增長，隨之而來的是對這些數(shù)據(jù)進(jìn)行集成需求的增長，可以幫助IT團(tuán)隊(duì)簡化并管理這一流程的數(shù)據(jù)集成軟件應(yīng)運(yùn)而生。但是產(chǎn)品類型如此豐富，對你的企業(yè)來說哪些數(shù)據(jù)集成工具才是最佳之選呢?選擇這類產(chǎn)品并非要挑那些擁有豐富功能的，而是要選擇與你的集成需求和企業(yè)特質(zhì)最為適配的產(chǎn)品。

在對數(shù)據(jù)集成平臺(tái)評估之前，要在企業(yè)內(nèi)部進(jìn)行調(diào)查來協(xié)助產(chǎn)品選擇過程。你的調(diào)查應(yīng)該涵蓋下列主題：

源系統(tǒng)。企業(yè)擁有多少源系統(tǒng)?是否擁有重疊系統(tǒng)，例如多重CRM或是銷售處理應(yīng)用程序?除了傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，是否存在非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)?除了內(nèi)部數(shù)據(jù)源，是否存在外部數(shù)據(jù)源?數(shù)據(jù)量和更新頻率又如何呢?

集成用例。企業(yè)需要為分析而進(jìn)行數(shù)據(jù)集成么——主要通過數(shù)據(jù)倉庫?應(yīng)用程序集成又是怎樣呢?你所在的企業(yè)需要為主數(shù)據(jù)管理(MDM)獲取和處理數(shù)據(jù)么?在本地系統(tǒng)和云應(yīng)用程序或物聯(lián)網(wǎng)設(shè)備間同步數(shù)據(jù)又是如何呢?亦或是在本企業(yè)以及其他企業(yè)的內(nèi)部業(yè)務(wù)流程和應(yīng)用程序間交換數(shù)據(jù)?需要為復(fù)雜事件處理和流處理應(yīng)用程序捕獲并交付數(shù)據(jù)么?在不遷移至中央數(shù)據(jù)存儲(chǔ)的情況下，是否需要將來自幾乎完全不同系統(tǒng)的數(shù)據(jù)進(jìn)行集成呢?

企業(yè)規(guī)模。你所在企業(yè)的年收入怎樣，擁有多少員工，對于數(shù)據(jù)集成的IT預(yù)算有多少?

資源和技術(shù)。企業(yè)是否擁有專門的IT資源來執(zhí)行數(shù)據(jù)集成工作?對于使用數(shù)據(jù)集成工具以往的經(jīng)驗(yàn)水平如何?

在你回答了這些問題之后，就可以瀏覽以下十大數(shù)據(jù)集成產(chǎn)品來探尋哪一款與你的需求和特點(diǎn)最為匹配了。

針對大型企業(yè)的數(shù)據(jù)集成產(chǎn)品

大型企業(yè)通常具有以下特點(diǎn)：

不同的源系統(tǒng)集總是與高數(shù)據(jù)量相伴而生的。結(jié)構(gòu)化數(shù)據(jù)居于主導(dǎo)地位，但是像社交媒體，網(wǎng)頁服務(wù)器日志和平面文件，還有如XML和面向消息數(shù)據(jù)的半結(jié)構(gòu)化數(shù)據(jù)源同樣需要進(jìn)行集成。

多種集成用例。

足夠的IT預(yù)算來購買任何可用數(shù)據(jù)集成工具和必要的支持基礎(chǔ)設(shè)施。

專門的IT團(tuán)隊(duì)，這些團(tuán)隊(duì)擁有數(shù)據(jù)集成專家或是有預(yù)算雇用那些在使用給定數(shù)據(jù)集成工具上有豐富經(jīng)驗(yàn)的員工和顧問。

符合上述特征的大型企業(yè)應(yīng)該考慮用Informatica PowerCenter和IBM InfoSphere Information Server來進(jìn)行數(shù)據(jù)集成，因?yàn)檫@些產(chǎn)品對集成用例進(jìn)行了全方位的解決。這兩款產(chǎn)品還提供可擴(kuò)展性以處理大型企業(yè)對數(shù)據(jù)復(fù)雜性，數(shù)據(jù)量和速度的要求，而且還能跨多個(gè)項(xiàng)目使用，并用于任意規(guī)模的團(tuán)隊(duì)。IBM和Informatica都提供MDM和數(shù)據(jù)清理功能。IBM的產(chǎn)品解決了信息分析和管理的需求，而Informatica則專注于信息集成。但是這些強(qiáng)大的工具價(jià)格不菲。除了它們通常要比競爭對手的產(chǎn)品貴出許多之外，它們還要求使用者有更為豐富的技能和經(jīng)驗(yàn)。此外，比起競爭對手，它們通常還要求有更大量的基礎(chǔ)設(shè)施和更復(fù)雜的實(shí)現(xiàn)。

多年來，很多IBM和Informatica的競爭對手顯著地提高了它們產(chǎn)品的功能和特性，這為大型企業(yè)提供了更多的選擇，對于那些在數(shù)據(jù)集成上有更少要求的企業(yè)尤為如此。來自SAP，Oracle和SAS的數(shù)據(jù)集成工具解決了大量數(shù)據(jù)源和數(shù)據(jù)集成的用例。這些公司同樣提供企業(yè)級應(yīng)用程序，如尤其是在大型企業(yè)使用廣泛的企業(yè)資源計(jì)劃，CRM和分析應(yīng)用等，而且它們也將自己的數(shù)據(jù)集成工具用在這些應(yīng)用程序上。如果一家企業(yè)在上述任意公司的應(yīng)用程序上有巨大投入，那么將該廠商的數(shù)據(jù)集成工具納入考慮范疇也是理所應(yīng)當(dāng)?shù)摹?/span>

SAP Data Services和SAS Data Management Platform都對大型企業(yè)的數(shù)據(jù)集成功能提供廣泛的支持。雖然SAP Data Services僅限于和SAP的業(yè)務(wù)應(yīng)用程序協(xié)同工作，但是它正變得與該公司軟件組合集成的更加緊密。這就意味著已經(jīng)是SAP客戶的企業(yè)就需要考慮使用這一集成產(chǎn)品了。同樣，正在使用SAS統(tǒng)計(jì)和分析產(chǎn)品的客戶則應(yīng)該將SAS Data Management Platform納入考量。

針對有深入集成需求的中型企業(yè)的工具

中型企業(yè)通常具有以下特點(diǎn)：

各種源系統(tǒng)用于處理重疊數(shù)據(jù)對象，而這些數(shù)據(jù)對象可能是在本地也可能是在云端。數(shù)據(jù)量會(huì)因行業(yè)或是所提供的產(chǎn)品和服務(wù)的不同而不同。結(jié)構(gòu)化數(shù)據(jù)源仍占主導(dǎo)地位，而且任何需要進(jìn)行集成的非結(jié)構(gòu)化數(shù)據(jù)通常有范圍限制。

如果將來數(shù)據(jù)倉儲(chǔ)得以解決，雖然應(yīng)用程序集成可能甚囂塵上，但是提取，轉(zhuǎn)換和加載(ETL)以及數(shù)據(jù)倉庫還是主要的集成用例。

IT預(yù)算有限。

小規(guī)模的IT團(tuán)隊(duì)來執(zhí)行數(shù)據(jù)集成工作和商業(yè)智能開發(fā)。針對特定工具招聘專家在財(cái)政上可能不具備可行性。

雖然有以上特點(diǎn)的中型企業(yè)有著顯著的集成需求，但是他們在人力、財(cái)力和時(shí)間上的可操作資源是有限的。這些公司應(yīng)該考慮來自Microsoft，Oracle，Information Builders，Talend和Pentaho的數(shù)據(jù)集成產(chǎn)品。對于在這些企業(yè)中常見的數(shù)據(jù)多樣性，集成范圍和資源限制等問題，這些工具都提供了解決方案。

對于擁有資深SQL經(jīng)驗(yàn)開發(fā)人員且正在使用Microsoft SQL Server的企業(yè)來說，應(yīng)該考慮Microsoft數(shù)據(jù)相關(guān)的產(chǎn)品，如SQL Server Integration Services(SSIS)。這些工具共享了一個(gè)公共開發(fā)方法，這可以讓IT人員更加有效的與多種Microsoft工具協(xié)同工作。Microsoft一直在對SSIS的功能進(jìn)行擴(kuò)展以處理更為復(fù)雜的集成用例，例如緩慢改變維度和模糊查詢，以及平面數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫之外的各種數(shù)據(jù)源。雖然Microsoft的源和目標(biāo)不僅限于其自己的平臺(tái)，但是部署仍然限制為Windows。Microsoft的工具歷來都是在本地的，但是該公司已經(jīng)在將相關(guān)功能遷移至云端方面取得了顯著進(jìn)步。而不利的一面是SSIS缺乏其競爭對手所擁有的強(qiáng)大的集成轉(zhuǎn)換，工作流和流程管理，例如使用存儲(chǔ)庫和基于團(tuán)隊(duì)的開發(fā)管理功能來進(jìn)行追蹤和管理流程的能力。

與Microsoft類似，那些當(dāng)前正在使用Oracle數(shù)據(jù)庫的企業(yè)可能會(huì)希望考慮Oracle Data Integrator。ODI是一款強(qiáng)大的數(shù)據(jù)和應(yīng)用程序集成工具，它能夠處理各種數(shù)據(jù)源和集成用例，包括BI，MDM和應(yīng)用程序集成;它還支持?jǐn)?shù)據(jù)量和速度方面的可擴(kuò)展性。雖然該產(chǎn)品有大量可供使用的功能，但是它總是用來自動(dòng)執(zhí)行SQL腳本。ODI確實(shí)需要足夠的培訓(xùn)才能應(yīng)對其略顯復(fù)雜的實(shí)施。雖然該產(chǎn)品對接各種各樣Oracle產(chǎn)品進(jìn)行工作的能力擴(kuò)展了其功能，但是它也增加了其部署的復(fù)雜性，這讓其很難用于資源有限的IT人員。

Information Builders的iWay Integration Suite能夠處理諸如MDM,數(shù)據(jù)清理和數(shù)據(jù)治理之類復(fù)雜的集成用例。當(dāng)一家企業(yè)正在使用Information Builders的其他信息產(chǎn)品時(shí)，應(yīng)該將iWay納入考慮范疇，因?yàn)樗峁┝伺c那些產(chǎn)品緊密的集成。這些工具因其可擴(kuò)展性和在操作系統(tǒng)上可實(shí)時(shí)工作的能力而聞名。但它也有一個(gè)缺點(diǎn)：該產(chǎn)品相關(guān)的專業(yè)知識和經(jīng)驗(yàn)較為有限。

Talend和Pentaho的同名數(shù)據(jù)集成工具同樣能夠處理各種集成用例。兩款產(chǎn)品都有開源版本，這可以讓IT團(tuán)隊(duì)避免任何預(yù)先許可的成本。它們的開源版本提供固定數(shù)據(jù)集成功能，對于那些沒有主動(dòng)要求集成需求的企業(yè)和預(yù)算緊縮的IT團(tuán)隊(duì)來說，這再適合不過了。而它們公司產(chǎn)品的企業(yè)版本則提供很明顯更加強(qiáng)大的功能。

小企業(yè)要進(jìn)行集成需要哪些考量

小企業(yè)通常具有以下特點(diǎn)：

以結(jié)構(gòu)化數(shù)據(jù)源為主的各種源系統(tǒng)。

集成用例為ETL和數(shù)據(jù)倉庫。

IT預(yù)算非常有限。

在諸如數(shù)據(jù)集成，BI和操作系統(tǒng)等領(lǐng)域IT人手捉襟見肘。

這些企業(yè)可能需要考慮那些基于他們已有數(shù)據(jù)庫的數(shù)據(jù)集成工具——也就是Oracle或Microsoft——或是來自Talend和Pentaho的產(chǎn)品。這些工具是物有所值的，因?yàn)镾SIS捆綁了SQL Server，而Talend和Pentaho的開源版本則提供比很多企業(yè)所需更多的數(shù)據(jù)集成功能。注意，小型企業(yè)應(yīng)該確保他們的IT部門擁有足夠的專業(yè)知識來有效利用這些工具。

針對具有有限集成需求的小企業(yè)的工具

這些企業(yè)主要是直接從他們的源系統(tǒng)做業(yè)務(wù)報(bào)告而且不會(huì)創(chuàng)建數(shù)據(jù)倉庫來對那些源系統(tǒng)進(jìn)行集成。在這種情況下，這些企業(yè)通常是不會(huì)對大數(shù)據(jù)集成工具和IT技術(shù)進(jìn)行投資的。相反，IT會(huì)依賴現(xiàn)有應(yīng)用程序捆綁的東西或是自定義SQL代碼。如果業(yè)務(wù)用戶需要來自多個(gè)應(yīng)用程序的數(shù)據(jù)做報(bào)告，他們會(huì)依賴構(gòu)建在操作應(yīng)用程序中的報(bào)告并使用電子表格來填補(bǔ)空白。

隨著數(shù)據(jù)量的持續(xù)增長，對于數(shù)據(jù)集成和將這些數(shù)據(jù)轉(zhuǎn)換成相關(guān)信息來生成可行見解的需求也水漲船高。希望該系列文章所提供的信息能夠幫助你在購買數(shù)據(jù)集成工具的時(shí)候做出更為明智的選擇。