將大數(shù)據(jù)的挑戰(zhàn)轉化為大機遇_數(shù)據(jù)分析師

現(xiàn)在，大數(shù)據(jù)時代已經到來。最近，F(xiàn)acebook宣布其用戶量目前已超過7.5億，每天的分享次數(shù)達40億。這是一個非常巨大的數(shù)據(jù)。根據(jù)IDC的預測，從2009年到2020年，數(shù)據(jù)總量將增長44倍，達到35ZB(zettabyte)。其中，80%的數(shù)據(jù)都是非結構化數(shù)據(jù)。無疑，世界已經進入到了大數(shù)據(jù)時代。因此，如何有效地利用大數(shù)據(jù)，以及其中所沉淀的信息，成為未來的一大競爭焦點。

什么是大數(shù)據(jù)？

大數(shù)據(jù)意味著包括交易和交互數(shù)據(jù)集在內的所有數(shù)據(jù)集，其規(guī)?；驈碗s程度超出了常用技術按照合理的成本和時限捕捉、管理及處理這些數(shù)據(jù)集的能力。大數(shù)據(jù)是由三項主要技術趨勢匯聚組成：

大交易數(shù)據(jù)：在從 ERP 應用程序到數(shù)據(jù)倉庫應用程序的在線交易處理（OLTP）與分析系統(tǒng)中，傳統(tǒng)的關系數(shù)據(jù)以及非結構化和半結構化信息仍在繼續(xù)增長。隨著企業(yè)將更多的數(shù)據(jù)和業(yè)務流程移向公共和私有云，這一局面變得更加復雜。

大交互數(shù)據(jù)：這一新生力量由源于 Facebook、Twitter、LinkedIn 及其它來源的社交媒體數(shù)據(jù)構成。它包括了呼叫詳細記錄（CDR）、設備和傳感器信息、GPS 和地理定位映射數(shù)據(jù)、通過管理文件傳輸（Manage File Transfer）協(xié)議傳送的海量圖像文件、Web 文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等。

大數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經催生出了設計用于數(shù)據(jù)密集型處理的架構，例如具有開放源碼、在商品硬件群中運行的 Apache Hadoop。對于企業(yè)來說，難題在于以具備成本效益的方式快速可靠地從 Hadoop 中存取數(shù)據(jù)。

具體到一家企業(yè)/機構，對于大數(shù)據(jù)沒有明確的規(guī)模定義，不過通常其數(shù)量介于幾十個太字節(jié)到多個拍字節(jié)之間。一項由 Unisphere Research 對531名獨立 Oracle 用戶進行的調查發(fā)現(xiàn)，百分之九十的企業(yè)的數(shù)據(jù)量在迅速上漲，其中16%的企業(yè)每年的增長率達到50%或更高。

不少企業(yè)已經感受到失控數(shù)據(jù)增長對績效造成的沖擊。一項由 Informatica 贊助的 Unisphere Research 調查發(fā)現(xiàn)87%的受訪者將企業(yè)的應用程序性能問題歸咎于不斷增長的數(shù)據(jù)量。

數(shù)據(jù)集成是關鍵

越來越多的機構為了應對大數(shù)據(jù)現(xiàn)象部署更加先進的大規(guī)模并行處理（MPP）數(shù)據(jù)庫、Hadoop 分布式文件系統(tǒng)、MapReduce 算法、云計算及存檔存儲設施。我們說，數(shù)據(jù)集成是其關鍵。因為對各個機構來說，讓業(yè)務部門能夠訪問所有數(shù)據(jù)，以便將其應用于整個大數(shù)據(jù)基礎設施極為重要。

數(shù)據(jù)集成將讓組織機構能夠利用大數(shù)據(jù)的最大優(yōu)勢，即將傳統(tǒng)的交易數(shù)據(jù)與全新的交互數(shù)據(jù)組合起來，從而獲得在其它情況下無法達成的洞察力和價值。比如，可以通過社交媒體了解客戶的喜惡，以此充實客戶資料來提高目標行銷效率。沒有數(shù)據(jù)集成，大數(shù)據(jù)就僅僅是許多海量數(shù)據(jù)孤島。

在北京舉行的“大數(shù)據(jù)世界論壇”上，我們很欣喜地看到，很多演講人和嘉賓都在談論Hapdoop，不少廠商已經提供了基于Hapdoop的解決方案，這與我在美國看到的情況相當，大數(shù)據(jù)時代真的已經來臨。這些最先由google、Facebook、雅虎等互聯(lián)網(wǎng)公司發(fā)展起來的技術，在發(fā)展到一定程序之后，作為開源技術。由于是開源的，大家都可以使用，吸引了更多企業(yè)級用戶開始考慮這種技術，“Big Data”這個概念開始漫延開來。實際上，在Hapdoop出現(xiàn)之前，很多軟件公司已經在做大規(guī)模并行處理這樣的數(shù)據(jù)分析技術了。并不是在“Big Data”之前沒有針對海量數(shù)據(jù)的分析技術，已經有了，但相對來說是比較昂貴的技術，在性價比方面沒有太好的競爭力。但有了Hapdoop之后，可以比較經濟地進行大數(shù)據(jù)處理，解決更多的問題。

Informatica 9.1：為大數(shù)據(jù)而構建

今年6月， Informatica成功地推出了創(chuàng)新的Informatica 9.1 for Big Data，這是全球第一個專門為大數(shù)據(jù)而構建的統(tǒng)一數(shù)據(jù)集成平臺。這個平臺的開發(fā)目標非常明確，這就是將海量數(shù)據(jù)帶來的挑戰(zhàn)轉化為重大機遇。在這個產品中，Informatica以18年來積累的數(shù)據(jù)集成領先技術為基礎，幫助企業(yè)用戶充分發(fā)揮大數(shù)據(jù)的業(yè)務潛力：

通過大數(shù)據(jù)集成，實現(xiàn)大數(shù)據(jù)的業(yè)務價值

通過為所有用途提供可信數(shù)據(jù)，憑借可靠而可信的數(shù)據(jù)提高業(yè)務洞察力和一致性

在IT 部門保持操控權的情況下，以自助服務增強所有用戶獲取相關信息的能力

自適應數(shù)據(jù)服務可提供按所有項目的業(yè)務需求進行調整的相關數(shù)據(jù)

大數(shù)據(jù)集成

Informatica 9.1 在大數(shù)據(jù)集成的三個方面提供了創(chuàng)新和全新功能：

與大交易數(shù)據(jù)的連接。Informatica 9.1 提供的一個全新關系/數(shù)據(jù)倉庫設備包可將該連接擴展到專為大數(shù)據(jù)定制的解決方案。Informatica 9.1 通過與 OLTP 和在線分析處理（OLAP）數(shù)據(jù)存儲的本地連接，提供了對高流量的交易數(shù)據(jù)的訪問，最大可達拍字節(jié)。

與大交互數(shù)據(jù)的連接。借助于Informatica 9.1所提供的與新型社交媒體的連接器，訪問如 Facebook、Twitter、LinkedIn 和其它媒體等新數(shù)據(jù)源。將數(shù)據(jù)收集范圍擴大到企業(yè)所在行業(yè)的新興價值數(shù)據(jù)集，包括設備和傳感器、CDR、海量圖像文件。

海量數(shù)據(jù)處理。Informatica 9.1提供了新連接功能，可讓IT部門將來自任何來源的數(shù)據(jù)輸入 Hadoop，同時從 Hadoop 中抽取數(shù)據(jù)發(fā)送給任何目標。此外，該連接還允許對 Hadoop中的數(shù)據(jù)應用 Informatica 數(shù)據(jù)質量、數(shù)量探查和其它技術。對于在 Hadoop 系統(tǒng)內外合并交易和交互數(shù)據(jù)的企業(yè)來說，這些功能提供了全新的可能性。

一些大數(shù)據(jù)的應用實例

實例1：網(wǎng)絡營銷公司得以降低成本

這家網(wǎng)絡聯(lián)盟營銷公司是全球最大的互聯(lián)網(wǎng)服務公司之一，為電子商務、門戶網(wǎng)站和媒體、旅游、金融服務和職業(yè)運動等多種行業(yè)提供領先服務。該公司提供一個在線營銷平臺，集高質量的直接響應數(shù)字媒體、服務和技術為一體。它能夠讓客戶開展具有成本效益的按操作付費式聯(lián)盟、搜索及銷售線索生成活動，以贏得新客戶、增進營收并促進成效。

為實現(xiàn)最大化收益，這家客戶極其需要在正確的時間向正確的客戶展示正確的廣告內容。僅此一項就構成了巨大的優(yōu)化難題。該公司亦與其客戶訂立了服務等級協(xié)議（SLA），必須在活動的最后五分鐘內提交最新的準確發(fā)票。這一難題涉及了來自500多個數(shù)據(jù)源的大量交易數(shù)據(jù)，每天涉及到3億筆交易，以及實時向300,000名用戶提供信息。該公司通過采用 Informatica 技術，令這一切成為了現(xiàn)實，并已經將成本降低了3倍，同時將項目的交付速度提高了5倍。

實例2：以客戶為中心的海量百貨商店零售商

這是一家領先的專業(yè)時裝零售商通過當?shù)氐陌儇浬痰辍⒕W(wǎng)絡及其郵購目錄業(yè)務為客戶提供服務。該公司以向其客戶提供差異化服務而知名。在經過一番分析之后，該零售商決定不再提供免費化妝服務和化妝品樣品，因為經理們意識到接受了這些饋贈的客戶不會購買更多的化妝品。該零售商預計在饋贈計劃終結之后，化妝品銷售量將保持原樣，但實際情況是銷量出現(xiàn)下降。

通過研究，包括從 Twitter 和 Facebook 上收集社交媒體信息，該公司才開始更深入地理解化妝品的影響模式。它了解到必須保留兩類有價值的客戶，即高消費者和高影響者。接受了免費化妝服務的客戶雖然不再需要購買化妝品，但他們的口碑宣傳可促使親朋好友及他們的親朋好友踴躍購買。這是交易數(shù)據(jù)與交互數(shù)據(jù)的完美結合，為業(yè)務挑戰(zhàn)提供了隱蔽的答案。通過運用 Informatica 技術，這家零售商以社交媒體數(shù)據(jù)充實了它的客戶主數(shù)據(jù)，令其服務更具目標性。該公司最終通過向這些具有高度影響力的客戶提供正確的產品和服務而增進了利潤。

實例3：改進流程的運輸移動智能先鋒

這家貨運公司的愿景是借助新一代的車載通訊系統(tǒng)與數(shù)千名駕駛員以及幾萬輛卡車和其它車輛，成為運輸移動智能方面的領導者。該公司著重于采用移動智能技術，通過跟蹤和了解其資產、車輛、駕駛員、運營經理、合作伙伴及客戶的所有活動來實現(xiàn)最佳運營。它面臨著數(shù)項挑戰(zhàn)。該公司無法確定卡車在何處停車或停車時長。發(fā)動機的空轉時間意味著資金的浪費，不能充分發(fā)揮卡車的使用效率，同樣也會影響到客戶服務。

作為其“不遺留任何數(shù)據(jù)”計劃的一部分，該公司開始按每秒數(shù)次從卡車貨運系統(tǒng)中收集900個數(shù)據(jù)元素，通過有效地跟蹤能夠想到的每條數(shù)據(jù)，包括有關輪胎和用油量、發(fā)動機運行情況的傳感器數(shù)據(jù)及地理空間數(shù)據(jù)來跟蹤車隊的活動。該公司甚至從卡車司機們用于抱怨該系統(tǒng)的博客中搜羅數(shù)據(jù)，以便做出改進。一個基于 Hadoop 的海量數(shù)據(jù)處理環(huán)境和 Informatica 技術構成了企業(yè)信息管理系統(tǒng)的關鍵組成部分，讓這家公司能夠優(yōu)化車隊的使用、減少排放量并實現(xiàn)環(huán)保承諾。這幫助了該公司每年節(jié)省數(shù)百萬美元，也幫助我們大家共同“走向綠色”。

Q：對于金融等這樣數(shù)據(jù)量大的行業(yè)用戶，他們對大數(shù)據(jù)管理有怎樣的需求？

A：Informatica在金融領域已經獲得了許多成功應用，包括在大數(shù)據(jù)管理方面，德意志銀行、瑞聯(lián)、摩根斯坦利等銀行都已經開始應用Informatica大數(shù)據(jù)解決方案。銀行有一個共同的需求，這就是他們需要控制風險，在技術的選型上更為謹慎。
    
Q：大數(shù)據(jù)是否會對數(shù)據(jù)集成的基礎架構帶來新的挑戰(zhàn)？Informatica如何順應大數(shù)據(jù)發(fā)展的需求？

A：從業(yè)務角度來看，即使是在大數(shù)據(jù)時代，客戶仍然需要做數(shù)據(jù)集成、仍然需要做商業(yè)智能，只是現(xiàn)在需要處理的數(shù)據(jù)更多，要求數(shù)據(jù)集成的基礎架構能夠適應大數(shù)據(jù)集成的要求。我們的數(shù)據(jù)集成平臺采用統(tǒng)一的軟件開發(fā)工具包，這樣的平臺架構讓我們能夠靈活地應對新技術和新的應用需求，因此，對我們來說，提供能滿足大數(shù)據(jù)需求的數(shù)據(jù)集成平臺不是很困難的事情。事實上，Informatica一直在引領數(shù)據(jù)集成的發(fā)展，在數(shù)據(jù)集成領域已經發(fā)展了20多年，對數(shù)據(jù)集成的發(fā)展有著敏銳的洞察力。目前，IT技術有三個主要的大潮，一是云計算、二是大數(shù)據(jù)、三是移動計算，Informatica都及時針對這些技術擴展自己的集成平臺。在今年6月，Informatica就成功推出了創(chuàng)新的Informatica 9.1 for Big Data，這是全球第一個專門為大數(shù)據(jù)而構建的統(tǒng)一數(shù)據(jù)集成平臺，提供了大數(shù)據(jù)集成、權威可信的數(shù)據(jù)、自助服務和自適應數(shù)據(jù)服務這四項創(chuàng)新功能，旨在幫助廣大用戶和合作伙伴輕松對應大數(shù)據(jù)時代的新需求，充分釋放大數(shù)據(jù)潛能，把大數(shù)據(jù)轉化為重大機遇。

Q：企業(yè)如何部署大數(shù)據(jù)解決方案？

A：我們在跟客戶溝通時，客戶常問的一個問題是：部署大數(shù)據(jù)方案，是否需要改變原來已有的數(shù)據(jù)中心？我們的回答是完全不需要，而是需要一個完整的基礎架構，在統(tǒng)一的平臺上處理結構化數(shù)據(jù)、半結構化數(shù)據(jù)和非結構化數(shù)據(jù)，充分利用已有的在結構化數(shù)據(jù)處理方面的投資，同時充分利用Hadoop、MapReduce的強大優(yōu)勢。

Q：現(xiàn)在有一些廠商在談把軟硬整合在一起的一體機，這種方式與Informatica所提供的數(shù)據(jù)集成有哪些不同？

A：兩者是非常互補的關系。Informatica是一個非常中立的公司，我們沒有自己的數(shù)據(jù)庫產品，也沒有自己的BI產品，我們把所有的精力都集中在數(shù)據(jù)集成這個平臺上，我們的戰(zhàn)略是與相關的軟件和硬件廠商合作，把精力集中在自己的優(yōu)勢領域——數(shù)據(jù)集成、數(shù)據(jù)質量、主數(shù)據(jù)管理。我們與提供數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)存儲和管理的廠商都有非常緊密的合作關系，與EMC、Teradata 、ORACLE等廠商都有很好的合作。Oracle也在OEM Informatica的產品。

Q：是否有基于云的交付方式？

A：實際上，Informatica基于云的產品已經面世了3年多了，對于中小型用戶是很好的福音，他們可以以相對少的費用用租賃的方式來使用Informatica基于Hadoop的技術和方案。

Q：Informatica是自己提供云服務還是依靠合作伙伴來提供？

A：兩種方式都有，Informatica有自己的云服務，也提供一個云平臺，讓客戶把自己的應用放到云中。Informatica提供了多個云服務。

Q：對于像Informatica這樣的公司，大數(shù)據(jù)時代將意味著什么？

A：Hadoop的出現(xiàn)，把數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)倉庫這三個不同的市場融在一起，既可以用Hadoop來做數(shù)據(jù)存儲、做數(shù)據(jù)分析，也可以做數(shù)據(jù)倉庫。Informatica專注于數(shù)據(jù)集成，能夠對高效率地集成Hadoop上的半結構數(shù)據(jù)、非結構數(shù)據(jù)，因此，Hadoop對Informatica來說，是一個很好的機會。

Q：Hadoop在美國，到底有多熱？會不會是雷聲大、雨點小、慢慢就消失？

A：Hadoop在美國非常的熱，就像前段時間的云一樣。不久前，我參加了雅虎的2011 Hadoop論壇，有5500來賓參加。我在訂票的時候給老板打電話問他是否參加這個會，老板說他想?yún)⒓印５捎诒任彝砹巳昼姸I不到這次論壇的票，我比他早3分鐘購票，結果我買到了?？梢妳⒓舆@次Hadoop論壇的的人非常多。據(jù)說，Hadoop論壇的入場券在開始發(fā)售之后8個小時就售磬。而參加此次論壇的人員很多是客戶，這是一個很有意思的變化。通常像這樣的技術論壇，參會者大多是開發(fā)人員或技術供應商。我相信，Hadoop的雷聲很大，雨點也很大，因為它已經得到證明，能夠為客戶解決不同的問題。

目前，已經有國內的公司開始和我們洽談相關的大數(shù)據(jù)項目，通常，在面對新技術時，一般是大公司開始應該，他們會先在某個項目上進行嘗試，既要能及時利用新技術的好處，也要控制好風險，確保成功。事實上，在Informatica，我們在開發(fā)新方案時，都會與客戶緊密溝通，了解客戶的最大需求。對于大數(shù)據(jù)項目，可以說，現(xiàn)在已經有大公司開始“吃螃蟹”了。

而在全球范圍內，大數(shù)據(jù)分析師可能會有越來越大的需要，可能是IT組織的一部分，也可能是業(yè)務組織的一部分。從互聯(lián)網(wǎng)的情況來看，提供用戶的價值，可以發(fā)掘很多用戶價值，比如汽車銷售等等有直接的銷售影響。在世界的各個地方，尤其是一些數(shù)據(jù)比較多的、比較成熟的行業(yè)中，會有大量的數(shù)據(jù)分析、數(shù)據(jù)科學家的需求。