大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫是互補(bǔ)關(guān)系_數(shù)據(jù)分析師

在全球大數(shù)據(jù)生態(tài)圈中，Hadoop堪稱其中最為核心的技術(shù)。

　　由非營利組織管理的Hadoop平臺(tái)，盡管推行開源模式，但企業(yè)并不是拿來就可以用，它需要經(jīng)過進(jìn)一步的加工和修繕，由此孕育了多家大數(shù)據(jù)商業(yè)開發(fā)公司，如Cloudera、MapR、Hortonworks等。這些公司的商業(yè)模式就是開發(fā)商業(yè)化的Hadoop分發(fā)版，并對(duì)外銷售。

　　在這些Hadoop分發(fā)版開發(fā)公司中，Hortonworks剛剛完成IPO，算是最早的一家，目前市值約10億美元。而要論規(guī)模和影響力，則莫過于Cloudera。

　　Cloudera由分別來自Facebook、谷歌、雅虎和甲骨文的四位創(chuàng)始人于2008年成立。一項(xiàng)數(shù)據(jù)顯示，75%的Hadoop新用戶使用的都是Cloudera的分發(fā)版。

　　12月10日，Cloudera正式宣布在中國開始運(yùn)營，標(biāo)志著這家已在全球發(fā)展了1300多家客戶的大數(shù)據(jù)公司，將業(yè)務(wù)觸角伸向這一潛力市場。Cloudera公司創(chuàng)始人、董事長兼首席戰(zhàn)略官M(fèi)ike Olson亦專程來到中國為新公司站臺(tái)。

　　“隨著中國交通、電信、金融、醫(yī)療等行業(yè)領(lǐng)域的飛速發(fā)展，越來越多的企業(yè)需要快速，甚至是實(shí)時(shí)的大數(shù)據(jù)分析?！盡ike Olson在接受21世紀(jì)經(jīng)濟(jì)報(bào)道記者專訪時(shí)表示，大數(shù)據(jù)在中國企業(yè)轉(zhuǎn)型與變革中發(fā)揮的作用將愈發(fā)顯著，而Hadoop作為大數(shù)據(jù)應(yīng)用中的主流技術(shù)，也將逐漸成為企業(yè)應(yīng)用的核心。

　　英特爾軟件與服務(wù)事業(yè)部中國區(qū)總經(jīng)理、英特爾亞太研發(fā)有限公司總經(jīng)理何京翔，以及Cloudera公司副總裁、肯睿（上海）軟件有限公司總經(jīng)理凌琦也同時(shí)接受了21世紀(jì)經(jīng)濟(jì)報(bào)道記者專訪。

　　50億美元估值

　　《21世紀(jì)》：Cloudera的四個(gè)創(chuàng)始人當(dāng)中，各自怎么分工，你負(fù)責(zé)哪些部分？

　　Mike Olson：我們四位聯(lián)合創(chuàng)始人分別來自于雅虎、谷歌、Facebook和甲骨文。我是來自于甲骨文，在此之前創(chuàng)建了Berkeley DB，后來被甲骨文收購了。2008年與另外三位同事一起創(chuàng)建了Cloudera，到現(xiàn)在已經(jīng)六年半了。現(xiàn)在我的角色是董事長和首席戰(zhàn)略官。

　　另外的三位同事，Jeff Hammerbacher來自Facebook，他現(xiàn)在是我們的首席科學(xué)家，他在做很多對(duì)人類非常重要的一些事情，比如說基因圖譜，利用大數(shù)據(jù)這樣一個(gè)工具進(jìn)行一些重大疾病的研究。Amr Awadallah是我們的CTO，他來自于當(dāng)年的雅虎，他是最早在雅虎內(nèi)部使用Hadoop的人之一。Christophe Bisciglia來自于谷歌，盡管他現(xiàn)在已經(jīng)離開了Cloudera，但是還是在這個(gè)生態(tài)圈里面，他在Cloudera基礎(chǔ)上創(chuàng)建了一些工具和應(yīng)用，利用大數(shù)據(jù)這個(gè)平臺(tái)服務(wù)客戶。

　　另外還有一個(gè)需要提及的人是Doug Cutting。大家都知道Doug Cutting是Hadoop之父，他在2004年寫了Hadoop，到2009年加入Cloudera，現(xiàn)在任職我們的首席架構(gòu)師。

　　《21世紀(jì)》：能否介紹下Cloudera的最新發(fā)展情況？

　　Mike Olson：目前我們?nèi)驌碛?00名員工，已經(jīng)有超過50億美金的市值，有超過1300家的合作伙伴，他們分布在電信、運(yùn)營商和金融、制造業(yè)等各行各業(yè)。

　　Cloudera的商業(yè)模式以軟件銷售為主，同時(shí)會(huì)提供專業(yè)化的服務(wù)和認(rèn)證培訓(xùn)。這類似于Red Hat。誠然，Hadoop是開源的開放式標(biāo)準(zhǔn)，這避免了客戶被某一家廠商鎖定的風(fēng)險(xiǎn)，但僅僅開源并不夠，開源版本更多的是靠一個(gè)社區(qū)去推動(dòng)，而企業(yè)級(jí)客戶需要更穩(wěn)定、更安全、便于管理的企業(yè)級(jí)平臺(tái)。這是企業(yè)級(jí)用戶大多會(huì)選擇Hadoop商業(yè)分發(fā)版的原因。

　　從技術(shù)角度來講，Cloudera 的800名員工有一半以上是開發(fā)人員，這也就意味著我們對(duì)Hadoop社區(qū)和整個(gè)技術(shù)演進(jìn)的發(fā)展方向有非常大的貢獻(xiàn)和影響。

　　聯(lián)手英特爾

　　《21世紀(jì)》：Cloudera成立六年半后來到中國，準(zhǔn)備怎么開展業(yè)務(wù)？

　　Mike Olson：我們的中國公司——肯睿（上海）軟件有限公司——已經(jīng)在9月份注冊(cè)完成，現(xiàn)在正式對(duì)外宣布開始運(yùn)營。目前的團(tuán)隊(duì)主要在上海、北京、廣州三個(gè)地方。業(yè)務(wù)模式與在美國的業(yè)務(wù)一脈相承，主要包括四部分：軟件開發(fā)、營銷；合作伙伴支持；解決方案咨詢服務(wù)；認(rèn)證培訓(xùn)。

　　團(tuán)隊(duì)方面，我們一方面是本地化，凌琦是Cloudera公司副總裁和肯睿（上海）軟件有限公司總經(jīng)理，他在英特爾工作了20年。另一方面是與英特爾的合作。英特爾向Cloudera投資了7.4億美金，持有18%的股份，我們?cè)诋a(chǎn)品和技術(shù)和團(tuán)隊(duì)上有廣泛的合作。

　　凌琦：我來談?wù)勚袊@邊的情況，第一個(gè)方面的工作是把以前英特爾的Hadoop分發(fā)版的中國客戶，轉(zhuǎn)換到Cloudera平臺(tái)上來。這些客戶主要是在金融領(lǐng)域，包括銀行、證券、保險(xiǎn)等。在此基礎(chǔ)上，我們也發(fā)現(xiàn)中國市場對(duì)大數(shù)據(jù)的需求在快速增長，比如說電信業(yè)，它積累了大量的數(shù)據(jù)和客戶行為數(shù)據(jù)，這些信息會(huì)有很大價(jià)值可以挖掘。

　　我們還看到智慧城市。中國的智慧城市建設(shè)非常熱，這里面也是靠數(shù)據(jù)來支持，比如說交通管理，比如說在商業(yè)分布，甚至說對(duì)于城市安全的管理都有非常好的應(yīng)用。

　　另外，大數(shù)據(jù)在生命科學(xué)方面、醫(yī)藥研究方面以及流行病趨勢方面，也會(huì)有很多應(yīng)用。

　　《21世紀(jì)》：Cloudera在中國與英特爾將在哪些方面共享資源？

　　Mike Olson：我們跟英特爾的溝通當(dāng)中會(huì)發(fā)現(xiàn)很多大數(shù)據(jù)潛在的問題，我們可以通過和英特爾或者與英特爾共享的合作伙伴渠道一起提供一個(gè)大數(shù)據(jù)整體解決方案。我們說到的智慧城市、平安城市都是非常典型的大數(shù)據(jù)應(yīng)用場景案例。

　　何京翔：英特爾在上海的大數(shù)據(jù)開發(fā)團(tuán)隊(duì)，與Cloudera在開源上有很多的合作；另一方面，我們?cè)诠灿锌蛻艉托驴蛻舴矫嬉矔?huì)合作，來更好滿足客戶需求。

　　我本身在英特爾軟件及服務(wù)事業(yè)部工作，這個(gè)部門一個(gè)主要的任務(wù)是使得軟件能夠在英特爾平臺(tái)上跑得最好，所以具體落實(shí)到大數(shù)據(jù)這塊，就是怎么樣讓Hadoop、Spark這些新的軟件平臺(tái)在英特爾平臺(tái)上得到最好的優(yōu)化，把我們軟硬結(jié)合做到最好。

　　與傳統(tǒng)數(shù)據(jù)挖掘是互補(bǔ)關(guān)系

　　《21世紀(jì)》：有很多力量在推動(dòng)大數(shù)據(jù)發(fā)展，其中比較典型的包括傳統(tǒng)IT公司面對(duì)大數(shù)據(jù)的轉(zhuǎn)型，以及新興的創(chuàng)業(yè)公司。你怎么看這兩類公司的優(yōu)劣勢？

　　Mike Olson：像Oracle、IBM、Teradata這些傳統(tǒng)的數(shù)據(jù)庫或者數(shù)據(jù)挖掘廠商，其實(shí)他們?cè)谧约荷瞄L的部分已經(jīng)做得非常好、非常成功，有非常成熟的解決方案。隨著時(shí)間的發(fā)展，我們現(xiàn)在已經(jīng)看到越來越多的應(yīng)用場景和新技術(shù)加入到Hadoop平臺(tái)。正如多年以前谷歌發(fā)表了三篇論文，MapReduce、Bigtable、GFS，三篇論文就是Hadoop的原形。Hadoop也是受到這三篇論文的啟發(fā)。

　　我認(rèn)為這兩種模式更多的是優(yōu)勢互補(bǔ)。我們現(xiàn)在看到Cloudera做的大數(shù)據(jù)平臺(tái)和傳統(tǒng)數(shù)據(jù)倉庫EDW數(shù)據(jù)平臺(tái)并不是競爭的關(guān)系，因?yàn)槲覀兛梢越o他們提供更多的數(shù)據(jù)，更多種類的數(shù)據(jù)，不論是從量、種類還是數(shù)據(jù)類型都會(huì)遠(yuǎn)遠(yuǎn)超過過去EDW數(shù)據(jù)能夠處理的范圍。有了這些數(shù)據(jù)，用戶還是可以用他們熟悉的數(shù)據(jù)分析和建模以及數(shù)據(jù)挖掘的工具，比如說Teradata，比如說MicroStrategy這樣的東西去發(fā)掘數(shù)據(jù)的價(jià)值。

　　也就是說，我們這兩個(gè)方案完全是互補(bǔ)的關(guān)系，我們可以給他提供更多種類的數(shù)據(jù)，讓他們從中挖掘更多的價(jià)值給到用戶。

　　這里想強(qiáng)調(diào)一下我們跟合作伙伴良好的關(guān)系，舉幾個(gè)例子，今年10月份，我們宣布了很多合作，比如說跟Teradata、微軟、EMC，以及我們跟Oracle做了一體機(jī)，這些都是非常好的樣板，會(huì)告訴大家我們跟這些傳統(tǒng)的關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)挖掘公司并不是競爭的關(guān)系，而是良好的合作關(guān)系。

　　在Cloudera過去六年半的歷史上，我們已經(jīng)做到了在大數(shù)據(jù)領(lǐng)域最大，也是最好的分發(fā)版提供商，這也是我們跟合作伙伴持續(xù)創(chuàng)新、共同發(fā)展、共同成長的一個(gè)結(jié)果。

　　大數(shù)據(jù)平臺(tái)作為一個(gè)新生的產(chǎn)品或者一個(gè)業(yè)界的發(fā)展動(dòng)態(tài)，畢竟現(xiàn)在還是一個(gè)早期的階段，對(duì)Cloudera這樣的新興的創(chuàng)業(yè)公司來講，在這方面肯定有優(yōu)勢，船小好掉頭，這也是大家容易理解的。

　　《21世紀(jì)》：美國大數(shù)據(jù)領(lǐng)域的創(chuàng)業(yè)非?；钴S，有很多融資、并購的案例。目前中國大數(shù)據(jù)領(lǐng)域的創(chuàng)業(yè)也在增多。你對(duì)這樣的創(chuàng)業(yè)公司有什么建議？

　　Mike Olson：一是對(duì)這些新興的中國的創(chuàng)業(yè)的大數(shù)據(jù)廠商，要盡量讓自己聚焦在創(chuàng)建一個(gè)行業(yè)的解決方案或者是一些應(yīng)用，或者是一些上傳的工具，這樣能夠更好地利用Cloudera非常穩(wěn)定的、成熟的大數(shù)據(jù)平臺(tái)，提供整體的解決方案給到客戶。

　　中國有很多非常活躍的初創(chuàng)企業(yè)，我們非常希望能夠和合作伙伴一起，通過合作伙伴整個(gè)生態(tài)圈的打造，能夠更多更好地服務(wù)于最終客戶。

　　隱私問題的技術(shù)視角

　　《21世紀(jì)》：你怎么理解大數(shù)據(jù)隱私的問題，目前全球有哪些比較好的解決方案？

　　Mike Olson：用戶隱私是一個(gè)非常重要的話題，不論是對(duì)客戶，還是對(duì)我們這樣一個(gè)產(chǎn)品提供商。我們?cè)谶@方面已經(jīng)做了很多工作。前期我們?cè)跀?shù)據(jù)加密和優(yōu)化方面，和英特爾一起發(fā)布了很多產(chǎn)品。這是一方面。接下來更多的挑戰(zhàn)是，如何把現(xiàn)有我們平臺(tái)已經(jīng)有的功能應(yīng)用到客戶的應(yīng)用場景里去解決客戶的真實(shí)問題。

　　凌琦：第一，我們都理解信息安全、隱私非常重要。同時(shí)跟國家的政策、法規(guī)以及文化、心理習(xí)慣有關(guān)系，所以從一個(gè)技術(shù)公司的角度來說，我們更多的定位自己是提供能夠加強(qiáng)信息安全和隱私管理的技術(shù)。但是上面所進(jìn)行的應(yīng)用開發(fā)更多是跟本地的公司在一起做的，而這些公司對(duì)本地習(xí)慣的了解，文化法規(guī)的了解，使他能夠開發(fā)這些應(yīng)用，符合本地用戶的需求。

　　第二，我們也認(rèn)識(shí)到隱私其實(shí)是個(gè)人的事情，如果說這個(gè)數(shù)據(jù)能夠直接點(diǎn)到每一個(gè)人，把你所有的東西都通過大數(shù)據(jù)的技術(shù)找出來，這是個(gè)很可怕的事情，從技術(shù)上不是不可能。但是我們有一些技術(shù)可以通過隱藏這個(gè)人本身的身份，但是把這些數(shù)據(jù)剝離出來，能夠知道整個(gè)趨勢是什么樣的，但是把人本身的身份隱藏起來。