英特爾攜手Cloudera發(fā)力大數(shù)據(jù)，背后有哪些契合點(diǎn)

日前，英特爾攜手Cloudera在北京舉辦數(shù)據(jù)分析媒體溝通會(huì)，講述了雙方達(dá)成戰(zhàn)略合作關(guān)系兩年來在大數(shù)據(jù)領(lǐng)域取得的一系列成果。英特爾公司軟件與服務(wù)事業(yè)部副總裁、系統(tǒng)技術(shù)和優(yōu)化部門大數(shù)據(jù)技術(shù)總監(jiān)馬子雅，有Hadoop之父之稱、Cloudera公司首席架構(gòu)師Doug Cutting，以及Cloudera公司副總裁、大中華區(qū)總經(jīng)理凌琦等參會(huì)并接受媒體采訪。

英特爾平臺(tái)為用戶提供最佳數(shù)據(jù)洞察力

馬子雅說，大數(shù)據(jù)作為一個(gè)非常有前景的產(chǎn)業(yè)在過去的幾年里得到了快速的發(fā)展。目前90%的數(shù)據(jù)量都是過去兩三年產(chǎn)生的。大數(shù)據(jù)的價(jià)值是通過數(shù)據(jù)分析給人們帶來好的商業(yè)洞察力。在這方面，英特爾已經(jīng)進(jìn)行了多年的努力，最終目標(biāo)是希望讓任何大數(shù)據(jù)用戶能夠在英特爾平臺(tái)上獲得最好的數(shù)據(jù)洞察力，數(shù)據(jù)分析速度也最為快捷。

他表示，為了達(dá)到這樣的目的，英特爾將工作分為幾個(gè)重點(diǎn)方向。

第一是硬件層面。在這方面，英特爾對(duì)硬件進(jìn)行了很多創(chuàng)新，包括網(wǎng)絡(luò)、存儲(chǔ)、運(yùn)算等。例如在過去的幾個(gè)月，英特爾推出了實(shí)時(shí)分析最快的至強(qiáng)E7V4處理器，也推出了最新的非易失性存儲(chǔ)技術(shù)3D Xpoint?？蛻敉ㄟ^遷移到新一代英特爾硬件平臺(tái)，可以使大數(shù)據(jù)機(jī)組性能得到7倍的提升；而通過在每臺(tái)服務(wù)器中引入英特爾的SSD存儲(chǔ)，可以使客戶的大數(shù)據(jù)機(jī)組性能提升20%。

第二是在大數(shù)據(jù)層面。英特爾對(duì)很多大數(shù)據(jù)項(xiàng)目進(jìn)行了優(yōu)化，以保證它們能夠在英特爾的平臺(tái)上實(shí)現(xiàn)性能的大幅提升。比如英特爾推出了Big Bench、High Bench的測(cè)試標(biāo)準(zhǔn)，引領(lǐng)了業(yè)務(wù)基準(zhǔn)測(cè)試的標(biāo)準(zhǔn)化的發(fā)展。該標(biāo)準(zhǔn)可以幫助業(yè)界更為精準(zhǔn)的了解大數(shù)據(jù)在微觀以及端到端層面的性能。

第三是在開源領(lǐng)域。英特爾看到大數(shù)據(jù)受開源影響較大，無論是Hadoop生態(tài)系統(tǒng)還是Spark生態(tài)系統(tǒng)。因此在過去幾年中，英特爾在開源領(lǐng)域進(jìn)行了很多合作，希望以此影響開源技術(shù)的未來走向，能與英特爾具有更高的黏合度。

例如在Hadoop相關(guān)項(xiàng)目、Spark相關(guān)項(xiàng)目，包括SQL、存儲(chǔ)、云結(jié)合方面，英特爾都做了大量工作。這些工作涵蓋添加性能、改善穩(wěn)定性、可擴(kuò)展性、提升性能、提升數(shù)據(jù)保護(hù)等。

此外，在機(jī)器學(xué)習(xí)方面，英特爾也在開源方面做了很多工作，尤其是在幫助客戶擴(kuò)大機(jī)器學(xué)習(xí)模塊的可擴(kuò)展性方面，可以達(dá)到10倍至70倍，并且可以縮短機(jī)器學(xué)習(xí)的周期達(dá)到8倍。在這方面，英特爾把大部分源代碼都貢獻(xiàn)給開源。

Hadoop讓英特爾硬件更優(yōu)化

Doug Cutting在發(fā)言中表示，Cloudera和英特爾至今已經(jīng)合作兩年時(shí)間，作為雙方在合作方面的亮點(diǎn)，Apache Hadoop確實(shí)改變了人們使用數(shù)據(jù)的方式，能夠讓用戶在數(shù)據(jù)中挖掘更多價(jià)值，同時(shí)在這個(gè)過程中能夠更好地存儲(chǔ)、處理數(shù)據(jù)，和更優(yōu)化的使用英特爾為主的大部分硬件。

可以說我們與英特爾的合作就是基于這樣一個(gè)目的，那就是讓大家的軟件可以在最受青睞的英特爾的硬件上跑的更好。英特爾和Cloudera當(dāng)前確實(shí)也在尋求合作伙伴，當(dāng)越來越多的大數(shù)據(jù)應(yīng)用在數(shù)據(jù)中心部署，我們希望能夠更好地發(fā)揮英特爾硬件的一些功能。他說。

Doug Cutting強(qiáng)調(diào)，自己非常高興的看到在兩年后的今天，雙方的合作非常成功。在許多領(lǐng)域，Cloudera的工程師與英特爾共同合作，以保證Cloudera的軟件能夠非常好的運(yùn)行在英特爾的硬件平臺(tái)上。其中對(duì)某些領(lǐng)域通過重點(diǎn)進(jìn)行優(yōu)化，從而使Cloudera技術(shù)能夠與英特爾技術(shù)做到深度結(jié)合。比如現(xiàn)在可以以非常低的價(jià)格進(jìn)行解密，只有這樣才能夠使所有的文件都有加密，在保證數(shù)據(jù)安全的基礎(chǔ)上，并不會(huì)在解密和加密的過程中影響到使用和運(yùn)營(yíng)效率。

對(duì)Cloudera中國市場(chǎng)未來有信心

凌琦在發(fā)言中主要分享了Cloudera在中國市場(chǎng)落地1年多時(shí)間以來的發(fā)展情況。

他介紹，從Cloudera自2014年底成立以來至今已經(jīng)走過了18個(gè)月，目前，Cloudera在中國市場(chǎng)也取得了非常好的發(fā)展。公司當(dāng)前已在北京、上海和廣州建立了辦事機(jī)構(gòu)，業(yè)務(wù)拓展速度也是非常的快。

凌琦說，除了在與英特爾進(jìn)行很多項(xiàng)目的研發(fā)、合作外，Cloudera公司自身在商業(yè)方面也擁有著完整的售前、營(yíng)銷以及專業(yè)服務(wù)力量。值得一提的是，作為公司的一大業(yè)務(wù)是涉及大數(shù)據(jù)人才的培訓(xùn)，目前已有5家培訓(xùn)領(lǐng)域合作伙伴與Cloudera達(dá)成了合作關(guān)系，并展開了大規(guī)模的大數(shù)據(jù)人才培訓(xùn)。

此外，凌琦還介紹了Cloudera在中國行業(yè)市場(chǎng)拓展方面的情況。目前，Cloudera業(yè)務(wù)已經(jīng)覆蓋電信、金融、制造以及與基礎(chǔ)設(shè)施建設(shè)、零售等相關(guān)行業(yè)。這些行業(yè)也都是在大數(shù)據(jù)應(yīng)用和發(fā)展上比較快的行業(yè)。

我們非常高興的看到在國內(nèi)主要的大企業(yè)都開始廣泛采用基于Apache Hadoop的Cloudera商業(yè)發(fā)行版。在主要免費(fèi)版本的發(fā)行和采用率上，Cloudera至少在國內(nèi)占有70%以上的市場(chǎng)份額。到目前為止運(yùn)營(yíng)的18個(gè)月中，我非常高興看到Cloudera在中國市場(chǎng)非常成功。我們對(duì)未來有非常好的憧憬。凌琦說。