星環(huán)大數(shù)據(jù) 互聯(lián)網(wǎng)+時(shí)代的新引擎_數(shù)據(jù)分析師

在互聯(lián)網(wǎng)時(shí)代，當(dāng)下最熱門的詞語可能就是“大數(shù)據(jù)”了，手機(jī)話費(fèi)賬單是大數(shù)據(jù)、信用卡消費(fèi)記錄是大數(shù)據(jù)、就連往我們常常使用的支付寶背后也有大數(shù)據(jù)的支撐。數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！按髷?shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時(shí)日，卻因?yàn)榻陙砘ヂ?lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。

　　比肩硅谷：專注產(chǎn)品打造平臺(tái)

　　大數(shù)據(jù)作為云計(jì)算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革 命。云計(jì)算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道，而數(shù)據(jù)才是真正有價(jià)值的資產(chǎn)。企業(yè)內(nèi)部的經(jīng)營交易信息、互聯(lián)網(wǎng)世界中的商品物流信息，互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等，其數(shù)量將遠(yuǎn)遠(yuǎn)超越現(xiàn)有企業(yè)IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，實(shí)時(shí)性要求也將大大超越現(xiàn)有的計(jì)算能力。如何盤活這些數(shù)據(jù)資產(chǎn)，使其為國家治理、企業(yè)決策乃至個(gè)人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計(jì)算內(nèi)在的靈魂和必然的升級(jí)方向。

　　星環(huán)信息科技有限公司是目前國內(nèi)極少數(shù)掌握企業(yè)級(jí)大數(shù)據(jù)Hadoop和Spark核心技術(shù)的高科技公司，從事大數(shù)據(jù)時(shí)代核心平臺(tái)數(shù)據(jù)庫軟件的研發(fā)與服務(wù)。在全球去IOE的大背景下，Hadoop技術(shù)已成為公認(rèn)的替代傳統(tǒng)數(shù)據(jù)庫的大數(shù)據(jù)產(chǎn)品。公司產(chǎn)品Transwarp Data Hub (TDH)的整體架構(gòu)及功能特性比肩硅谷同行，產(chǎn)品性能在業(yè)界處于領(lǐng)先水平。

　　公司研發(fā)團(tuán)隊(duì)是國內(nèi)最早的大數(shù)據(jù)Hadoop發(fā)行版團(tuán)隊(duì)，從2009年起即開始致力于大數(shù)據(jù)Hadoop平臺(tái)軟件的開發(fā)，與硅谷同類公司同時(shí)起步;2011年在中國率先推出Hadoop發(fā)行版;之后，團(tuán)隊(duì)負(fù)責(zé)人原英特爾亞太研發(fā)中心CTO孫元浩、亞太區(qū)銷售總監(jiān)佘暉離開英特爾，創(chuàng)辦星環(huán)科技。以上海為核心總部，并在北京、廣州、南京、濟(jì)南等地分設(shè)辦事處。

　　TDH是基于Hadoop和Spark的分布式內(nèi)存分析引擎和實(shí)時(shí)在線大規(guī)模計(jì)算分析平臺(tái)，相比開源Hadoop版本有10x~100x倍性能提升，可處理GB到PB級(jí)別的數(shù)據(jù)。星環(huán)科技同時(shí)提供存儲(chǔ)、分析和挖掘大數(shù)據(jù)的高效數(shù)據(jù)平臺(tái)和服務(wù)。

　　產(chǎn)品研發(fā)：精準(zhǔn)定位預(yù)見未來

　　大數(shù)據(jù)(Big data)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會(huì)花費(fèi)過多時(shí)間和金錢。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點(diǎn)至關(guān)重要，也正是這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。

　　“大數(shù)據(jù)”的影響，增加了對(duì)信息管理專家的需求，甲骨文，IBM，微軟和SAP花了超過15億美元的在軟件智能數(shù)據(jù)管理和分析的專業(yè)公司，這個(gè)行業(yè)自身價(jià)值超過1000億美元，每年還在不斷增長。

　　星環(huán)信息科技(上海)有限公司總經(jīng)理佘暉在采訪中告訴記者，現(xiàn)在大數(shù)據(jù)處理的服務(wù)商很多，但是專業(yè)從事大數(shù)據(jù)基礎(chǔ)軟件平臺(tái)產(chǎn)品研發(fā)的企業(yè)并不多，尤其像星環(huán)信息科技這樣具備一百多人的研發(fā)團(tuán)隊(duì)在國內(nèi)非常少。在這個(gè)快速發(fā)展的時(shí)代，企業(yè)要有“預(yù)見未來”的判斷，精準(zhǔn)測算出今后一個(gè)月乃至一年市場上需要怎樣的大數(shù)據(jù)產(chǎn)品，研發(fā)團(tuán)隊(duì)能夠快速跟上市場步伐。星環(huán)信息科技的目標(biāo)就是要做中國的“甲骨文”，迅速占領(lǐng)市場。

　　大數(shù)據(jù)有四個(gè)層面特點(diǎn)：第一，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別;第二，數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。第四，處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)。

　　優(yōu)質(zhì)性能：服務(wù)領(lǐng)域前景廣闊

　　人們?nèi)魏螘r(shí)候都與數(shù)據(jù)或信息交互。星環(huán)信息科技(上海)有限公司總經(jīng)理佘暉給記者舉了個(gè)例子，廣東移動(dòng)公司目前有幾億個(gè)用戶，如果用戶發(fā)短信到移動(dòng)公司查詢帳單的詳細(xì)情況過去可能需要一分鐘去處理這些數(shù)據(jù)信息，現(xiàn)在應(yīng)用新型的大數(shù)據(jù)處理產(chǎn)品只要一秒鐘就能給客戶提供賬單。與國際知名公司相比星環(huán)信息科技提供的大數(shù)據(jù)處理產(chǎn)品價(jià)格便宜而且后續(xù)服務(wù)的費(fèi)用也會(huì)相對(duì)低廉，因此市場前景十分廣闊。

　　星環(huán)信息科技(上海)有限公司總經(jīng)理佘暉告訴記者，大數(shù)據(jù)處理系統(tǒng)不但能給企業(yè)帶來經(jīng)濟(jì)效益，還有許多社 會(huì)價(jià)值。比如城市交通越來越繁忙，機(jī)動(dòng)車輛不斷增加，地方政府需要好的方法對(duì)過往車輛進(jìn)行監(jiān)控管理，從而提供更好的交通服務(wù)。有些城市安裝了上千臺(tái)數(shù)字監(jiān)控設(shè)備，這些設(shè)備7×24小時(shí)不間斷捕獲圖像和視頻數(shù)據(jù)，每月數(shù)據(jù)量達(dá)TB級(jí)?？墒沁@些數(shù)據(jù)如何處理應(yīng)用非常麻煩，星環(huán)信息科技的大數(shù)據(jù)分析，就能提高城市機(jī)動(dòng)車的管理效率。用大數(shù)據(jù)技術(shù)，不到1秒即可得到從24億條過車數(shù)據(jù)中的機(jī)動(dòng)車號(hào)牌查詢出的精確結(jié)果和行車軌跡。如果遇到交通案件偵破需要偵破，過去需要警察通過肉眼在圖像中識(shí)別犯罪車輛，安裝了大數(shù)據(jù)處理系統(tǒng)之后機(jī)動(dòng)車違法圖像信息門可根據(jù)車輛的顏色、車型、號(hào)牌等信息實(shí)時(shí)查詢其歷史行為、行車路線和車輛營運(yùn)公司、駕駛?cè)说汝P(guān)聯(lián)信息，也許幾十天完成的工作量可以在十秒鐘時(shí)間內(nèi)完成。

　　在使用信用卡的過程中也有許多大數(shù)據(jù)的應(yīng)用，比如某金融機(jī)構(gòu)的信用卡中心擁有大量銀行卡實(shí)時(shí)交易數(shù)據(jù)，該中心需要打造開放的大數(shù)據(jù)平臺(tái)使得各業(yè)務(wù)部門可以挖掘這些數(shù)據(jù)中的價(jià)值。大數(shù)據(jù)的軟件可以根據(jù)刷卡消費(fèi)的時(shí)間、金額和種類分析商圈的范圍和密度，找出特定消費(fèi)類別的重點(diǎn)區(qū)域和重點(diǎn)人群。根據(jù)刷卡記錄分析持卡人的行為特征，如年齡階段、性別、支付能力、消費(fèi)頻繁度、興趣愛好、職業(yè)性質(zhì)等等，采用協(xié)同過濾等機(jī)器學(xué)習(xí)算法為持卡人推薦合適的商戶或產(chǎn)品。從持卡人復(fù)雜的連續(xù)交易行為中挖掘出規(guī)律，一方面找出沉默用戶并分析流失可能性，另一方面利用消費(fèi)規(guī)律下推測該用戶在未來一段時(shí)間內(nèi)很大概率會(huì)發(fā)生的消費(fèi)行為，進(jìn)行精準(zhǔn)的營 銷。

　　核心競爭：構(gòu)建團(tuán)隊(duì)占領(lǐng)市場

　　星環(huán)信息科技的產(chǎn)品在醫(yī)療衛(wèi)生、郵政快遞、電子商務(wù)等諸多領(lǐng)域都能運(yùn)用。如果要迅速占領(lǐng)市場先發(fā)制人就需要大量的人才作為后盾。星環(huán)信息科技研發(fā)團(tuán)隊(duì)大多來自知名外企，員工主要是研發(fā)工程師，以博士碩士為主，有許多頂尖人才來自谷歌、微軟、甲骨文這些優(yōu)秀外企。優(yōu)秀的企業(yè)發(fā)展前景也吸引了不少畢業(yè)于復(fù)旦、交大的高校人才，公司從創(chuàng)業(yè)之初的八個(gè)人發(fā)展到如今的一百多人只用了兩年的時(shí)間，這樣的研發(fā)團(tuán)隊(duì)規(guī)模在國內(nèi)專業(yè)大數(shù)據(jù)Hadoop開發(fā)的團(tuán)隊(duì)中首屈一指。

　　為了用好人才、留住人才，星環(huán)信息科技在同行業(yè)內(nèi)給員工的工資待遇算比較高，而且實(shí)行全員持股，在發(fā)展的過程中已經(jīng)完成了三輪融資。繼續(xù)開發(fā)產(chǎn)品，快速融資，盡快實(shí)現(xiàn)上市目標(biāo)，迅速占領(lǐng)大數(shù)據(jù)市場是星環(huán)信息科技目前的發(fā)展思路。

　　Hadoop真的來了!隨著市場快速發(fā)展，移動(dòng)終端爆炸性增長，尤其近三年“大數(shù)據(jù)”的提出，企業(yè)系統(tǒng)中的數(shù)據(jù)也開始出現(xiàn)了類幾何級(jí)數(shù)增長的問題。在看到了這片新“處女地”后，開源及互聯(lián)網(wǎng)領(lǐng)域里的Hadoop技術(shù)專家們紛紛自立門戶，開始以Hadoop發(fā)行版的方式向企業(yè)級(jí)市場進(jìn)軍，一時(shí)間Hadoop市場呈現(xiàn)出“群雄逐鹿”的戰(zhàn)國場面。 畢竟，企業(yè)級(jí)市場才是整個(gè)IT領(lǐng)域中那顆“皇冠上的珍珠”。在美國，Cloudera、Hortonworks、MapR已經(jīng)成為主流Hadoop發(fā)行版廠商，各自擁有幾百個(gè)企業(yè)客戶IBM的 Big Insights也是一個(gè)Hadoop版本，雖然Big Insights輪不上IBM主要產(chǎn)品線，但相信客戶數(shù)也不少。

　　這樣的風(fēng)潮固然起源于硅谷，但今日的地球“是平的”，中國IT業(yè)也早不是以前了。在國家“創(chuàng)新”戰(zhàn)略的影響下，紛紛加入到Hadoop技術(shù)的競爭中來，推出自己的企業(yè)版本。星環(huán)信息科技一馬當(dāng)先，已經(jīng)加入到頂級(jí)技術(shù)PK的戰(zhàn)隊(duì)中，其Transwarp Data Hub是國內(nèi)自主的最早一個(gè)發(fā)行版，也是國際上除DataBricks以外最早的Spark企業(yè)發(fā)行版。華為，亞信，Redhaoop等也以自身的品牌，市場或者社區(qū)優(yōu)勢推出基于Hadoop的大數(shù)據(jù)平臺(tái) 。再加上國外的幾家廠商，可謂盛況空前，誰能解決客戶的問題，誰就能發(fā)展。

　　如果我們看下傳統(tǒng)數(shù)據(jù)庫廠商的收入和hadoop廠商的收入，我們就會(huì)明白，競爭才剛剛開始。Hadoop的興起不是一個(gè)產(chǎn)品代替另一類產(chǎn)品，而是在硬件發(fā)展到一定階段一個(gè)計(jì)算模式代替另一個(gè)計(jì)算模式。大數(shù)據(jù)一定會(huì)顛覆我們傳統(tǒng)的思維，引導(dǎo)無限想象的未來世界。