星環(huán)大數(shù)據(jù)——互聯(lián)網(wǎng)+時代的新引擎_數(shù)據(jù)分析師

在互聯(lián)網(wǎng)時代，當下最熱門的詞語可能就是“大數(shù)據(jù)”了，手機話費賬單是大數(shù)據(jù)、信用卡消費記錄是大數(shù)據(jù)、就連往我們常常使用的支付寶背后也有大數(shù)據(jù)的支撐。數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！按髷?shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日，卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。

　　比肩硅谷：專注產(chǎn)品打造平臺

　　大數(shù)據(jù)作為云計算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命。云計算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道，而數(shù)據(jù)才是真正有價值的資產(chǎn)。企業(yè)內(nèi)部的經(jīng)營交易信息、互聯(lián)網(wǎng)世界中的商品物流信息，互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等，其數(shù)量將遠遠超越現(xiàn)有企業(yè)IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，實時性要求也將大大超越現(xiàn)有的計算能力。如何盤活這些數(shù)據(jù)資產(chǎn)，使其為國家治理、企業(yè)決策乃至個人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計算內(nèi)在的靈魂和必然的升級方向。

　　星環(huán)信息科技有限公司是目前國內(nèi)極少數(shù)掌握企業(yè)級大數(shù)據(jù)Hadoop和Spark核心技術(shù)的高科技公司，從事大數(shù)據(jù)時代核心平臺數(shù)據(jù)庫軟件的研發(fā)與服務(wù)。在全球去IOE的大背景下，Hadoop技術(shù)已成為公認的替代傳統(tǒng)數(shù)據(jù)庫的大數(shù)據(jù)產(chǎn)品。公司產(chǎn)品Transwarp Data Hub (TDH)的整體架構(gòu)及功能特性比肩硅谷同行，產(chǎn)品性能在業(yè)界處于領(lǐng)先水平。

　　公司研發(fā)團隊是國內(nèi)最早的大數(shù)據(jù)Hadoop發(fā)行版團隊，從2009年起即開始致力于大數(shù)據(jù)Hadoop平臺軟件的開發(fā)，與硅谷同類公司同時起步;2011年在中國率先推出Hadoop發(fā)行版;之后，團隊負責(zé)人原英特爾亞太研發(fā)中心CTO孫元浩、亞太區(qū)銷售總監(jiān)佘暉離開英特爾，創(chuàng)辦星環(huán)科技。以上海為核心總部，并在北京、廣州、南京、濟南等地分設(shè)辦事處。

　　TDH是基于Hadoop和Spark的分布式內(nèi)存分析引擎和實時在線大規(guī)模計算分析平臺，相比開源Hadoop版本有10x~100x倍性能提升，可處理GB到PB級別的數(shù)據(jù)。星環(huán)科技同時提供存儲、分析和挖掘大數(shù)據(jù)的高效數(shù)據(jù)平臺和服務(wù)。

　　產(chǎn)品研發(fā)：精準定位預(yù)見未來

　　大數(shù)據(jù)(Big data)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點至關(guān)重要，也正是這一點促使該技術(shù)具備走向眾多企業(yè)的潛力。

　　“大數(shù)據(jù)”的影響，增加了對信息管理專家的需求，甲骨文，IBM，微軟和SAP花了超過15億美元的在軟件智能數(shù)據(jù)管理和分析的專業(yè)公司，這個行業(yè)自身價值超過1000億美元，每年還在不斷增長。

　　星環(huán)信息科技(上海)有限公司總經(jīng)理佘暉在采訪中告訴記者，現(xiàn)在大數(shù)據(jù)處理的服務(wù)商很多，但是專業(yè)從事大數(shù)據(jù)基礎(chǔ)軟件平臺產(chǎn)品研發(fā)的企業(yè)并不多，尤其像星環(huán)信息科技這樣具備一百多人的研發(fā)團隊在國內(nèi)非常少。在這個快速發(fā)展的時代，企業(yè)要有“預(yù)見未來”的判斷，精準測算出今后一個月乃至一年市場上需要怎樣的大數(shù)據(jù)產(chǎn)品，研發(fā)團隊能夠快速跟上市場步伐。星環(huán)信息科技的目標就是要做中國的“甲骨文”，迅速占領(lǐng)市場。

　　大數(shù)據(jù)有四個層面特點：第一，數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別;第二，數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。第四，處理速度快。1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)。

　　優(yōu)質(zhì)性能：服務(wù)領(lǐng)域前景廣闊

　　人們?nèi)魏螘r候都與數(shù)據(jù)或信息交互。星環(huán)信息科技(上海)有限公司總經(jīng)理佘暉給記者舉了個例子，廣東移動公司目前有幾億個用戶，如果用戶發(fā)短信到移動公司查詢帳單的詳細情況過去可能需要一分鐘去處理這些數(shù)據(jù)信息，現(xiàn)在應(yīng)用新型的大數(shù)據(jù)處理產(chǎn)品只要一秒鐘就能給客戶提供賬單。與國際知名公司相比星環(huán)信息科技提供的大數(shù)據(jù)處理產(chǎn)品價格便宜而且后續(xù)服務(wù)的費用也會相對低廉，因此市場前景十分廣闊。

　　星環(huán)信息科技(上海)有限公司總經(jīng)理佘暉告訴記者，大數(shù)據(jù)處理系統(tǒng)不但能給企業(yè)帶來經(jīng)濟效益，還有許多社會價值。比如城市交通越來越繁忙，機動車輛不斷增加，地方政府需要好的方法對過往車輛進行監(jiān)控管理，從而提供更好的交通服務(wù)。有些城市安裝了上千臺數(shù)字監(jiān)控設(shè)備，這些設(shè)備7×24小時不間斷捕獲圖像和視頻數(shù)據(jù)，每月數(shù)據(jù)量達TB級?？墒沁@些數(shù)據(jù)如何處理應(yīng)用非常麻煩，星環(huán)信息科技的大數(shù)據(jù)分析，就能提高城市機動車的管理效率。用大數(shù)據(jù)技術(shù)，不到1秒即可得到從24億條過車數(shù)據(jù)中的機動車號牌查詢出的精確結(jié)果和行車軌跡。如果遇到交通案件偵破需要偵破，過去需要警察通過肉眼在圖像中識別犯罪車輛，安裝了大數(shù)據(jù)處理系統(tǒng)之后機動車違法圖像信息門可根據(jù)車輛的顏色、車型、號牌等信息實時查詢其歷史行為、行車路線和車輛營運公司、駕駛?cè)说汝P(guān)聯(lián)信息，也許幾十天完成的工作量可以在十秒鐘時間內(nèi)完成。

　　在使用信用卡的過程中也有許多大數(shù)據(jù)的應(yīng)用，比如某金融機構(gòu)的信用卡中心擁有大量銀行卡實時交易數(shù)據(jù)，該中心需要打造開放的大數(shù)據(jù)平臺使得各業(yè)務(wù)部門可以挖掘這些數(shù)據(jù)中的價值。大數(shù)據(jù)的軟件可以根據(jù)刷卡消費的時間、金額和種類分析商圈的范圍和密度，找出特定消費類別的重點區(qū)域和重點人群。根據(jù)刷卡記錄分析持卡人的行為特征，如年齡階段、性別、支付能力、消費頻繁度、興趣愛好、職業(yè)性質(zhì)等等，采用協(xié)同過濾等機器學(xué)習(xí)算法為持卡人推薦合適的商戶或產(chǎn)品。從持卡人復(fù)雜的連續(xù)交易行為中挖掘出規(guī)律，一方面找出沉默用戶并分析流失可能性，另一方面利用消費規(guī)律下推測該用戶在未來一段時間內(nèi)很大概率會發(fā)生的消費行為，進行精準的營銷。

　　核心競爭：構(gòu)建團隊占領(lǐng)市場

　　星環(huán)信息科技的產(chǎn)品在醫(yī)療衛(wèi)生、郵政快遞、電子商務(wù)等諸多領(lǐng)域都能運用。如果要迅速占領(lǐng)市場先發(fā)制人就需要大量的人才作為后盾。星環(huán)信息科技研發(fā)團隊大多來自知名外企，員工主要是研發(fā)工程師，以博士碩士為主，有許多頂尖人才來自谷歌、微軟、甲骨文這些優(yōu)秀外企。優(yōu)秀的企業(yè)發(fā)展前景也吸引了不少畢業(yè)于復(fù)旦、交大的高校人才，公司從創(chuàng)業(yè)之初的八個人發(fā)展到如今的一百多人只用了兩年的時間，這樣的研發(fā)團隊規(guī)模在國內(nèi)專業(yè)大數(shù)據(jù)Hadoop開發(fā)的團隊中首屈一指。

　　為了用好人才、留住人才，星環(huán)信息科技在同行業(yè)內(nèi)給員工的工資待遇算比較高，而且實行全員持股，在發(fā)展的過程中已經(jīng)完成了三輪融資。繼續(xù)開發(fā)產(chǎn)品，快速融資，盡快實現(xiàn)上市目標，迅速占領(lǐng)大數(shù)據(jù)市場是星環(huán)信息科技目前的發(fā)展思路。

　　Hadoop真的來了!隨著市場快速發(fā)展，移動終端爆炸性增長，尤其近三年“大數(shù)據(jù)”的提出，企業(yè)系統(tǒng)中的數(shù)據(jù)也開始出現(xiàn)了類幾何級數(shù)增長的問題。在看到了這片新“處女地”后，開源及互聯(lián)網(wǎng)領(lǐng)域里的Hadoop技術(shù)專家們紛紛自立門戶，開始以Hadoop發(fā)行版的方式向企業(yè)級市場進軍，一時間Hadoop市場呈現(xiàn)出“群雄逐鹿”的戰(zhàn)國場面。 畢竟，企業(yè)級市場才是整個IT領(lǐng)域中那顆“皇冠上的珍珠”。在美國，Cloudera、Hortonworks、MapR已經(jīng)成為主流Hadoop發(fā)行版廠商，各自擁有幾百個企業(yè)客戶IBM的 Big Insights也是一個Hadoop版本，雖然Big Insights輪不上IBM主要產(chǎn)品線，但相信客戶數(shù)也不少。

　　這樣的風(fēng)潮固然起源于硅谷，但今日的地球“是平的”，中國IT業(yè)也早不是以前了。在國家“創(chuàng)新”戰(zhàn)略的影響下，紛紛加入到Hadoop技術(shù)的競爭中來，推出自己的企業(yè)版本。星環(huán)信息科技一馬當先，已經(jīng)加入到頂級技術(shù)PK的戰(zhàn)隊中，其Transwarp Data Hub是國內(nèi)自主的最早一個發(fā)行版，也是國際上除DataBricks以外最早的Spark企業(yè)發(fā)行版。華為，亞信，Redhaoop等也以自身的品牌，市場或者社區(qū)優(yōu)勢推出基于Hadoop的大數(shù)據(jù)平臺 。再加上國外的幾家廠商，可謂盛況空前，誰能解決客戶的問題，誰就能發(fā)展。

　　如果我們看下傳統(tǒng)數(shù)據(jù)庫廠商的收入和hadoop廠商的收入，我們就會明白，競爭才剛剛開始。Hadoop的興起不是一個產(chǎn)品代替另一類產(chǎn)品，而是在硬件發(fā)展到一定階段一個計算模式代替另一個計算模式。大數(shù)據(jù)一定會顛覆我們傳統(tǒng)的思維，引導(dǎo)無限想象的未來世界。