從大數(shù)據(jù)出發(fā)，核桃運(yùn)算打造即時(shí)資料分析引擎_數(shù)據(jù)分析師

在大數(shù)據(jù)時(shí)代中，如何更快地即時(shí)分析巨量數(shù)據(jù)，成為新的創(chuàng)業(yè)契機(jī)。來(lái)自臺(tái)灣的團(tuán)隊(duì)「核桃運(yùn)算MacroData」，從最底層的數(shù)據(jù)分析架構(gòu)出發(fā)，耗費(fèi)兩年半的時(shí)間，研發(fā)出可分析不同資料屬性，以及橫跨各式硬體的資料分析引擎，比起現(xiàn)有的資料庫(kù)來(lái)說(shuō)，運(yùn)算速度還要快50倍到100倍，今年下半年將正式走入市場(chǎng)。

　　令人意外的是，核桃運(yùn)算一開始并非瞄準(zhǔn)大數(shù)據(jù)商機(jī)。核桃運(yùn)算的靈魂人物薛文蔚，是臺(tái)大資工系第一屆學(xué)生，畢業(yè)取得哥倫比亞大學(xué)資工博士學(xué)位后，先到華爾街工作兩年，在1995年開始創(chuàng)業(yè)，開發(fā)教育平臺(tái)。2000年回到臺(tái)灣 ，在知名的軟體公司Computer Associates負(fù)責(zé)亞洲地區(qū)的合資公司業(yè)務(wù)，隨后在臺(tái)灣成立供應(yīng)鏈管理公司「聯(lián)合通商eBizprise」，和在中國(guó)的子公司「eBizServe」。

　　2011年，薛文蔚遇到一個(gè)中國(guó)大陸大型零售商的供應(yīng)鏈預(yù)測(cè)問(wèn)題。當(dāng)20萬(wàn)個(gè)品項(xiàng)、上萬(wàn)個(gè)通路，再加上要做100週的預(yù)測(cè)時(shí)，資料共有驚人的上百億點(diǎn)，如此龐大的資料量，傳統(tǒng)的資料庫(kù)無(wú)法負(fù)荷。他發(fā)現(xiàn)市場(chǎng)空缺后，找來(lái)公司裡兩位同事黃怡誠(chéng)和賴育駿，一同成立研發(fā)團(tuán)隊(duì)。

　　雖然本來(lái)是從供應(yīng)鏈管理的問(wèn)題切入，但深入研究后薛文蔚卻發(fā)現(xiàn)，這是大數(shù)據(jù)的問(wèn)題。他解釋，現(xiàn)在用的資料庫(kù)技術(shù)都是1970年時(shí)提出的架構(gòu)，很多理論是基于當(dāng)時(shí)的假設(shè)，「但當(dāng)?shù)讓訔l件已經(jīng)改變時(shí)，我們不該再用過(guò)去的模式想事情?！褂谑菆F(tuán)隊(duì)從非常底層的架構(gòu)重新思考，適合現(xiàn)在使用的運(yùn)算模式是什么。

　　其中最大的差異是，過(guò)去資料運(yùn)算時(shí)，需先從資料儲(chǔ)存的地方如硬碟，搬到記憶體運(yùn)算后，再把資料放回去。但現(xiàn)在的資料量早已是過(guò)去的好幾千萬(wàn)倍，薛文蔚打個(gè)比方：「Data的成長(zhǎng)就好像房?jī)r(jià)一樣，Code的成長(zhǎng)則好像薪水一樣。」

　　如果沿用過(guò)去搬動(dòng)資料的運(yùn)算方式，大多時(shí)間都是花在「搬移」上，因此核桃運(yùn)算主張透過(guò)不搬動(dòng)的「in-place computing」運(yùn)算方式，直接把程式送到資料的所在地運(yùn)算，少了搬移動(dòng)作，資料運(yùn)算速度就會(huì)提昇很多。目前團(tuán)隊(duì)已申請(qǐng)四項(xiàng)美國(guó)專利，其中叁項(xiàng)已被核準(zhǔn)。

　　比起現(xiàn)有的資料庫(kù)運(yùn)算方式，核桃運(yùn)算共同創(chuàng)辦人陳元貞解釋，以目前知名的Hadoop來(lái)說(shuō)，透過(guò)分散式運(yùn)算，把1部機(jī)器要算的東西放到100部機(jī)器上算，雖能提升運(yùn)算速度，但卻不是每個(gè)公司都能負(fù)擔(dān)的起部建分散式運(yùn)算系統(tǒng)。

　　若是非關(guān)聯(lián)式的NoSQL資料庫(kù)，數(shù)據(jù)存儲(chǔ)沒(méi)有一定的模式架構(gòu)，雖然速度可以變快，但也因?yàn)椴恍韫潭Ｊ剑?dāng)要做兩者的比較分析或資料採(cǎi)礦就有些困難。若是傳統(tǒng)的MySQL資料庫(kù)，更是無(wú)法負(fù)荷現(xiàn)在龐大的資料量。

　　從2011年下半年先在母公司聯(lián)合通商旗下成立團(tuán)隊(duì)開始，眾人花了兩年半時(shí)間研發(fā)，終于在今年推出產(chǎn)品「Big Object」，團(tuán)隊(duì)也在今年2月從母公司獨(dú)立。Big Object主要運(yùn)行在64 bit的裝置上，因?yàn)閽?cǎi)用「in-place computing」，最大優(yōu)勢(shì)就是快，運(yùn)算速度可快50倍至100倍，因此可做到當(dāng)下的即時(shí)分析。

　　此外，Big Object也能分析異質(zhì)性資料，不只企業(yè)本身的商務(wù)資料，也能結(jié)合open data和非結(jié)構(gòu)性資料，像是零售業(yè)者可和天氣預(yù)測(cè)或臉書貼文交叉比對(duì)。「就像冰山一樣，本來(lái)你只看到交易資料，可是更多的是你沒(méi)有看到水面底下的資料，」陳元貞說(shuō)。

　　也因?yàn)锽ig Object是很輕巧的資料運(yùn)算引擎，在未來(lái)物聯(lián)網(wǎng)時(shí)代，小至眼鏡、手錶，大到汽車、冰箱，每個(gè)裝置都能成為分析資料的機(jī)器，因此這些裝置也都可以嵌入Big Object的分析引擎，根據(jù)數(shù)據(jù)做出最優(yōu)化的預(yù)測(cè)或行動(dòng)，如調(diào)整車速、冰箱溫度等。

　　Big Object主要針對(duì)BI產(chǎn)品(Business Intelligence，從數(shù)據(jù)分析中挖掘商業(yè)價(jià)值)或LOG分析的軟體開發(fā)商，可直接將Big Object嵌入在軟體裡，收入以授權(quán)年費(fèi)為主。目前核桃運(yùn)算已有些試用客戶，像是在臺(tái)灣就已和神坊資訊旗下的購(gòu)物網(wǎng)站合作，透過(guò)Big Object計(jì)算商品間的相關(guān)性，進(jìn)而做出即時(shí)的購(gòu)物推薦。

　　產(chǎn)品到位后，今年下半年Big Object將開始走入市場(chǎng)，目前處于客戶開發(fā)階段。陳元貞表示，由于這類應(yīng)用主要在美國(guó)市場(chǎng)居多，因此今年3月團(tuán)隊(duì)也在美國(guó)註冊(cè)公司，預(yù)計(jì)今年在臺(tái)灣和美國(guó)都要各自招募十人團(tuán)隊(duì)，未來(lái)臺(tái)灣負(fù)責(zé)研發(fā)，美國(guó)則負(fù)責(zé)業(yè)務(wù)。

　　核桃運(yùn)算四位共同創(chuàng)辦人，從左至右為賴育駿、薛文蔚、黃怡誠(chéng)和陳元貞

　　【創(chuàng)業(yè)教我的事】找出自己的定位，在過(guò)程中隨時(shí)保有自己的判斷，尤其是對(duì)產(chǎn)品和市場(chǎng)策略的看法。

　　Q1. 希望提供這個(gè)社會(huì)什么價(jià)值? 最主要是提供一個(gè)快速又可負(fù)擔(dān)的分析引擎，幫助資料分析者或商業(yè)決策者，發(fā)掘出隱含在大量資料背后的資訊。

　　Q2. 長(zhǎng)遠(yuǎn)來(lái)看，貴公司想成為何種類型的公司?

　　我們希望做到「資料處理界的Intel」，未來(lái)軟體內(nèi)可以搭載BigObject的運(yùn)算核心，不管是CRM、ERP、BI或是Log分析軟體，都能透過(guò)BigObject的即時(shí)分析而有更優(yōu)化的軟體功能。

本文來(lái)源:CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)