大數(shù)據(jù)四大類：應(yīng)用、產(chǎn)品、工具、底層科技

當(dāng)大家都在談大數(shù)據(jù)分析和應(yīng)用，臺灣新創(chuàng)團(tuán)隊(duì)核桃運(yùn)算MacroData卻選擇切入最底層的技術(shù)，打造即時(shí)資料分析引擎Big Object。創(chuàng)辦人薛文蔚甚至想顛覆工程師從1970年代以來對資料運(yùn)算的看法，也就是說，資料不必先下載到記憶體，運(yùn)算完再放回去，而是設(shè)計(jì)出「in-place computing」模式，創(chuàng)造接近無限的空間，讓所有資料都為了運(yùn)算而準(zhǔn)備好。10秒就能處理1億筆資料，一臺電腦就可以處理幾十億資料，比起現(xiàn)有的資料庫，運(yùn)算速度還要快50倍到100倍。

硬體科技的進(jìn)步，促成大數(shù)據(jù)

　　核桃運(yùn)算創(chuàng)辦人薛文蔚指出，「目前處理大數(shù)據(jù)的技術(shù)還是在非常早期的階段，很多技術(shù)還不是很方便，這就好像我們現(xiàn)在回頭談70年代的電腦一樣?！?/span>

　　薛文蔚說，「昨天的垃圾，是明天的黃金?！闺S著硬體科技不斷進(jìn)步，現(xiàn)在儲存資料的代價(jià)很低，所以有各式各樣沒有目的的資料被儲存起來，才會形成這3-5年很紅的「大數(shù)據(jù)」概念。

　　大數(shù)據(jù)面臨的挑戰(zhàn)是，很快獲得很多資料，卻難以想像要如何處理資料。當(dāng)資料量很大的時(shí)候，要怎么做才能快速處理這些大數(shù)據(jù)?

　　叁年前，薛文蔚遇到中國供應(yīng)商的單品項(xiàng)管理問題，必須同時(shí)處理40萬個(gè)品項(xiàng)，乘上1萬個(gè)通路時(shí)，預(yù)測出來的值是幾百億點(diǎn)。然而，現(xiàn)行的資料運(yùn)算架構(gòu)主流根本沒辦法處理，才讓他進(jìn)而去解決架構(gòu)所產(chǎn)生的問題，直接從運(yùn)算模式下手。

　　(圖說：核桃運(yùn)算創(chuàng)辦人薛文蔚推出即時(shí)資料分析引擎，推翻工程師長久以來對資料運(yùn)算的看法。圖片來源：郭芝榕攝影。)

顛覆資料運(yùn)算模式

　　「我們現(xiàn)在還在用1945年所設(shè)計(jì)出的電腦運(yùn)算模式!」(也就是范紐曼架構(gòu))薛文蔚解釋，以前記憶體很小，把資料當(dāng)成外來物，程式和塬始碼是一等居民，支配資料。每次要運(yùn)算時(shí)，都要把資料從硬碟內(nèi)搬移至記憶體運(yùn)算，再搬回硬碟，花費(fèi)很多時(shí)間在「搬移」。

　　目前大多數(shù)使用者端的資料庫和程式都以這種邏輯設(shè)計(jì)出來，薛文蔚說，這樣的工作臺模式適合資料運(yùn)算嗎?

　　所以，核桃運(yùn)算3年前設(shè)計(jì)出不必搬移資料的「in-place computing model」，試圖要顛覆資料運(yùn)算的模式。記憶體從32位元前進(jìn)到64位元是一個(gè)很重要的觀念改變，用空間換取時(shí)間，用有效率的方式對映到現(xiàn)有的CPU和記憶體，創(chuàng)造出一個(gè)無限的空間，把程式送到資料儲存地運(yùn)算，避掉資料搬移的過程。

　　例如，HTC就推出64位元處理器的智慧型手機(jī)Desire 820，可以把資料放在云端、伺服器和物聯(lián)網(wǎng)上。

　　(圖說：核桃運(yùn)算顛覆資料運(yùn)算的模式，開發(fā)出資料運(yùn)算引擎BigObject。圖片來源：取自核桃運(yùn)算官網(wǎng)。)

　　此外，核桃運(yùn)算在做運(yùn)算時(shí)，會用各式各樣的轉(zhuǎn)換技術(shù)做分門別類，例如分開性別和收入，并善用關(guān)聯(lián)，讓4G記憶體可以跑100G資料，比MYSQL快100至1000倍。

　　薛文蔚指出，「只要一臺64位元的電腦，就能處理幾十億筆資料，未來也可以用在手機(jī)上。降低一般人使用的門檻，展現(xiàn)平民化的大數(shù)據(jù)運(yùn)算力量?！箍商幚黻P(guān)聯(lián)式分析、多維度分析。

　　未來，嵌入式裝置愈來愈多，大數(shù)據(jù)將是隨處可見的技術(shù)。他更進(jìn)一步指出，未來的使用者將會是資料導(dǎo)向，10年后可能變成人人都對資料「有感覺」，資料科學(xué)將成為基礎(chǔ)知識，而非現(xiàn)在的專家系統(tǒng)。

大數(shù)據(jù)四大類：應(yīng)用、產(chǎn)品、工具、底層科技

　　薛文蔚是臺大資工系第一屆畢業(yè)，在哥倫比亞大學(xué)念資工博士學(xué)位，1995年就開始創(chuàng)業(yè)。他將大數(shù)據(jù)分成應(yīng)用、產(chǎn)品、工具、底層科技四大類，目前切入大數(shù)據(jù)領(lǐng)域的新創(chuàng)團(tuán)隊(duì)，大多都是大數(shù)據(jù)應(yīng)用，包括手機(jī)、物聯(lián)網(wǎng)，有一大部分落在社交媒體，用心理學(xué)分析關(guān)聯(lián)度，例如兩個(gè)人的相似度。

　　做大數(shù)據(jù)的平臺和科技比較少，薛文蔚說，底層科技還有許多可發(fā)展空間，會形成一個(gè)生態(tài)系統(tǒng)。臺灣的強(qiáng)項(xiàng)在硬體，像是固態(tài)硬體、永久記憶體、快閃記憶體等等，核桃運(yùn)算也許會進(jìn)一步結(jié)合硬體，讓運(yùn)算模式更快速。而10年后，底層的硬體可能會被生物記憶體所取代。