近年來(lái)，隨著大數(shù)據(jù)在Google、Facebook等企業(yè)的成功應(yīng)用，很多傳統(tǒng)企業(yè)和初創(chuàng)公司都轉(zhuǎn)向應(yīng)用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)金礦?，F(xiàn)有企業(yè)累計(jì)了大量的工業(yè)數(shù)據(jù)，但是大數(shù)據(jù)的開(kāi)發(fā)的復(fù)雜流程阻礙了企業(yè)快速?gòu)墓I(yè)數(shù)據(jù)和商業(yè)數(shù)據(jù)中挖掘價(jià)值。行業(yè)專(zhuān)家（算法研究者）精通行業(yè)數(shù)據(jù)分析，卻受限于編程復(fù)雜度和缺乏快速部署算法的方法，使很多創(chuàng)造性想法無(wú)法得到有效實(shí)施。在這個(gè)技術(shù)飛躍的時(shí)代，擁有大量工業(yè)數(shù)據(jù)的企業(yè)和技術(shù)專(zhuān)家們應(yīng)該如何開(kāi)展大數(shù)據(jù)技術(shù)的研發(fā)工作？

大數(shù)據(jù)從業(yè)者在數(shù)據(jù)搜集、數(shù)據(jù)探索、開(kāi)發(fā)和部署的每一個(gè)階段都會(huì)碰到各式各樣的難題，不得不在不同的開(kāi)發(fā)環(huán)境中進(jìn)行切換，并為此付出了大量額外的時(shí)間和人力成本。在現(xiàn)有的數(shù)據(jù)資源上，如何對(duì)數(shù)據(jù)進(jìn)行清洗、整合以及探索性研究，正是數(shù)據(jù)專(zhuān)家們發(fā)揮專(zhuān)長(zhǎng)的地方；而這個(gè)過(guò)程所耗費(fèi)的時(shí)間往往是編程實(shí)現(xiàn)的好幾倍。今天多數(shù)的大數(shù)據(jù)方案都是依托Hadoop環(huán)境來(lái)做結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理，如何把自己的Hadoop算法快速部署到實(shí)際的生產(chǎn)環(huán)境當(dāng)中去，對(duì)很多企業(yè)的大數(shù)據(jù)部署也提出了挑戰(zhàn)。

MathWorks公司的MATLAB軟件在科研和工業(yè)生產(chǎn)上擁有大量的用戶，而且在數(shù)據(jù)分析領(lǐng)域，MATLAB作為傳統(tǒng)數(shù)據(jù)分析專(zhuān)業(yè)軟件獨(dú)樹(shù)一幟。最近，針對(duì)大數(shù)據(jù)研發(fā)過(guò)程中關(guān)鍵點(diǎn)，基于大家熟悉的 MATLAB 開(kāi)發(fā)環(huán)境，該公司提出一個(gè)完整的解決方案。下面我們就來(lái)看看他們關(guān)于大數(shù)據(jù)分析的流程，來(lái)自MathWorks公司的資深應(yīng)用工程師陳建平對(duì)記者做了相關(guān)介紹。

從流程角度上看，整個(gè)大數(shù)據(jù)處理可以分成4個(gè)主要步驟。第一步是數(shù)據(jù)的搜集和存儲(chǔ)；第二步是通過(guò)數(shù)據(jù)分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行探索性研究，包括無(wú)關(guān)數(shù)據(jù)的剔除即數(shù)據(jù)清洗，和尋找數(shù)據(jù)的模式探索數(shù)據(jù)的價(jià)值所在; 第三步是在基本數(shù)據(jù)分析的基礎(chǔ)上，選擇和開(kāi)發(fā)數(shù)據(jù)分析算法，對(duì)數(shù)據(jù)進(jìn)行建模。從數(shù)據(jù)中提取有價(jià)值的信息，這其實(shí)是真正的大數(shù)據(jù)的學(xué)習(xí)過(guò)程。這其中會(huì)涉及很多算法和技術(shù)，比如機(jī)器學(xué)習(xí)算法等; 最后一步是對(duì)模型的部署和應(yīng)用，即把研究出來(lái)的模型應(yīng)用到生產(chǎn)環(huán)境之中。

我們分別從流程和技術(shù)兩個(gè)角度來(lái)看一下MATLAB開(kāi)發(fā)大數(shù)據(jù)應(yīng)用的特點(diǎn)。從流程上，我們可以把大數(shù)據(jù)應(yīng)用的過(guò)程分成四步。

硬件數(shù)據(jù)的采集。MATLAB一直以來(lái)都硬件設(shè)備有著良好的支持，從專(zhuān)業(yè)數(shù)據(jù)采集設(shè)備，比如數(shù)據(jù)采集卡和測(cè)試儀器，到通用硬件，比如攝像機(jī)，都有統(tǒng)一的訪問(wèn)接口支持直接從MATLAB語(yǔ)言中抓取數(shù)據(jù)。結(jié)合不同的數(shù)據(jù)搜集、存儲(chǔ)和訪問(wèn)手段，在一個(gè)平臺(tái)中就能夠完成大多數(shù)數(shù)據(jù)搜集和整理的工作。

MATLAB的工具箱覆蓋了各個(gè)不同的領(lǐng)域，行業(yè)專(zhuān)家可以采用相應(yīng)的工具箱，對(duì)數(shù)據(jù)進(jìn)行初步處理和特征探索，比如通過(guò)濾波等信號(hào)處理手段濾去噪聲，或者通過(guò)頻譜檢測(cè)，尋找語(yǔ)音數(shù)據(jù)的囂叫。這是通用數(shù)據(jù)分析工具無(wú)法替代的。

第三步，數(shù)據(jù)建模。經(jīng)過(guò)數(shù)據(jù)清洗、探索性分析，目的就是為了建立一個(gè)有效模型用于工業(yè)生產(chǎn)。典型的手段是求助于統(tǒng)計(jì)分析方法和機(jī)器學(xué)習(xí)算法，尋求合理的數(shù)學(xué)模型。一直以來(lái)，MATLAB就是一個(gè)傳統(tǒng)的數(shù)據(jù)分析平臺(tái)，最近幾年MathWorks結(jié)合最新的機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法，推出了升級(jí)了神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)工具箱。機(jī)器學(xué)習(xí)不再需要編寫(xiě)大量的代碼了，通過(guò)采用分類(lèi)和聚類(lèi)App，可以對(duì)數(shù)據(jù)進(jìn)行拖放就可以完成機(jī)器學(xué)習(xí)的過(guò)程。直接從App分析結(jié)果中就可以得到最佳的預(yù)測(cè)模型。

現(xiàn)在，行業(yè)專(zhuān)家可以在前一個(gè)階段得到的模型基礎(chǔ)上，通過(guò)App和幾個(gè)鼠標(biāo)點(diǎn)擊就可以把MATLAB代碼發(fā)布成可執(zhí)行程序、動(dòng)態(tài)鏈接庫(kù)、JAVA或者.NET包。部署工程師可以在這些結(jié)果上進(jìn)行集成即可，減少了重新開(kāi)發(fā)潛在的錯(cuò)誤，加速了開(kāi)發(fā)迭代的過(guò)程。

不管從大數(shù)據(jù)的處理流程上，還是從數(shù)據(jù)規(guī)模上，作為一個(gè)完整的開(kāi)發(fā)平臺(tái)，MATLAB提供了從數(shù)據(jù)搜集、數(shù)據(jù)分析、數(shù)據(jù)建模和應(yīng)用部署等全面解決方案。用戶可以不用過(guò)多關(guān)注編程細(xì)節(jié)，只需把有限的時(shí)間和資源投入到有效的分析過(guò)程中，讓大數(shù)據(jù)應(yīng)用開(kāi)發(fā)成為一件簡(jiǎn)單輕松的事情。