近年來，隨著大數(shù)據(jù)在Google、Facebook等企業(yè)的成功應(yīng)用，很多傳統(tǒng)企業(yè)和初創(chuàng)公司都轉(zhuǎn)向應(yīng)用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)金礦。現(xiàn)有企業(yè)累計(jì)了大量的工業(yè)數(shù)據(jù)，但是大數(shù)據(jù)的開發(fā)的復(fù)雜流程阻礙了企業(yè)快速從工業(yè)數(shù)據(jù)和商業(yè)數(shù)據(jù)中挖掘價值。行業(yè)專家（算法研究者）精通行業(yè)數(shù)據(jù)分析，卻受限于編程復(fù)雜度和缺乏快速部署算法的方法，使很多創(chuàng)造性想法無法得到有效實(shí)施。在這個技術(shù)飛躍的時代，擁有大量工業(yè)數(shù)據(jù)的企業(yè)和技術(shù)專家們應(yīng)該如何開展大數(shù)據(jù)技術(shù)的研發(fā)工作？

大數(shù)據(jù)從業(yè)者在數(shù)據(jù)搜集、數(shù)據(jù)探索、開發(fā)和部署的每一個階段都會碰到各式各樣的難題，不得不在不同的開發(fā)環(huán)境中進(jìn)行切換，并為此付出了大量額外的時間和人力成本。在現(xiàn)有的數(shù)據(jù)資源上，如何對數(shù)據(jù)進(jìn)行清洗、整合以及探索性研究，正是數(shù)據(jù)專家們發(fā)揮專長的地方；而這個過程所耗費(fèi)的時間往往是編程實(shí)現(xiàn)的好幾倍。今天多數(shù)的大數(shù)據(jù)方案都是依托Hadoop環(huán)境來做結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理，如何把自己的Hadoop算法快速部署到實(shí)際的生產(chǎn)環(huán)境當(dāng)中去，對很多企業(yè)的大數(shù)據(jù)部署也提出了挑戰(zhàn)。

MathWorks公司的MATLAB軟件在科研和工業(yè)生產(chǎn)上擁有大量的用戶，而且在數(shù)據(jù)分析領(lǐng)域，MATLAB作為傳統(tǒng)數(shù)據(jù)分析專業(yè)軟件獨(dú)樹一幟。最近，針對大數(shù)據(jù)研發(fā)過程中關(guān)鍵點(diǎn)，基于大家熟悉的 MATLAB 開發(fā)環(huán)境，該公司提出一個完整的解決方案。下面我們就來看看他們關(guān)于大數(shù)據(jù)分析的流程，來自MathWorks公司的資深應(yīng)用工程師陳建平對記者做了相關(guān)介紹。

從流程角度上看，整個大數(shù)據(jù)處理可以分成4個主要步驟。第一步是數(shù)據(jù)的搜集和存儲；第二步是通過數(shù)據(jù)分析技術(shù)對數(shù)據(jù)進(jìn)行探索性研究，包括無關(guān)數(shù)據(jù)的剔除即數(shù)據(jù)清洗，和尋找數(shù)據(jù)的模式探索數(shù)據(jù)的價值所在; 第三步是在基本數(shù)據(jù)分析的基礎(chǔ)上，選擇和開發(fā)數(shù)據(jù)分析算法，對數(shù)據(jù)進(jìn)行建模。從數(shù)據(jù)中提取有價值的信息，這其實(shí)是真正的大數(shù)據(jù)的學(xué)習(xí)過程。這其中會涉及很多算法和技術(shù)，比如機(jī)器學(xué)習(xí)算法等; 最后一步是對模型的部署和應(yīng)用，即把研究出來的模型應(yīng)用到生產(chǎn)環(huán)境之中。

我們分別從流程和技術(shù)兩個角度來看一下MATLAB開發(fā)大數(shù)據(jù)應(yīng)用的特點(diǎn)。從流程上，我們可以把大數(shù)據(jù)應(yīng)用的過程分成四步。

硬件數(shù)據(jù)的采集。MATLAB一直以來都硬件設(shè)備有著良好的支持，從專業(yè)數(shù)據(jù)采集設(shè)備，比如數(shù)據(jù)采集卡和測試儀器，到通用硬件，比如攝像機(jī)，都有統(tǒng)一的訪問接口支持直接從MATLAB語言中抓取數(shù)據(jù)。結(jié)合不同的數(shù)據(jù)搜集、存儲和訪問手段，在一個平臺中就能夠完成大多數(shù)數(shù)據(jù)搜集和整理的工作。

MATLAB的工具箱覆蓋了各個不同的領(lǐng)域，行業(yè)專家可以采用相應(yīng)的工具箱，對數(shù)據(jù)進(jìn)行初步處理和特征探索，比如通過濾波等信號處理手段濾去噪聲，或者通過頻譜檢測，尋找語音數(shù)據(jù)的囂叫。這是通用數(shù)據(jù)分析工具無法替代的。

第三步，數(shù)據(jù)建模。經(jīng)過數(shù)據(jù)清洗、探索性分析，目的就是為了建立一個有效模型用于工業(yè)生產(chǎn)。典型的手段是求助于統(tǒng)計(jì)分析方法和機(jī)器學(xué)習(xí)算法，尋求合理的數(shù)學(xué)模型。一直以來，MATLAB就是一個傳統(tǒng)的數(shù)據(jù)分析平臺，最近幾年MathWorks結(jié)合最新的機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法，推出了升級了神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)工具箱。機(jī)器學(xué)習(xí)不再需要編寫大量的代碼了，通過采用分類和聚類App，可以對數(shù)據(jù)進(jìn)行拖放就可以完成機(jī)器學(xué)習(xí)的過程。直接從App分析結(jié)果中就可以得到最佳的預(yù)測模型。

現(xiàn)在，行業(yè)專家可以在前一個階段得到的模型基礎(chǔ)上，通過App和幾個鼠標(biāo)點(diǎn)擊就可以把MATLAB代碼發(fā)布成可執(zhí)行程序、動態(tài)鏈接庫、JAVA或者.NET包。部署工程師可以在這些結(jié)果上進(jìn)行集成即可，減少了重新開發(fā)潛在的錯誤，加速了開發(fā)迭代的過程。

陳建平介紹說:“針對不同的數(shù)據(jù)類型和規(guī)模，我們應(yīng)該有不同的處理方式，才能夠達(dá)到處理和效率的最佳化。根據(jù)數(shù)據(jù)規(guī)模，把數(shù)據(jù)劃分成能夠加載入集群內(nèi)存中的數(shù)據(jù)，和無法加載到集群內(nèi)存的數(shù)據(jù); 根據(jù)數(shù)據(jù)的復(fù)雜度，我們把數(shù)據(jù)可以分成能夠分片并行處理的簡單數(shù)據(jù)和無法分片的復(fù)雜數(shù)據(jù)。針對每一種組合，MATLAB都應(yīng)該要有不同的解決方法，并且應(yīng)該提供足夠傻瓜的處理技術(shù)?！?/span>
在上述的二維劃分中，我們可以把數(shù)據(jù)類型總結(jié)為三大類: 第一類為簡單數(shù)據(jù)，即數(shù)據(jù)能夠被劃片，能夠被多個節(jié)點(diǎn)同時處理。第二類為能夠支持MapReduce操作的數(shù)據(jù)。第三類為復(fù)雜數(shù)據(jù)，這一類數(shù)據(jù)傳統(tǒng)上屬于高性能計(jì)算的領(lǐng)域，需要專門的編程和環(huán)境才能夠處理。
第一類問題是最簡單的，也是最容易被簡單編程實(shí)現(xiàn)的。理論上，我們通過手工或者自動化把數(shù)據(jù)劃分成單機(jī)能夠處理的數(shù)據(jù)片，啟動足夠的計(jì)算資源即可。實(shí)際上，對這類問題的處理，在需要考慮計(jì)算效率的地方，還是需要一定的編程技巧要求的，比如如何做到負(fù)載均衡就是一個相對復(fù)雜的問題。MATLAB中通過并行計(jì)算工具箱和分布式計(jì)算服務(wù)器，可以用一個 ”parfor” 語句即可實(shí)現(xiàn)這類數(shù)據(jù)的并行化。
第二類問題可以通過MapReduce算法框架可以解決的問題。一般這類問題的數(shù)據(jù)是存放在HDFS之中，客戶已經(jīng)有了Hadoop環(huán)境，當(dāng)時如何編寫MapReduce算法是一個難點(diǎn)，需要一定的Java或者Python的相關(guān)編程經(jīng)驗(yàn)，并且熟悉相應(yīng)的API。在MATLAB中，你可以通過 “datastore” 直接訪問本地文件、本地文件夾、HDFS文件、以及HDFS文件夾。工程師只要書寫相應(yīng)的MATLAB Map函數(shù)和 MATLAB語言的 Reduce 函數(shù)即可調(diào)用Hadoop環(huán)境進(jìn)行MapReduce運(yùn)算。在完成計(jì)算后，可以把相應(yīng)的MATLAB代碼放到部署App中，一鍵部署到MapReduce生產(chǎn)環(huán)境中。
最后一類問題最復(fù)雜，數(shù)據(jù)無法分割成片段，也無法通過MapReduce模型建模。一個典型的應(yīng)用是大規(guī)模矩陣的分析。MATLAB中可以通過并行計(jì)算工具箱和MATLAB分布式計(jì)算服務(wù)器直接對陣列運(yùn)算并行化。這類運(yùn)算可以在客戶端上對集群的計(jì)算過程進(jìn)行交互式控制，并行化編程就像單機(jī)串行運(yùn)算一樣簡單。

不管從大數(shù)據(jù)的處理流程上，還是從數(shù)據(jù)規(guī)模上，作為一個完整的開發(fā)平臺，MATLAB提供了從數(shù)據(jù)搜集、數(shù)據(jù)分析、數(shù)據(jù)建模和應(yīng)用部署等全面解決方案。用戶可以不用過多關(guān)注編程細(xì)節(jié)，只需把有限的時間和資源投入到有效的分析過程中，讓大數(shù)據(jù)應(yīng)用開發(fā)成為一件簡單輕松的事情。

受訪人信息：

陳建平，MathWorks 中國資深技術(shù)專家，專注于工程大數(shù)據(jù)分析和高性能計(jì)算領(lǐng)域。擁有北京大學(xué)學(xué)士和碩士學(xué)位，并于2008年加入MathWorks公司。之前，他在NTT DoCoMo從事4G算法研究和無線系統(tǒng)設(shè)計(jì)。加入MathWorks后，專注于高性能計(jì)算和工程數(shù)據(jù)的分析和建模，并深入探索工程數(shù)據(jù)在大數(shù)據(jù)領(lǐng)域的應(yīng)用。他擁有十余年數(shù)值算法設(shè)計(jì)、實(shí)現(xiàn)，以及對大規(guī)模工程數(shù)據(jù)分析和建模經(jīng)驗(yàn)；尤其對MATLAB與不同編程語言，以及Hadoop和Spark等大數(shù)據(jù)架構(gòu)的結(jié)合有較為深入的研究。

CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：

? 想報(bào)名CDA認(rèn)證考試，點(diǎn)擊>>>   “CDA報(bào)名” 了解CDA考試詳情；

? 想學(xué)習(xí)CDA考試教材，點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點(diǎn)擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情；