如何區(qū)分大數(shù)據(jù)下的三大利器_數(shù)據(jù)分析師考試

與其他一些相關(guān)工程職位一樣，數(shù)據(jù)科學(xué)家的影響力與互聯(lián)網(wǎng)同進(jìn)同退。數(shù)據(jù)工程師和數(shù)據(jù)分析師與數(shù)據(jù)科學(xué)家攜手共同完成這幅“大數(shù)據(jù)時代”巨作。他們共同努力擬定數(shù)據(jù)平臺要求，基礎(chǔ)和高級算法，提供數(shù)據(jù)分析和展示所需的可視化工具，并將價(jià)值創(chuàng)造以易于理解，富于見解的方式反饋給其他部門。

三者之間的定義又是如何界定的呢?

數(shù)據(jù)科學(xué)家是什么樣一個存在呢?

通常情況下，數(shù)據(jù)科學(xué)家有數(shù)學(xué)或物理方面的高等學(xué)位。有博士學(xué)位的情況并不少見，碩士學(xué)位僅是一個前提條件。數(shù)據(jù)科學(xué)家精通統(tǒng)計(jì)建模以及如何構(gòu)建與定制高級數(shù)學(xué)算法。這既在他們專業(yè)范圍內(nèi)，也是他們所擅長的地方。我聽到過有人這樣形容一個數(shù)據(jù)科學(xué)家“軟件工程技能牛過多數(shù)人的酷炫統(tǒng)計(jì)學(xué)家”。但是，當(dāng)你問這些數(shù)據(jù)科學(xué)家怎么會從事這個職業(yè)時，途徑是多種多樣的。這是一個相對較新的職位，因而我們也無法根據(jù)時間歷史來追蹤一個數(shù)據(jù)科學(xué)家專業(yè)技能是如何進(jìn)步的。數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的定義有點(diǎn)相互重疊。

除了研究先進(jìn)算法，數(shù)據(jù)科學(xué)家對AB測試親力親為并且擁有博學(xué)的多變量測試和實(shí)驗(yàn)設(shè)計(jì)知識。一個專業(yè)能力非常強(qiáng)的數(shù)據(jù)科學(xué)家能在模型建成后對其進(jìn)行改進(jìn)和改制，而能力鶴立雞群的數(shù)據(jù)科學(xué)家則能根據(jù)你的商業(yè)問題定制合適模型。

我結(jié)合加工的說：所謂數(shù)據(jù)科學(xué)家，是指運(yùn)用統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、分布式處理等技術(shù)，從大量數(shù)據(jù)中提取出對業(yè)務(wù)有意義的信息，以易懂的形式傳達(dá)給決策者，并創(chuàng)造出新的數(shù)據(jù)運(yùn)用服務(wù)的人才。

　　數(shù)據(jù)工程師如何定義呢?

數(shù)據(jù)工程師一般被定義成“深刻理解統(tǒng)計(jì)學(xué)科的明星軟件工程師”。如果你正為一個商業(yè)問題煩惱，那么你需要一個數(shù)據(jù)工程師。這些伙計(jì)就是那些能提供可建模數(shù)據(jù)所需平臺的人。他們的核心價(jià)值在于他們借由清晰數(shù)據(jù)創(chuàng)建數(shù)據(jù)管道的能力。充分了解文件系統(tǒng)，分布式計(jì)算與數(shù)據(jù)庫是成為一位優(yōu)秀數(shù)據(jù)工程師的必要技能。

數(shù)據(jù)工程師對演算法有相當(dāng)好的理解。因此，數(shù)據(jù)工程師理應(yīng)能運(yùn)行基本數(shù)據(jù)模型。商業(yè)需求的高端化催生了演算高度復(fù)雜化的需求。很多時候，這些需求超過了數(shù)據(jù)工程師掌握知識范圍，這個時候你就需要打電話尋求數(shù)據(jù)科學(xué)家的幫助。

數(shù)據(jù)分析師如何理解呢?

數(shù)據(jù)分析師能洞悉一個方程式的商業(yè)意義。他們知道如何提出正確的問題，非常善于數(shù)據(jù)分析，數(shù)據(jù)可視化和數(shù)據(jù)呈現(xiàn)。不管是給另一個數(shù)據(jù)分析師還是C級執(zhí)行做演講，數(shù)據(jù)分析師都是數(shù)據(jù)提取，模式識別以及從大量數(shù)據(jù)中洞察問題方面的能手。

如果你或者你的公司正考慮順應(yīng)這股大數(shù)據(jù)浪潮的發(fā)展，你應(yīng)該從明確你想利用大數(shù)據(jù)解決所面臨的商業(yè)問題處下手。接著找出你真正的需求：是數(shù)據(jù)采集，檢索，倉儲還是數(shù)據(jù)分析?然后編寫相應(yīng)的職位描述并做好準(zhǔn)備，為了在這場大數(shù)據(jù)游戲中脫穎而出，你可能需要雇傭不止一個人。

　　從事這三者都要具備哪些技能呢?

數(shù)據(jù)科學(xué)家所需的技能如下：

計(jì)算機(jī)科學(xué)

一般來說，數(shù)據(jù)科學(xué)家大多要求具備編程、計(jì)算機(jī)科學(xué)相關(guān)的專業(yè)背景。簡單來說，就是對處理大數(shù)據(jù)所必需的Hadoop、Mahout等大規(guī)模并行處理技術(shù)與機(jī)器學(xué)習(xí)相關(guān)的技能。

數(shù)學(xué)、統(tǒng)計(jì)、數(shù)據(jù)挖掘等

除了數(shù)學(xué)、統(tǒng)計(jì)方面的素養(yǎng)之外，還需要具備使用SPSS、SAS等主流統(tǒng)計(jì)分析軟件的技能。其中，面向統(tǒng)計(jì)分析的開源編程語言及其運(yùn)行環(huán)境“R”最近備受矚目。R的強(qiáng)項(xiàng)不僅在于其包含了豐富的統(tǒng)計(jì)分析庫，而且具備將結(jié)果進(jìn)行可視化的高品質(zhì)圖表生成功能，并可以通過簡單的命令來運(yùn)行。此外，它還具備稱為 CRAN(The Comprehensive R Archive Network)的包擴(kuò)展機(jī)制，通過導(dǎo)入擴(kuò)展包就可以使用標(biāo)準(zhǔn)狀態(tài)下所不支持的函數(shù)和數(shù)據(jù)集。

數(shù)據(jù)可視化(Visualization)

信息的質(zhì)量很大程度上依賴于其表達(dá)方式。對數(shù)字羅列所組成的數(shù)據(jù)中所包含的意義進(jìn)行分析，開發(fā)Web原型，使用外部API將圖表、地圖、Dashboard等其他服務(wù)統(tǒng)一起來，從而使分析結(jié)果可視化，這是對于數(shù)據(jù)科學(xué)家來說十分重要的技能之一。

數(shù)據(jù)工程師需具備的技能

數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)的背景

對于大多數(shù)互聯(lián)網(wǎng)大公司來說，對于數(shù)據(jù)工程師的要求都是希望是統(tǒng)計(jì)學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷，只有具備一定的理論知識，才能理解模型、復(fù)用模型甚至創(chuàng)新模型，來解決實(shí)際問題。

計(jì)算機(jī)編碼能力

實(shí)際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素，因?yàn)樵S多數(shù)據(jù)的價(jià)值來自于挖掘的過程，你必須親自動手才能發(fā)現(xiàn)金子的價(jià)值。

舉例來說，現(xiàn)在人們在社交網(wǎng)絡(luò)上所產(chǎn)生的許多記錄都是非結(jié)構(gòu)化的數(shù)據(jù)，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。即使在某些團(tuán)隊(duì)中，大數(shù)據(jù)工程師的職責(zé)以商業(yè)分析為主，但也要熟悉計(jì)算機(jī)處理大數(shù)據(jù)的方式。

對特定應(yīng)用領(lǐng)域或行業(yè)的知識

數(shù)據(jù)工程師這個角色很重要的一點(diǎn)是，不能脫離市場，因?yàn)榇髷?shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來才能產(chǎn)生價(jià)值。所以，在某個或多個垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對行業(yè)的認(rèn)知，對于之后成為數(shù)據(jù)工程師有很大幫助，因此這也是應(yīng)聘這個崗位時較有說服力的加分項(xiàng)。

　　數(shù)據(jù)分析具備的技能

懂業(yè)務(wù)

從事數(shù)據(jù)分析工作的前提就會需要懂業(yè)務(wù)，即熟悉行業(yè)知識、公司業(yè)務(wù)及流程，最好有自己獨(dú)到的見解，若脫離行業(yè)認(rèn)知和公司業(yè)務(wù)背景，分析的結(jié)果只會是脫了線的風(fēng)箏，沒有太大的使用價(jià)值。

懂管理

一方面是搭建數(shù)據(jù)分析框架的要求，比如確定分析思路就需要用到營銷、管理等理論知識來指導(dǎo)，如果不熟悉管理理論，就很難搭建數(shù)據(jù)分析的框架，后續(xù)的數(shù)據(jù)分析也很難進(jìn)行。另一方面的作用是針對數(shù)據(jù)分析結(jié)論提出有指導(dǎo)意義的分析建議。

懂分析

指掌握數(shù)據(jù)分析基本原理與一些有效的數(shù)據(jù)分析方法，并能靈活運(yùn)用到實(shí)踐工作中，以便有效的開展數(shù)據(jù)分析?；镜姆治龇椒ㄓ校簩Ρ确治龇?、分組分析法、交叉分析法、結(jié)構(gòu)分析法、漏斗圖分析法、綜合評價(jià)分析法、因素分析法、矩陣關(guān)聯(lián)分析法等。高級的分析方法有：相關(guān)分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因子分析法、對應(yīng)分析法、時間序列等。

懂工具

指掌握數(shù)據(jù)分析相關(guān)的常用工具。數(shù)據(jù)分析方法是理論，而數(shù)據(jù)分析工具就是實(shí)現(xiàn)數(shù)據(jù)分析方法理論的工具，面對越來越龐大的數(shù)據(jù)，我們不能依靠計(jì)算器進(jìn)行分析，必須依靠強(qiáng)大的數(shù)據(jù)分析工具幫我們完成數(shù)據(jù)分析工作。

懂設(shè)計(jì)

懂設(shè)計(jì)是指運(yùn)用圖表有效表達(dá)數(shù)據(jù)分析師的分析觀點(diǎn)，使分析結(jié)果一目了然。圖表的設(shè)計(jì)是門大學(xué)問，如圖形的選擇、版式的設(shè)計(jì)、顏色的搭配等等，都需要掌握一定的設(shè)計(jì)原則。