大數(shù)據(jù)職位所需的數(shù)據(jù)場技能

除了報(bào)表統(tǒng)計(jì)外，還需要對(duì)數(shù)據(jù)的有很強(qiáng)的解讀能力。電商中的個(gè)性推薦技術(shù)，商業(yè)與銀行中的欺騙檢測，智能手機(jī)中語音識(shí)別等等技術(shù)，讓我們渾身便散發(fā)出大數(shù)據(jù)與機(jī)器學(xué)習(xí)的各種場信息，給人以滿滿的正能量。

01 數(shù)據(jù)場

學(xué)過物理的小伙伴，都知道世界充滿了電場和磁場。了解過佛學(xué)的人，都知道世界充滿了念力場與信息場，通過信息場，可以與更高一級(jí)的文明進(jìn)行溝通。

有的人一出現(xiàn)，渾身便會(huì)散發(fā)出強(qiáng)大的氣場?，F(xiàn)在是數(shù)據(jù)時(shí)代，整天和數(shù)據(jù)打交道，要培養(yǎng)自己的數(shù)據(jù)場。開句玩笑的話，以后往人群中一站，還未開口，渾身便散發(fā)出大數(shù)據(jù)與機(jī)器學(xué)習(xí)的各種場信息，給人以滿滿的正能量。

說起“大數(shù)據(jù)”一詞，也是真正被吵夠了。連做個(gè)簡單的統(tǒng)計(jì)也叫大數(shù)據(jù)，做個(gè)表格、畫個(gè)圖形出來，就叫大數(shù)據(jù)了。凡是不和“大數(shù)據(jù)”沾邊，就感覺已經(jīng)落伍了。其實(shí)，很多人除了知道簡單的統(tǒng)計(jì)外，根本不了解大數(shù)據(jù)是什么。甚至連Hadoop都不知為何物，更別談機(jī)器學(xué)習(xí)了。

大數(shù)據(jù)是一個(gè)概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺(tái)框架上進(jìn)行的各種數(shù)據(jù)分析技術(shù)。包括了實(shí)時(shí)數(shù)據(jù)處理、離線數(shù)據(jù)處理;還包括了數(shù)據(jù)分析，數(shù)據(jù)挖掘，和用機(jī)器學(xué)習(xí)算法進(jìn)行預(yù)測分析。

概念吵著吵著就變味了。用“大數(shù)據(jù)”來代表一切，有些不太合理。目前比較合適的一個(gè)詞是數(shù)據(jù)科學(xué)(Data Science)，做數(shù)據(jù)科學(xué)的可以叫數(shù)據(jù)科學(xué)家。當(dāng)然真正到科學(xué)家這個(gè)級(jí)別，要求是非常高的，需要有完整的數(shù)據(jù)知識(shí)體系。

也許小時(shí)候的夢(mèng)想就是當(dāng)科學(xué)家，現(xiàn)在終于不用上博士就可以實(shí)現(xiàn)了。雖然很多都只是自己團(tuán)隊(duì)或者公司封的職位。接下來，可以看看，在數(shù)據(jù)方面上，大概有哪些職位。

02 數(shù)據(jù)職位

限于個(gè)人的閱歷與認(rèn)識(shí)，在此只是列舉其中一部分出來。

2.1 開發(fā)相關(guān)

主要有數(shù)據(jù)抓取，也即通常說的網(wǎng)絡(luò)爬蟲。需要考慮數(shù)據(jù)抓取的實(shí)時(shí)性與完整性，還有數(shù)據(jù)及時(shí)更新，數(shù)據(jù)去重等等。嚴(yán)格來說，和通常意義上的大數(shù)據(jù)相關(guān)性不大，主要是后端開發(fā)的一系列技術(shù)，其中也會(huì)涉及分布式的一些技術(shù)。

ETL開發(fā)，ETL為Extract、Transform和Load的縮寫，即數(shù)據(jù)抽取，轉(zhuǎn)換與裝載。將各種來源的數(shù)據(jù)進(jìn)行收集、規(guī)范和存儲(chǔ)起來。可以是離線的方式，存儲(chǔ)在以Hadoop為代表的大數(shù)據(jù)集群中。也可以是實(shí)時(shí)的展現(xiàn)在報(bào)表系統(tǒng)中。如果是實(shí)時(shí)的，也叫實(shí)時(shí)數(shù)據(jù)流開發(fā)，通常和Storm框架或者Spark Streaming技術(shù)相關(guān)。

Hadoop平臺(tái)開發(fā)，專指以大數(shù)據(jù)框架為基礎(chǔ)，并在此基礎(chǔ)上進(jìn)行二次開發(fā)或者數(shù)據(jù)流開發(fā)。對(duì)數(shù)據(jù)平臺(tái)做開發(fā)與改進(jìn)，只能是程序員的工作了，根據(jù)業(yè)務(wù)需求，對(duì)現(xiàn)有的平臺(tái)進(jìn)行改進(jìn)與優(yōu)化。因?yàn)槭瞧脚_(tái)相關(guān)的，通常需要Java與Scala的專業(yè)程序員，這塊和數(shù)據(jù)分析基本沒有太大關(guān)系。

另外還有純前端的數(shù)據(jù)可視化技術(shù)開發(fā)，或者純運(yùn)維的大數(shù)據(jù)集群管理等等。

2.2 報(bào)表分析

商業(yè)智能分析，包括報(bào)表分析，運(yùn)營或者銷售分析，這一塊以Excell、SPSS和R為代表。主要是指對(duì)針對(duì)具體業(yè)務(wù)，對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，期待從中發(fā)現(xiàn)一些規(guī)律與趨勢(shì)。

數(shù)據(jù)分析報(bào)表，也是最常用的數(shù)據(jù)分析師職位的一些工作，通常產(chǎn)出以報(bào)表為主。這塊很多時(shí)候會(huì)與運(yùn)營部門的需求相關(guān)，技術(shù)上主要以成熟的工具為主。

當(dāng)數(shù)據(jù)量一大，就會(huì)涉及在集群環(huán)境下的分析，分析師通常很熟悉SQL，這也是構(gòu)建于Hadoop之上的Hive能被大眾熟悉的原因。

除了報(bào)表統(tǒng)計(jì)外，還需要對(duì)數(shù)據(jù)的有很強(qiáng)的解讀能力，能分析和解讀出一些現(xiàn)象產(chǎn)生的原因，同時(shí)需要針對(duì)這些問題，提出一些可能的應(yīng)對(duì)方案，以便對(duì)業(yè)務(wù)策略或者商業(yè)方向上有更多的指導(dǎo)。

一些專業(yè)領(lǐng)域分析，如網(wǎng)絡(luò)安全分析，金融領(lǐng)域分析。這些領(lǐng)域的分析，通常需要用領(lǐng)域知識(shí)，深入現(xiàn)象背后去挖掘出產(chǎn)生的原因，不僅要具有很強(qiáng)的分析能力，也需要很強(qiáng)的領(lǐng)域知識(shí)。

2.3 算法挖掘

做為數(shù)據(jù)科學(xué)中的重頭戲，便是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)了。在線電商中的個(gè)性推薦技術(shù)，商業(yè)與銀行中的欺騙檢測，智能手機(jī)中語音識(shí)別(Siri)，機(jī)器翻譯，圖像識(shí)別等等。

涉及大量機(jī)器學(xué)習(xí)算法，包括分類、聚類和個(gè)性推薦等常用數(shù)據(jù)挖掘技術(shù)。也包括數(shù)據(jù)分析的很多基礎(chǔ)，和數(shù)據(jù)分析偏重的報(bào)表產(chǎn)出并不同，并不強(qiáng)調(diào)產(chǎn)出大量的報(bào)表，通常是在現(xiàn)有數(shù)據(jù)基礎(chǔ)上的產(chǎn)出新數(shù)據(jù)，用于服務(wù)業(yè)務(wù)系統(tǒng)。

還可以推廣到人工智能，其中涉及大量的數(shù)據(jù)處理與挖掘技術(shù)。比如機(jī)器人，無人駕駛，總之是盡量的在某些領(lǐng)域達(dá)到或者超過人類。人類能處理如下內(nèi)容：

Number: 數(shù)據(jù)(數(shù))

NLP: 自然語言處理(文字)

Pic： 圖像處理(圖片)

Voice: 語音識(shí)別(語音)

Video: 視頻處理(視頻)

個(gè)性推薦: (集體智慧與社交化)

其中會(huì)用到大量的機(jī)器學(xué)習(xí)算法，包括深度學(xué)習(xí)，從而達(dá)到服務(wù)人類的目的。

03 生態(tài)與周邊

關(guān)于數(shù)據(jù)的統(tǒng)計(jì)、分析與挖掘，這些概念的側(cè)重點(diǎn)不一樣。數(shù)據(jù)統(tǒng)計(jì)，利用統(tǒng)計(jì)學(xué)的知識(shí)，產(chǎn)出數(shù)據(jù)和報(bào)表;數(shù)據(jù)分析，除了產(chǎn)出數(shù)據(jù)和報(bào)表外，還需要分析其中原因，最好能找出對(duì)應(yīng)的策略;數(shù)據(jù)挖掘，需要在數(shù)據(jù)分析的基礎(chǔ)上，發(fā)現(xiàn)新的，有價(jià)值的知識(shí)及潛在的規(guī)律。如果只是對(duì)原有的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，而沒有對(duì)未知的事物進(jìn)行預(yù)測，是不算數(shù)據(jù)挖掘。

數(shù)據(jù)相關(guān)的職位各種各樣，我們要構(gòu)建數(shù)據(jù)場時(shí)，抽取其中的各種技能出來，組成自己的技能表。最近讀到一篇文章：《機(jī)器學(xué)習(xí)職位需要的七個(gè)關(guān)鍵技能》

文章描述了機(jī)器學(xué)習(xí)需要的七個(gè)技能，以及需要這些技能的原因，主要技能如下：

編程語言(Python/C++/R/Java);

概率與統(tǒng)計(jì);

應(yīng)用數(shù)學(xué)與算法;

分布式計(jì)算;

Unix/Linux工具集;

高級(jí)信號(hào)處理技術(shù)(特征提取);

大量閱讀，適應(yīng)快速變化，更新自己;