大數(shù)據(jù)技能知多少

說起“大數(shù)據(jù)”一詞，也是真正被吵夠了。做個(gè)簡(jiǎn)單的統(tǒng)計(jì)也叫大數(shù)據(jù)，做個(gè)表格、畫個(gè)圖形出來，就叫大數(shù)據(jù)了。言談間凡是不和“大數(shù)據(jù)”沾邊，就感覺已經(jīng)落伍了。其實(shí)，很多人除了知道簡(jiǎn)單的統(tǒng)計(jì)外，根本不了解大數(shù)據(jù)是什么。甚至連Hadoop與Spark都不曾聽過，更別談機(jī)器學(xué)習(xí)與深度學(xué)習(xí)了。

大數(shù)據(jù)是一個(gè)概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺(tái)框架上進(jìn)行的各種數(shù)據(jù)分析的技術(shù)。包括了基礎(chǔ)的大數(shù)據(jù)框架，以Hadoop和Spark為代表；還包括了實(shí)時(shí)數(shù)據(jù)處理、離線數(shù)據(jù)處理；還包括了數(shù)據(jù)分析，數(shù)據(jù)挖掘，和用機(jī)器學(xué)習(xí)算法進(jìn)行預(yù)測(cè)分析。

概念吵著吵著就變味了，用“大數(shù)據(jù)”來代表很多數(shù)據(jù)處理領(lǐng)域的技術(shù)，已經(jīng)不太合理了。目前比較合適的一個(gè)詞是數(shù)據(jù)科學(xué)（Data Science），做數(shù)據(jù)科學(xué)的叫數(shù)據(jù)科學(xué)家。當(dāng)然真正到科學(xué)家這個(gè)級(jí)別，要求是非常高的，數(shù)據(jù)科學(xué)家是具有數(shù)據(jù)相關(guān)的完整理論和知識(shí)的人，自然境界很高。

數(shù)據(jù)是金礦，數(shù)據(jù)科學(xué)自然是目前的金礦行業(yè)，做數(shù)據(jù)的人就算礦工。一個(gè)普通的數(shù)據(jù)礦工，成為數(shù)據(jù)科學(xué)家需要漫長的過程。那這個(gè)……，做不到數(shù)據(jù)科學(xué)家，我們還可以做個(gè)數(shù)據(jù)極客（Data Geek）嘛，挑戰(zhàn)數(shù)據(jù)極限，也是挑戰(zhàn)自己的極限。

也許小時(shí)候的夢(mèng)想就是當(dāng)科學(xué)家，現(xiàn)在終于不用上博士就可以實(shí)現(xiàn)了。雖然很多都只是自己團(tuán)隊(duì)或者公司封的職位。接下來，可以看看，在數(shù)據(jù)領(lǐng)域，大概都有哪些職位，以及都需要什么樣的技能。

2數(shù)據(jù)職位

目前，已經(jīng)有很多的公司依賴于數(shù)據(jù)，以數(shù)據(jù)作為核心的業(yè)務(wù)驅(qū)動(dòng)。可以說，沒有數(shù)據(jù)及數(shù)據(jù)挖掘能力，這些公司將無法運(yùn)轉(zhuǎn)。

以八卦中的坤卦來代表數(shù)據(jù)處理整個(gè)流程，可以歸納為數(shù)據(jù)六爻：獲取，處理，存儲(chǔ)，分析，表現(xiàn)，應(yīng)用?；旧现髁饕詳?shù)據(jù)驅(qū)動(dòng)的公司都是在運(yùn)用這六爻中的一種或者多種技術(shù)。

通過各種途徑獲取數(shù)據(jù)，將數(shù)據(jù)進(jìn)行清洗或者結(jié)構(gòu)化處理，存儲(chǔ)入數(shù)據(jù)庫或者大數(shù)據(jù)集群，進(jìn)而運(yùn)用多維分析甚至機(jī)器學(xué)習(xí)，最后將結(jié)果展現(xiàn)給大眾，或者直接應(yīng)用于產(chǎn)品服務(wù)于大眾。

大致理解了上面這六爻的數(shù)據(jù)流程，對(duì)于各種數(shù)據(jù)的職位也差不多有一定的理解了。有興趣的可以慢慢去拉勾網(wǎng)搜索一下“數(shù)據(jù)”這個(gè)詞，基本上和數(shù)據(jù)相關(guān)的職位可以分以下幾類：

平臺(tái)開發(fā)：與數(shù)據(jù)相關(guān)的開發(fā)，數(shù)據(jù)工程師，Hadoop平臺(tái)二次開發(fā)，爬蟲開發(fā)

業(yè)務(wù)挖掘：算法挖掘，機(jī)器學(xué)習(xí)與深度學(xué)習(xí)，圖片識(shí)別、視頻處理

數(shù)據(jù)處理：ETL開發(fā)，數(shù)據(jù)清洗

商業(yè)智能(BI)：商業(yè)決策，數(shù)據(jù)分析，數(shù)據(jù)分析（基礎(chǔ)統(tǒng)計(jì)），運(yùn)營數(shù)據(jù)分析（運(yùn)營經(jīng)理），產(chǎn)品數(shù)據(jù)分析（產(chǎn)品經(jīng)理）

數(shù)據(jù)展現(xiàn)：運(yùn)營報(bào)表，趨勢(shì)圖譜，WEB展現(xiàn)

個(gè)性推薦：用戶畫像，關(guān)聯(lián)挖掘

自然語言處理(NLP)：文本分析，主題模型

2.1 開發(fā)相關(guān)
主要有數(shù)據(jù)抓取，也即通常說的網(wǎng)絡(luò)爬蟲。需要考慮數(shù)據(jù)抓取的實(shí)時(shí)性與完整性，還有數(shù)據(jù)及時(shí)更新，數(shù)據(jù)去重等等。嚴(yán)格來說，和通常意義上的大數(shù)據(jù)相關(guān)性不大，主要是后端開發(fā)的一系列技術(shù)，其中也會(huì)涉及分布式的一些技術(shù)。

ETL開發(fā)，ETL為Extract、Transform和Load的縮寫，即數(shù)據(jù)抽取，轉(zhuǎn)換與裝載。將各種來源的數(shù)據(jù)進(jìn)行收集、規(guī)范和存儲(chǔ)起來?？梢允请x線的方式，存儲(chǔ)在以Hadoop為代表的大數(shù)據(jù)集群中。也可以是實(shí)時(shí)的展現(xiàn)在報(bào)表系統(tǒng)中。如果是實(shí)時(shí)的，也叫實(shí)時(shí)數(shù)據(jù)流開發(fā)，通常和Storm框架或者Spark Streaming技術(shù)相關(guān)。

（本篇題目為：《大數(shù)據(jù)職位，數(shù)據(jù)場(chǎng)技能》，如果剛看到這條消息，說明你很幸運(yùn)，這是小可正在寫的書《全棧數(shù)據(jù)場(chǎng)》中的一篇文章。）

Hadoop平臺(tái)開發(fā)，專指以大數(shù)據(jù)框架為基礎(chǔ)，并在此基礎(chǔ)上進(jìn)行二次開發(fā)或者數(shù)據(jù)流開發(fā)。對(duì)數(shù)據(jù)平臺(tái)做開發(fā)與改進(jìn)，只能是程序員的工作了，根據(jù)業(yè)務(wù)需求，對(duì)現(xiàn)有的平臺(tái)進(jìn)行改進(jìn)與優(yōu)化。因?yàn)槭瞧脚_(tái)相關(guān)的，通常需要Java與Scala的專業(yè)程序員，這塊和數(shù)據(jù)分析基本沒有太大關(guān)系。
另外還有純前端的數(shù)據(jù)可視化技術(shù)開發(fā)，或者純運(yùn)維的大數(shù)據(jù)集群管理等等。

本人正在寫一本書《全棧數(shù)據(jù)場(chǎng)》，內(nèi)容跟今天分享的主題有關(guān)：

2.2 業(yè)務(wù)分析

商業(yè)智能分析，包括報(bào)表分析，運(yùn)營或者銷售分析，這一塊以Excell、SPSS和R為代表。主要是指對(duì)針對(duì)具體業(yè)務(wù)，對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，期待從中發(fā)現(xiàn)一些規(guī)律與趨勢(shì)。

數(shù)據(jù)分析報(bào)表，也是最常用的數(shù)據(jù)分析師職位的一些工作，通常產(chǎn)出以報(bào)表為主。這塊很多時(shí)候會(huì)與運(yùn)營部門的需求相關(guān)，技術(shù)上主要以成熟的工具為主。
當(dāng)數(shù)據(jù)量一大，就會(huì)涉及在集群環(huán)境下的分析，分析師通常很熟悉SQL，這也是構(gòu)建于Hadoop之上的Hive能被大眾熟悉的原因。

除了報(bào)表統(tǒng)計(jì)外，還需要對(duì)數(shù)據(jù)的有很強(qiáng)的解讀能力，能分析和解讀出一些現(xiàn)象產(chǎn)生的原因，同時(shí)需要針對(duì)這些問題，提出一些可能的應(yīng)對(duì)方案，以便對(duì)業(yè)務(wù)策略或者商業(yè)方向上有更多的指導(dǎo)。

一些專業(yè)領(lǐng)域分析，如網(wǎng)絡(luò)安全分析，金融領(lǐng)域分析。這些領(lǐng)域的分析，通常需要用領(lǐng)域知識(shí)，深入現(xiàn)象背后去挖掘出產(chǎn)生的原因，不僅要具有很強(qiáng)的分析能力，也需要很強(qiáng)的領(lǐng)域知識(shí)。

題外話

太極，其大無外，其小無內(nèi)。簡(jiǎn)單說就是：大到?jīng)]有外部，小到?jīng)]有內(nèi)部。
從桌面電腦時(shí)代，向大處走，便是向云中走，走出了大數(shù)據(jù)；向小處走，便是向終端走，走出了移動(dòng)互聯(lián)網(wǎng)。
一陰一陽之謂道，陰陽合而萬物生，大數(shù)據(jù)與移動(dòng)端相聯(lián)，并是萬物互聯(lián)（Internet of Everything)，也即物聯(lián)網(wǎng)。

大到?jīng)]有邊界，才是大數(shù)據(jù)。

2.3 算法挖掘

做為數(shù)據(jù)科學(xué)中的重頭戲，便是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)了。在線電商中的個(gè)性推薦技術(shù)，商業(yè)與銀行中的欺騙檢測(cè)，智能手機(jī)中語音識(shí)別（Siri），機(jī)器翻譯，圖像識(shí)別等等。

涉及大量機(jī)器學(xué)習(xí)算法，包括分類、聚類和個(gè)性推薦等常用數(shù)據(jù)挖掘技術(shù)。也包括數(shù)據(jù)分析的很多基礎(chǔ)，和數(shù)據(jù)分析偏重的報(bào)表產(chǎn)出并不同，并不強(qiáng)調(diào)產(chǎn)出大量的報(bào)表，通常是在現(xiàn)有數(shù)據(jù)基礎(chǔ)上的產(chǎn)出新數(shù)據(jù)，用于服務(wù)業(yè)務(wù)系統(tǒng)。
還可以推廣到人工智能，其中涉及大量的數(shù)據(jù)處理與挖掘技術(shù)。比如機(jī)器人，無人駕駛，總之是盡量的在某些領(lǐng)域達(dá)到或者超過人類。

人類能處理如下內(nèi)容：

Number: 數(shù)據(jù)（數(shù)）

NLP: 自然語言處理（文字）

Pic： 圖像處理（圖片）

Voice: 語音識(shí)別（語音）

Video: 視頻處理（視頻）

個(gè)性推薦: （集體智慧與社交化）

其中會(huì)用到大量的機(jī)器學(xué)習(xí)算法，包括深度學(xué)習(xí)，從而達(dá)到服務(wù)人類的目的。

3七大技能

那么，成為數(shù)據(jù)極客，建立自己的數(shù)據(jù)場(chǎng)需要哪些技能呢？且不說那高深復(fù)雜的理論，僅從實(shí)用的角度來分析一下，建立數(shù)據(jù)場(chǎng)的七個(gè)方面。

關(guān)于數(shù)據(jù)的統(tǒng)計(jì)、分析與挖掘，這些概念的側(cè)重點(diǎn)不一樣。數(shù)據(jù)統(tǒng)計(jì)，利用統(tǒng)計(jì)學(xué)的知識(shí)，產(chǎn)出數(shù)據(jù)和報(bào)表；數(shù)據(jù)分析，除了產(chǎn)出數(shù)據(jù)和報(bào)表外，還需要分析其中原因，最好能找出對(duì)應(yīng)的策略；數(shù)據(jù)挖掘，需要在數(shù)據(jù)分析的基礎(chǔ)上，發(fā)現(xiàn)新的，有價(jià)值的知識(shí)及潛在的規(guī)律。如果只是對(duì)原有的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，而沒有對(duì)未知的事物進(jìn)行預(yù)測(cè)，是不算數(shù)據(jù)挖掘。

（理解一個(gè)算法或者一種應(yīng)用是怎么做的，只是一種具體的法，今天更多的是講道）

數(shù)據(jù)相關(guān)的職位各種各樣，我們要構(gòu)建數(shù)據(jù)場(chǎng)時(shí)，抽取其中的各種技能出來，組成自己的技能表。最近讀到一篇文章：《機(jī)器學(xué)習(xí)職位需要的七個(gè)關(guān)鍵技能》
英文原文地址：http://bigdata-madesimple.com/7-key-skills-required-for-machine-learning-jobs/
中文翻譯地址：http://www.36dsj.com/archives/29515?utm_source=tuicool&utm_medium=referral

文章描述了機(jī)器學(xué)習(xí)需要的七個(gè)技能，以及需要這些技能的原因，主要技能如下：
1. 編程語言(Python/C /R/Java)；
2. 概率與統(tǒng)計(jì)；
3. 應(yīng)用數(shù)學(xué)與算法；
4. 分布式計(jì)算；
5. Unix/Linux工具集；
6. 高級(jí)信號(hào)處理技術(shù)(特征提取)；
7. 大量閱讀，適應(yīng)快速變化，更新自己。

在這篇文章的基礎(chǔ)上，我總結(jié)了以下七個(gè)方面，用于構(gòu)建我們自己的數(shù)據(jù)場(chǎng)技能：

SQL與NoSQL技能

Linux工具集

Python或者R語言生態(tài)

Hadoop與Spark生態(tài)

概率、統(tǒng)計(jì)與線性代數(shù)

機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

業(yè)務(wù)及雜項(xiàng)

3.1 SQL與NoSQL技能

傳統(tǒng)的SQL工具與大數(shù)據(jù)環(huán)境下的NoSQL工具中，以關(guān)系型的MySQL為代表，以文檔型的MongoDB為代表，以大數(shù)據(jù)環(huán)境下的Hive代表。這都是數(shù)據(jù)分析的基礎(chǔ)而強(qiáng)大利器，在很多場(chǎng)合下都能快速的解決問題。

擴(kuò)展的，還會(huì)有內(nèi)存型數(shù)據(jù)庫Redis，圖數(shù)據(jù)庫Neo4j，還有全文索引的ElasticSearch和Solr，還有Hbase和Cassandra，這些根據(jù)具體的業(yè)務(wù)，選擇性的掌握其中一部分。

學(xué)到什么程度并無定論，重點(diǎn)在具體的數(shù)據(jù)環(huán)境下，不至于永遠(yuǎn)只知道MySQL這一個(gè)工具，在不同的場(chǎng)景，其它的數(shù)據(jù)庫能發(fā)揮出強(qiáng)大的優(yōu)勢(shì)。

總結(jié)起來說，重點(diǎn)不是工具，而是數(shù)據(jù)。不僅要能處理結(jié)構(gòu)化數(shù)據(jù)，還要處理半結(jié)構(gòu)化數(shù)據(jù)，不僅能單機(jī)處理，還要在集群環(huán)境下處理。

3.2 Linux工具集
Shell, AWK, sed, grep等基本工具集，這是很多數(shù)據(jù)簡(jiǎn)單處理的得力助手，包含數(shù)據(jù)文件編碼，數(shù)據(jù)合并，數(shù)據(jù)拆分，數(shù)據(jù)規(guī)范，格式驗(yàn)證等等。
Linux腳本能力，簡(jiǎn)單服務(wù)配置能力，正則表達(dá)式能力，Vim或者Emacs編輯能力，文件系統(tǒng)常用操作命令，遠(yuǎn)程登錄ssh等等，這些都能快速的處理很多問題。任何的分析或挖掘都會(huì)依托與一個(gè)系統(tǒng)，而Linux是其中最常用的，尤其是在服務(wù)器環(huán)境。熟悉一個(gè)系統(tǒng)，能讓自己的數(shù)據(jù)科學(xué)工作事半功倍。

簡(jiǎn)單的數(shù)據(jù)收集與處理，很多時(shí)候也會(huì)依賴于Linux系統(tǒng)或者基于其上的一系列工具，比如常用的Web服務(wù)器引擎Nginx及其產(chǎn)生的日志，常用的文件傳輸scp或者rsync，常用的定時(shí)任務(wù)crontab等等這些工具，穩(wěn)定又實(shí)用。

3.3 Python或者R語言生態(tài)
掌握一門分析專用語言，很有必要。其中以R語言和Python語言為代表。R起源于統(tǒng)計(jì)學(xué)，如今在數(shù)據(jù)科學(xué)領(lǐng)域也占有強(qiáng)大的陣地。Python更是一門完整的編程語言，不論是Web開發(fā)、自動(dòng)化運(yùn)維、云計(jì)算，還是數(shù)據(jù)科學(xué)領(lǐng)域，都有眾多的用戶。兩者在數(shù)據(jù)分析中都有完整的生態(tài)圈，而且其它環(huán)境對(duì)這兩者的支持也是非常好的。

無意于爭(zhēng)端，全看個(gè)人喜好。本人只熟悉Python這塊生態(tài)，因此只討論這一塊相關(guān)的。最為大眾熟悉的一些包為：Numpy，Scipy, Pandas和Scikit-learn，Keras，解決了從數(shù)據(jù)分析到機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的幾乎所有任務(wù)。

3.4 Hadoop與Spark生態(tài)
大數(shù)據(jù)平臺(tái)，無疑是以Hadoop和Spark為代表，無論在線處理還是離線分析。Hadoop比較適合離線處理。而在線處理中，Storm就是比較有名的。如果需要自己實(shí)現(xiàn)Map-Reduce或者對(duì)接數(shù)據(jù)之類的開發(fā)，編程語言中以Java和Scala為代表。

在線搜索相，估計(jì)會(huì)用前面說過的ElasticSearch或者Solr。當(dāng)然，區(qū)別于hadoop的Map-Reduce流程，Spark提供的彈性數(shù)據(jù)集RDD，能作用于RDD上的算子非常多，使得數(shù)據(jù)處理與分析更加方便。除此之外，Spark還提供了實(shí)時(shí)任務(wù)的Streaming，能實(shí)時(shí)的對(duì)數(shù)據(jù)進(jìn)行處理與獲取結(jié)果。還有Spark SQL功能，尤其以其中的DataFrame重為重要。另外，ML與MLlib也是分布式機(jī)器學(xué)習(xí)的重要部分。
Spark是Hadoop生態(tài)圈中的有力補(bǔ)充，并非替代品，如果要說替代，那也只是替代了MapReduce分布式計(jì)算框架而已，分布式調(diào)試與管理依然用Yarn，文件系統(tǒng)依然會(huì)使用HDFS。

3.5 概率、統(tǒng)計(jì)與線性代數(shù)
對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)與分析，是需要統(tǒng)計(jì)學(xué)的基礎(chǔ)知識(shí)。另外，很多問題都可以轉(zhuǎn)化為一個(gè)概率問題，并不是要完全確定的結(jié)果，只要概率達(dá)滿足即可。概率論方面的主要是貝葉斯統(tǒng)計(jì)，隱馬爾可夫模型等之類的。這些都是深入理解算法的基礎(chǔ)。
對(duì)數(shù)據(jù)的運(yùn)算，很多時(shí)候就是直接矩陣運(yùn)算，而涉及矩陣的各種運(yùn)算也正是線性代數(shù)相關(guān)相關(guān)的問題。

機(jī)器學(xué)習(xí)之所以有效，是因?yàn)槟Ｐ蛯?duì)數(shù)據(jù)的處理，最后都會(huì)變成一系列的數(shù)學(xué)優(yōu)化問題，而且主要和凸優(yōu)化知識(shí)相關(guān)。機(jī)器學(xué)習(xí)的各種計(jì)算，都是和數(shù)學(xué)密切相關(guān)。除了上面的概率、統(tǒng)計(jì)與線性代數(shù)，還會(huì)和微積分有一定的關(guān)系。
當(dāng)然，但除非你深入研究算法的核心原理或者寫學(xué)術(shù)論文需要，也不要被數(shù)學(xué)嚇到了。在機(jī)器學(xué)習(xí)應(yīng)用過程中，并不會(huì)用到太多的數(shù)學(xué)知識(shí)。而且，也并不需要完全把上面這些課程學(xué)好了再來進(jìn)行機(jī)器學(xué)習(xí)。計(jì)算機(jī)基于數(shù)學(xué)，但應(yīng)用型的算法，并不需要特別深厚的數(shù)學(xué)功底。如果以前課程學(xué)得不好也沒有太大的關(guān)系，很多知識(shí)到了關(guān)鍵時(shí)刻再補(bǔ)一下也不遲。

3.6 機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
數(shù)據(jù)挖掘與人工智能中和算法相關(guān)的部分，常用的分類算法，聚類算法是基礎(chǔ)。推廣開來，就是監(jiān)督算法與非監(jiān)督算法，監(jiān)督算法中，除了分類，還有回歸。非監(jiān)督算法中，除了聚類，還有數(shù)據(jù)降維，還有用于個(gè)性推薦的關(guān)聯(lián)規(guī)則。另外，專門處理自然語言的機(jī)器學(xué)習(xí)也即NLP，或者文本數(shù)據(jù)挖掘，是另外一個(gè)側(cè)重方向。

對(duì)算法的理解，需要前面的統(tǒng)計(jì)與概率等等數(shù)學(xué)知識(shí)，還需要結(jié)合編碼能力，最好能自己實(shí)現(xiàn)一些演示算法流程的Demo程序來輔助理解。實(shí)際應(yīng)用中，最好以第三方庫為準(zhǔn)，它們經(jīng)過大量人員的測(cè)試，無論是性能還是算法完整性上都會(huì)更好，自己實(shí)現(xiàn)的程序僅僅用于理解算法流程即可。除非你對(duì)算法理解很徹底，并且編碼能力也非常強(qiáng)，而且覺得現(xiàn)有的框架不能滿足你的使用。
除了算法及其參數(shù)調(diào)優(yōu)外，還有另外兩個(gè)重要的內(nèi)容，特征提取與模型評(píng)估。如何從原始數(shù)據(jù)中提取出用于算法的特征是很關(guān)鍵的。很多時(shí)候，不同算法在性能差異上并不明顯，但不同的特征提取方法，卻能產(chǎn)生比較大的差距。

在某種特征上應(yīng)用特定的算法，還需要做的就是模型評(píng)估，如何評(píng)估一個(gè)模型是好還是壞，在一定程度上也體現(xiàn)了機(jī)器學(xué)習(xí)是否有效的依據(jù)。在特征提取上，一個(gè)比較火熱的領(lǐng)域自然是深度學(xué)習(xí)了。源于多層神經(jīng)網(wǎng)絡(luò)，是一種非監(jiān)督的特征提取方法，更好的用于圖片、語音與視覺處理。值得一提的是，深度學(xué)習(xí)在很多地方的性能已經(jīng)超過傳統(tǒng)的機(jī)器學(xué)習(xí)算法。

3.7 業(yè)務(wù)及雜項(xiàng)

除上上面的純技術(shù)外，還有一些非技術(shù)上的技能。業(yè)務(wù)理解，商業(yè)洞察，溝通與交流能力，尤其以業(yè)務(wù)的理解能力為重要。數(shù)據(jù)是死的，無法更好的理解業(yè)務(wù)中的問題，也就無法更好的利用現(xiàn)有數(shù)據(jù)，甚至無法更好的解讀其中的結(jié)論。
理解業(yè)務(wù)通常需要一些專業(yè)的領(lǐng)域知識(shí)，比如做網(wǎng)絡(luò)安全的，需要安全的一些基礎(chǔ)知識(shí)；做電商的，需要理解其中各個(gè)指標(biāo)對(duì)當(dāng)前銷售的影響；做二手車估值的，需要對(duì)二手車殘值評(píng)估有一定的了解。

除了業(yè)務(wù)知識(shí)外，還需要一定的文檔與報(bào)表技能，比如Word、PPT與Markdown工具的使用，只有完整的文檔與良好的表達(dá)，才更好體現(xiàn)數(shù)據(jù)所展現(xiàn)出來的效果。

另外，英文能力與寫作也同樣重要，需要經(jīng)常閱讀一些英文文章。閱讀的主要目的，就是隨時(shí)更新自己的技能，擴(kuò)展知識(shí)面。而寫作，就是自己知識(shí)積累的一種方式，將紙上的東西，變成自己的技能。

4結(jié)語

對(duì)于高級(jí)信號(hào)處理，主要用于特征提取，個(gè)人感覺目前可以通過學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)來解決，深度學(xué)習(xí)是專為解決特征提取的問題而來。

七大技能，總結(jié)起來，就是熟悉一門Linux系統(tǒng)及其上的常用工具，遇到普通的數(shù)據(jù)，可以通過SQL來做簡(jiǎn)單分析或者聚合。如果數(shù)據(jù)量比較大，可以使用Hadoop等大數(shù)據(jù)框架處理。在深入挖掘上，可用Python或者R語言進(jìn)行編程，應(yīng)用以概率統(tǒng)計(jì)為支撐的機(jī)器學(xué)習(xí)算法。

要做好數(shù)據(jù)極客，只有在各種工具與技能基礎(chǔ)上，再加強(qiáng)自己的業(yè)務(wù)興趣點(diǎn)，配合個(gè)人的悟性而修行。果能如此，持之以恒，則天下定有你的天地。

（這天下是年輕人的，終究是搞數(shù)據(jù)的年輕人，未來屬于我們，致各位現(xiàn)在、未來的數(shù)據(jù)科學(xué)家）。