建立數(shù)據(jù)場的七大技能

成為數(shù)據(jù)極客，建立自己的數(shù)據(jù)場需要哪些技能呢?遇到普通的數(shù)據(jù)，通過SQL做分析。如果數(shù)據(jù)量比較大，可以使用Hadoop等大數(shù)據(jù)框架處理。在深入挖掘上，可用Python或者R語言進行編程。

01 數(shù)據(jù)極客

上回書說到，數(shù)據(jù)科學家是具有數(shù)據(jù)相關(guān)的完整理論和知識的人，自然境界很高。做作一個普通的IT界碼農(nóng)，成為數(shù)據(jù)科學家需要漫長的過程。那這個……，做不到數(shù)據(jù)科學家，我們還可以做個數(shù)據(jù)極客(Data Geek)嘛，挑戰(zhàn)數(shù)據(jù)極限，也是挑戰(zhàn)自己的極限。

那么，成為數(shù)據(jù)極客，建立自己的數(shù)據(jù)場需要哪些技能呢?且不說那高深復雜的理論，僅從實用的角度來分析一下，建立數(shù)據(jù)場的七個方面。

02 七大技能

2.1 SQL與NoSQL技能

二維表格數(shù)據(jù)是最常用形式了，對二維數(shù)據(jù)的處理分析也是最基本的。傳統(tǒng)的SQL工具與大數(shù)據(jù)環(huán)境下的NoSQL工具中，以關(guān)系型的MySQL為代表，以文檔型的MongoDB為代表，以大數(shù)據(jù)環(huán)境下的Hive代表。這都是數(shù)據(jù)分析的基礎(chǔ)而強大利器，在很多場合下都能快速的解決問題。

擴展的，還會有內(nèi)存型數(shù)據(jù)庫Redis，圖數(shù)據(jù)庫Neo4j，還有全文索引的ElasticSearch和Solr，還有Hbase和Cassandra，這些根據(jù)具體的業(yè)務(wù)，選擇性的掌握其中一部分。

學到什么程度并無定論，重點在具體的數(shù)據(jù)環(huán)境下，不至于永遠只知道MySQL這一個工具，在不同的場景，其它的數(shù)據(jù)庫能發(fā)揮出強大的優(yōu)勢。

總結(jié)起來說，重點不是工具，而是數(shù)據(jù)。不僅要能處理結(jié)構(gòu)化數(shù)據(jù)，還要處理半結(jié)構(gòu)化數(shù)據(jù)，不僅能單機處理，還要在集群環(huán)境下處理。

2.2 Linux工具集

Shell, AWK, sed, grep等基本工具集，這是很多數(shù)據(jù)簡單處理的得力助手，包含數(shù)據(jù)文件編碼，數(shù)據(jù)合并，數(shù)據(jù)拆分，數(shù)據(jù)規(guī)范，格式驗證等等。

Linux腳本能力，簡單服務(wù)配置能力，正則表達式能力，Vim或者Emacs編輯能力，文件系統(tǒng)常用操作命令，遠程登錄ssh等等，這些都能快速的處理很多問題。任何的分析或挖掘都會依托與一個系統(tǒng)，而Linux是其中最常用的，尤其是在服務(wù)器環(huán)境。熟悉一個系統(tǒng)，能讓自己的數(shù)據(jù)科學工作事半功倍。

簡單的數(shù)據(jù)收集與處理，很多時候也會依賴于Linux系統(tǒng)或者基于其上的一系列工具，比如常用的Web服務(wù)器引擎Nginx及其產(chǎn)生的日志，常用的文件傳輸scp或者rsync，常用的定時任務(wù)crontab等等這些工具，穩(wěn)定又實用。

2.3 Python或者R語言生態(tài)

掌握一門分析專用語言，很有必要。其中以R語言和Python語言為代表。R起源于統(tǒng)計學，如今在數(shù)據(jù)科學領(lǐng)域也占有強大的陣地。Python更是一門完整的編程語言，不論是Web開發(fā)、自動化運維、云計算，還是數(shù)據(jù)科學領(lǐng)域，都有眾多的用戶。兩者在數(shù)據(jù)分析中都有完整的生態(tài)圈，而且其它環(huán)境對這兩者的支持也是非常好的。

無意于爭端，全看個人喜好。本人只熟悉Python這塊生態(tài)，因此只討論這一塊相關(guān)的。最為大眾熟悉的一些包為：Numpy，Scipy, Pandas和Scikit-learn，Keras，解決了從數(shù)據(jù)分析到機器學習和深度學習的幾乎所有任務(wù)。

2.4 Hadoop與Spark生態(tài)

大數(shù)據(jù)平臺，無疑是以Hadoop和Spark為代表，無論在線處理還是離線分析。Hadoop比較適合離線處理。而在線處理中，Storm就是比較有名的。如果需要自己實現(xiàn)Map-Reduce或者對接數(shù)據(jù)之類的開發(fā)，編程語言中以Java和Scala為代表。

在線搜索相關(guān)，估計會用前面說過的ElasticSearch或者Solr。當然，區(qū)別于hadoop的Map-Reduce流程，Spark提供的彈性數(shù)據(jù)集RDD，能作用于RDD上的算子非常多，使得數(shù)據(jù)處理與分析更加方便。除此之外，Spark還提供了實時任務(wù)的Streaming，能實時的對數(shù)據(jù)進行處理與獲取結(jié)果。還有Spark SQL功能，尤其以其中的DataFrame重為重要。另外，ML與MLlib也是分布式機器學習的重要部分。

Spark是Hadoop生態(tài)圈中的有力補充，并非替代品，如果要說替代，那也只是替代了MapReduce分布式計算框架而已，分布式調(diào)試與管理依然用Yarn，文件系統(tǒng)依然會使用HDFS。

Hadoop發(fā)行版中，主要以三大廠商的Hadoop的為代表。Cloudera發(fā)行的CDH，Hortonworks發(fā)行的HDP，這兩個是目前各種大數(shù)據(jù)框架支持的主流，另外一家是修改了核心的MapR。

2.5 概率、統(tǒng)計與線性代數(shù)

對數(shù)據(jù)進行統(tǒng)計與分析，是需要統(tǒng)計學的基礎(chǔ)知識。另外，很多問題都可以轉(zhuǎn)化為一個概率問題，并不是要完全確定的結(jié)果，只要概率達滿足即可。概率論方面的主要是貝葉斯統(tǒng)計，隱馬爾可夫模型等之類的。這些都是深入理解算法的基礎(chǔ)。

對數(shù)據(jù)的運算，很多時候就是直接矩陣運算，而涉及矩陣的各種運算也正是線性代數(shù)相關(guān)相關(guān)的問題。

機器學習之所以有效，是因為模型對數(shù)據(jù)的處理，最后都會變成一系列的數(shù)學優(yōu)化問題，而且主要和凸優(yōu)化知識相關(guān)。機器學習的各種計算，都是和數(shù)學密切相關(guān)。除了上面的概率、統(tǒng)計與線性代數(shù)，還會和微積分有一定的關(guān)系。

當然，但除非你深入研究算法的核心原理或者寫學術(shù)論文需要，也不要被數(shù)學嚇到了。在機器學習應(yīng)用過程中，并不會用到太多的數(shù)學知識。而且，也并不需要完全把上面這些課程學好了再來進行機器學習。計算機基于數(shù)學，但應(yīng)用型的算法，并不需要特別深厚的數(shù)學功底。如果以前課程學得不好也沒有太大的關(guān)系，很多知識到了關(guān)鍵時刻再補一下也不遲。

2.6 機器學習與深度學習

數(shù)據(jù)挖掘與人工智能中和算法相關(guān)的部分，常用的分類算法，聚類算法是基礎(chǔ)。推廣開來，就是監(jiān)督算法與非監(jiān)督算法，監(jiān)督算法中，除了分類，還有回歸。非監(jiān)督算法中，除了聚類，還有數(shù)據(jù)降維，還有用于個性推薦的關(guān)聯(lián)規(guī)則。另外，專門處理自然語言的機器學習也即NLP，或者文本數(shù)據(jù)挖掘，是另外一個側(cè)重方向。

對算法的理解，需要前面的統(tǒng)計與概率等等數(shù)學知識，還需要結(jié)合編碼能力，最好能自己實現(xiàn)一些演示算法流程的Demo程序來輔助理解。實際應(yīng)用中，最好以第三方庫為準，它們經(jīng)過大量人員的測試，無論是性能還是算法完整性上都會更好，自己實現(xiàn)的程序僅僅用于理解算法流程即可。除非你對算法理解很徹底，并且編碼能力也非常強，而且覺得現(xiàn)有的框架不能滿足你的使用。

除了算法及其參數(shù)調(diào)優(yōu)外，還有另外兩個重要的內(nèi)容，特征提取與模型評估。如何從原始數(shù)據(jù)中提取出用于算法的特征是很關(guān)鍵的。很多時候，不同算法在性能差異上并不明顯，但不同的特征提取方法，卻能產(chǎn)生比較大的差距。

在某種特征上應(yīng)用特定的算法，還需要做的就是模型評估，如果評估一個模型是好還是壞，在一定程度上也體現(xiàn)了機器學習是否有效的依據(jù)。在特征提取上，一個比較火熱的領(lǐng)域自然是深度學習了。源于多層神經(jīng)網(wǎng)絡(luò)，是一種非監(jiān)督的特征提取方法，更好的用于圖片、語音與視覺處理。值得一提的是，深度學習在很多地方的性能已經(jīng)超過傳統(tǒng)的機器學習算法。

2.7 業(yè)務(wù)及雜項

除上上面的純技術(shù)外，還有一些非技術(shù)上的技能。業(yè)務(wù)理解，商業(yè)洞察，溝通與交流能力，尤其以業(yè)務(wù)的理解能力為重要。數(shù)據(jù)是死的，無法更好的理解業(yè)務(wù)中的問題，也就無法更好的利用現(xiàn)有數(shù)據(jù)，甚至無法更好的解讀其中的結(jié)論。

理解業(yè)務(wù)通常需要一些專業(yè)的領(lǐng)域知識，比如做網(wǎng)絡(luò)安全的，需要安全的一些基礎(chǔ)知識;做電商的，需要理解其中各個指標對當前銷售的影響;做二手車估值的，需要對二手車殘值評估有一定的了解。

除了業(yè)務(wù)知識外，還需要一定的文檔與報表技能，比如Word、PPT與Markdown工具的使用，只有完整的文檔與良好的表達，才更好體現(xiàn)數(shù)據(jù)所展現(xiàn)出來的效果。

另外，英文能力與寫作也同樣重要，需要經(jīng)常閱讀一些英文文章。閱讀的主要目的，就是隨時更新自己的技能，擴展知識面。而寫作，就是自己知識積累的一種方式，將紙上的東西，變成自己的技能。

03 結(jié)尾

這兒列出的七項主要技能，和上一篇文章的7大技能基本相同。對于高級信號處理，主要用于特征提取，個人感覺目前可能通過學習神經(jīng)網(wǎng)絡(luò)與深度學習來解決，深度學習是專為解決特征提取的問題而來。

七大技能，總結(jié)起來，就是熟悉一門Linux系統(tǒng)及其上的常用工具，遇到普通的數(shù)據(jù)，可以通過SQL來做簡單分析或者聚合。如果數(shù)據(jù)量比較大，可以使用Hadoop等大數(shù)據(jù)框架處理。在深入挖掘上，可用Python或者R語言進行編程，應(yīng)用以概率統(tǒng)計為支撐的機器學習算法。

要做好數(shù)據(jù)極客，只有在各種工具與技能基礎(chǔ)上，再加強自己的業(yè)務(wù)興趣點，配合個人的悟性而修行。果能如此，持之以恒，則天下定有你的天地。