快速成為數(shù)據(jù)分析師閱讀只需5分鐘

2016年可以說是大數(shù)據(jù)市場熱火朝天的一年，無論是大型企業(yè)、中小型企業(yè)紛紛伸長了脖子想要和大數(shù)據(jù)這個互聯(lián)網(wǎng)因素濃郁的技術掛鉤。許多的企業(yè)也走在開始嘗試用大數(shù)據(jù)技術進行轉(zhuǎn)型的路上…

　　然而“大數(shù)據(jù)切實利用起來”還是需要落實落地，與幾年前我們剛開始接觸的Hadoop相比，數(shù)據(jù)分析變得更重要。

　　先來看2017大數(shù)據(jù)行業(yè)的五大趨勢

　　物聯(lián)網(wǎng)(IoT)和大數(shù)據(jù)是同一枚硬幣的兩面;數(shù)十億與互聯(lián)網(wǎng)連接的“物件”將生產(chǎn)大量數(shù)據(jù);深度學習是一套基于神經(jīng)網(wǎng)絡的機器學習技術，它仍在發(fā)展之中，不過在解決業(yè)務問題方面顯示出大有潛力。它讓計算機能夠從大量非結構化數(shù)據(jù)和二進制數(shù)據(jù)中找出感興趣的內(nèi)容，并且推導出關系，而不需要特定的模型或編程指令;內(nèi)存中分析不像常規(guī)的商業(yè)智能(BI)軟件對存儲在服務器硬盤上的數(shù)據(jù)運行查詢，內(nèi)存中技術查詢的是載入到內(nèi)存中的信息，這可以通過減少或甚至消除磁盤輸入/輸出瓶頸來顯著提升分析性能。就大數(shù)據(jù)而言，正是由于TB級系統(tǒng)和大規(guī)模并行處理，讓內(nèi)存中分析技術更令人關注;云計算混合云和公共云服務越來越受歡迎。大數(shù)據(jù)成功的關鍵是在彈性基礎設施上運行(Hadoop)平臺;Apache Spark點亮在大數(shù)據(jù)。流行的Apache Spark項目提供了Spark Streaming技術，通過主要采用一種在內(nèi)存中微批量處理的方法，近實時地處理數(shù)據(jù)流。它已從Hadoop生態(tài)系統(tǒng)的一部分，變成許多企業(yè)青睞的一種大數(shù)據(jù)平臺。

　　再看大數(shù)據(jù)行業(yè)最火爆的職位需求

　　數(shù)據(jù)分析到底是什么?很多人都在嘴邊討論它們，卻沒有幾個人真正見過它。這是當下科技行業(yè)最為火爆的職位，這里舉例一個互聯(lián)網(wǎng)科技公司Twitter對于一個數(shù)據(jù)分析師的要求是什么?他們的實際工作內(nèi)容究竟是哪些?

　　1. 機器學習已經(jīng)在產(chǎn)品中扮演越來越重要的角色，而這之前完全是「機器學習」的禁區(qū)。最典型的例子就是「當你離開時」這個功能。當用戶離開頁面或者電腦，去干別的事情后再次返回頁面，電腦會立刻給你推送出來某些由你關注的人所發(fā)出，而有可能被你錯過的「優(yōu)質(zhì)內(nèi)容」。

　　2. 開發(fā)工具越來越優(yōu)秀了。整個團隊擺脫了對 Pig 的依賴，全新的數(shù)據(jù)管道是在 Scalding 中寫出來的。

　　3. 從團隊組織上而言， 已經(jīng)轉(zhuǎn)向了一個嵌入式的模型中。其中數(shù)據(jù)分析比以往更加緊密地與產(chǎn)品/工程團隊發(fā)生著聯(lián)系。

　　現(xiàn)如今，有太多的人在如何快速成為一名數(shù)據(jù)分析師上表達著看法，給出自己的建議。小編在知乎上面也發(fā)現(xiàn)了網(wǎng)友們的熱烈討論：

　　網(wǎng)友鄒昕認為可以有一個快速成為數(shù)據(jù)分析師的途徑，但是他給了一個前提：

　　不同行業(yè)不同公司要求會很不一樣，比如說銀行做數(shù)據(jù)分析、建模會要求 SAS/SQL，而互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)分析只要會 SQL 就可以了。再比如說小公司可能會要求還會 R/Python 什么的，但是稍微中型一點的公司比如說 Facebook 只需要會 SQL 就行了。乍一看有點奇怪，但其實也不奇怪，因為大一點的公司基礎設施 (infra) 做得好，很多事情比如說 A/B test 這種都自動化了，不需要專門寫代碼。

　　接下來的內(nèi)容都可以參照中型以上互聯(lián)網(wǎng)公司為例：數(shù)據(jù)分析師需要三個方面的能力——技術(編程)，數(shù)據(jù)分析方法，行業(yè)知識。

　　1. 技術

　　技術方面剛剛說了，就是SQL, 20 個小時，假設文科生，同時對自己要求高一點，最多 80 個小時可以搞定了。(參考SQL教程-w3cschool)重點需要注意的：where / group by / order by / left join / right join / inner join / null / not null / having / distinct / like / union / avg / sum / min / max，學完之后再搜索一下 "SQL hardest questions", 做做練習。

　　當然除了 SQL 之外，Excel 也是要會一點的。不過 Excel 這玩意兒基本多少都會那么些吧，比如說做個圖，算算總合、平均之類的，稍微復雜點的數(shù)據(jù)透視表 (pivot) 就夠了。話說我第一份工作的時候連數(shù)據(jù)透視表都不會，所以說如果你不會這個，那也沒關系。

　　如果 SQL 上手比較快，時間充裕，那就練練 Tableau, 主要目的是看看都有什么樣的圖表，感受一下各自適用什么樣的場景。具體怎么做圖不是非常重要，真要用的時候搜索一下現(xiàn)學就好了。Tableau 很貴，所以下個試用版的就可以了，然后試用期學點最基本的就可以了。

　　這一共就假設用了 80 個小時吧，那么 8 天過去了(沒算錯，都要速成了，那還不每天學習 10 個小時)。

　　2. 數(shù)據(jù)分析方法

　　這里推薦一些書：Case in point. 經(jīng)典的管理咨詢的書，哪個版本的都無所謂了，印象中大概看了一半左右。好像是因為懶，所以沒看完，也因為套路都是類似的，看一半也就差不多可以了?！? 天

　　Introduction to Probability Models by Sheldon M. Ross. 應該是出到第 11 版了，但內(nèi)容應該區(qū)別不大，看第一章就可以了，需要搞清楚條件概率，這個概念還是有點重要的。——4 天

　　然后再找本統(tǒng)計基礎的書(隨便哪本教科書都差不多，實在不行的話把 wiki 上統(tǒng)計長條目下的多看幾遍也可以)，不要太糾結于理論、證明，時刻記住你要能把這些概念解釋給不懂統(tǒng)計的人聽，解釋不清楚的東西你也不用搞清楚。搞清楚幾種常見的分布，假設檢驗，假陽性，假陰性，區(qū)別估算，顯著性差異，p-value，平均值，中位數(shù)，p1/p25/p50/p75/p99，相關性，因果性，幸存者偏差，大數(shù)定律，80/20?！?0 天

　　Thinking, Fast and Slow. 當科普書看看就好，如果看不下去的話那就看《牛奶可樂經(jīng)濟學》。——2 天

　　3. 行業(yè)知識

　　很不幸，這一部分就真的沒有什么書可以看的了，基本都靠搜索，總結，思考，再搜索，總結，思考。。。如果平時對互聯(lián)網(wǎng)、科技行業(yè)相對比較關注，這一部分會上手很快，了解一些基本概念，試用一些產(chǎn)品，基本上 20 天肯定可以了?；旧习堰@些搞清楚，也差不多可以入門了吧。

　　知乎網(wǎng)友此人已死說：統(tǒng)計學無需置疑是一個數(shù)據(jù)分析師的核心功底，你只有學好了統(tǒng)計學才能談得上數(shù)據(jù)分析。

　　但是統(tǒng)計學又常常是不夠用的，我們還需要一些高級的模型來解決我們實際業(yè)務中的問題，比如：銀行需要判斷是否給某個客戶發(fā)放信用卡 這就需要一個高級的二分類模型。這里我們的數(shù)據(jù)挖掘理論就派上用場了。

　　有了理論知識，我們需要用工具去實現(xiàn)我們的理論并加以應用。這個年代，已經(jīng)沒有人會去手工計算某個問題了，R和PYTHON就是最負盛名的數(shù)據(jù)分析工具。 關于R和PYTHON的地位，題主可以百度，谷歌，知乎等搜索一遍。 至于如何學習，請看上面的書單!

　　如果致力于在互聯(lián)網(wǎng)領域發(fā)展，那么網(wǎng)頁分析是你必看的一本書籍。這本是是大名鼎鼎的GA創(chuàng)始人著作，看一遍，做一遍會有一個不錯的收獲。

　　數(shù)據(jù)分析師是跟數(shù)據(jù)打交道的，我們的數(shù)據(jù)都是存儲在數(shù)據(jù)庫里面的，因此掌握必備的數(shù)據(jù)庫技術是肯定要的!

　　結語

　　數(shù)據(jù)分析入門并不難，難的是之后的積累才是重點，如何在實際工作、項目中真正發(fā)揮數(shù)據(jù)分析的作用，產(chǎn)生價值。