快速成為數(shù)據(jù)分析師閱讀只需5分鐘

2016年可以說是大數(shù)據(jù)市場(chǎng)熱火朝天的一年，無論是大型企業(yè)、中小型企業(yè)紛紛伸長(zhǎng)了脖子想要和大數(shù)據(jù)這個(gè)互聯(lián)網(wǎng)因素濃郁的技術(shù)掛鉤。許多的企業(yè)也走在開始嘗試用大數(shù)據(jù)技術(shù)進(jìn)行轉(zhuǎn)型的路上…

　　然而“大數(shù)據(jù)切實(shí)利用起來”還是需要落實(shí)落地，與幾年前我們剛開始接觸的Hadoop相比，數(shù)據(jù)分析變得更重要。

　　先來看2017大數(shù)據(jù)行業(yè)的五大趨勢(shì)

　　物聯(lián)網(wǎng)(IoT)和大數(shù)據(jù)是同一枚硬幣的兩面;數(shù)十億與互聯(lián)網(wǎng)連接的“物件”將生產(chǎn)大量數(shù)據(jù);深度學(xué)習(xí)是一套基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù)，它仍在發(fā)展之中，不過在解決業(yè)務(wù)問題方面顯示出大有潛力。它讓計(jì)算機(jī)能夠從大量非結(jié)構(gòu)化數(shù)據(jù)和二進(jìn)制數(shù)據(jù)中找出感興趣的內(nèi)容，并且推導(dǎo)出關(guān)系，而不需要特定的模型或編程指令;內(nèi)存中分析不像常規(guī)的商業(yè)智能(BI)軟件對(duì)存儲(chǔ)在服務(wù)器硬盤上的數(shù)據(jù)運(yùn)行查詢，內(nèi)存中技術(shù)查詢的是載入到內(nèi)存中的信息，這可以通過減少或甚至消除磁盤輸入/輸出瓶頸來顯著提升分析性能。就大數(shù)據(jù)而言，正是由于TB級(jí)系統(tǒng)和大規(guī)模并行處理，讓內(nèi)存中分析技術(shù)更令人關(guān)注;云計(jì)算混合云和公共云服務(wù)越來越受歡迎。大數(shù)據(jù)成功的關(guān)鍵是在彈性基礎(chǔ)設(shè)施上運(yùn)行(Hadoop)平臺(tái);Apache Spark點(diǎn)亮在大數(shù)據(jù)。流行的Apache Spark項(xiàng)目提供了Spark Streaming技術(shù)，通過主要采用一種在內(nèi)存中微批量處理的方法，近實(shí)時(shí)地處理數(shù)據(jù)流。它已從Hadoop生態(tài)系統(tǒng)的一部分，變成許多企業(yè)青睞的一種大數(shù)據(jù)平臺(tái)。

　　再看大數(shù)據(jù)行業(yè)最火爆的職位需求

　　數(shù)據(jù)分析到底是什么?很多人都在嘴邊討論它們，卻沒有幾個(gè)人真正見過它。這是當(dāng)下科技行業(yè)最為火爆的職位，這里舉例一個(gè)互聯(lián)網(wǎng)科技公司Twitter對(duì)于一個(gè)數(shù)據(jù)分析師的要求是什么?他們的實(shí)際工作內(nèi)容究竟是哪些?

　　1. 機(jī)器學(xué)習(xí)已經(jīng)在產(chǎn)品中扮演越來越重要的角色，而這之前完全是「機(jī)器學(xué)習(xí)」的禁區(qū)。最典型的例子就是「當(dāng)你離開時(shí)」這個(gè)功能。當(dāng)用戶離開頁(yè)面或者電腦，去干別的事情后再次返回頁(yè)面，電腦會(huì)立刻給你推送出來某些由你關(guān)注的人所發(fā)出，而有可能被你錯(cuò)過的「優(yōu)質(zhì)內(nèi)容」。

　　2. 開發(fā)工具越來越優(yōu)秀了。整個(gè)團(tuán)隊(duì)擺脫了對(duì) Pig 的依賴，全新的數(shù)據(jù)管道是在 Scalding 中寫出來的。

　　3. 從團(tuán)隊(duì)組織上而言， 已經(jīng)轉(zhuǎn)向了一個(gè)嵌入式的模型中。其中數(shù)據(jù)分析比以往更加緊密地與產(chǎn)品/工程團(tuán)隊(duì)發(fā)生著聯(lián)系。

　　現(xiàn)如今，有太多的人在如何快速成為一名數(shù)據(jù)分析師上表達(dá)著看法，給出自己的建議。小編在知乎上面也發(fā)現(xiàn)了網(wǎng)友們的熱烈討論：

　　網(wǎng)友鄒昕認(rèn)為可以有一個(gè)快速成為數(shù)據(jù)分析師的途徑，但是他給了一個(gè)前提：

　　不同行業(yè)不同公司要求會(huì)很不一樣，比如說銀行做數(shù)據(jù)分析、建模會(huì)要求 SAS/SQL，而互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)分析只要會(huì) SQL 就可以了。再比如說小公司可能會(huì)要求還會(huì) R/Python 什么的，但是稍微中型一點(diǎn)的公司比如說 Facebook 只需要會(huì) SQL 就行了。乍一看有點(diǎn)奇怪，但其實(shí)也不奇怪，因?yàn)榇笠稽c(diǎn)的公司基礎(chǔ)設(shè)施 (infra) 做得好，很多事情比如說 A/B test 這種都自動(dòng)化了，不需要專門寫代碼。

　　接下來的內(nèi)容都可以參照中型以上互聯(lián)網(wǎng)公司為例：數(shù)據(jù)分析師需要三個(gè)方面的能力——技術(shù)(編程)，數(shù)據(jù)分析方法，行業(yè)知識(shí)。

　　1. 技術(shù)

　　技術(shù)方面剛剛說了，就是SQL, 20 個(gè)小時(shí)，假設(shè)文科生，同時(shí)對(duì)自己要求高一點(diǎn)，最多 80 個(gè)小時(shí)可以搞定了。(參考SQL教程-w3cschool)重點(diǎn)需要注意的：where / group by / order by / left join / right join / inner join / null / not null / having / distinct / like / union / avg / sum / min / max，學(xué)完之后再搜索一下 "SQL hardest questions", 做做練習(xí)。

　　當(dāng)然除了 SQL 之外，Excel 也是要會(huì)一點(diǎn)的。不過 Excel 這玩意兒基本多少都會(huì)那么些吧，比如說做個(gè)圖，算算總合、平均之類的，稍微復(fù)雜點(diǎn)的數(shù)據(jù)透視表 (pivot) 就夠了。話說我第一份工作的時(shí)候連數(shù)據(jù)透視表都不會(huì)，所以說如果你不會(huì)這個(gè)，那也沒關(guān)系。

　　如果 SQL 上手比較快，時(shí)間充裕，那就練練 Tableau, 主要目的是看看都有什么樣的圖表，感受一下各自適用什么樣的場(chǎng)景。具體怎么做圖不是非常重要，真要用的時(shí)候搜索一下現(xiàn)學(xué)就好了。Tableau 很貴，所以下個(gè)試用版的就可以了，然后試用期學(xué)點(diǎn)最基本的就可以了。

　　這一共就假設(shè)用了 80 個(gè)小時(shí)吧，那么 8 天過去了(沒算錯(cuò)，都要速成了，那還不每天學(xué)習(xí) 10 個(gè)小時(shí))。

　　2. 數(shù)據(jù)分析方法

　　這里推薦一些書：Case in point. 經(jīng)典的管理咨詢的書，哪個(gè)版本的都無所謂了，印象中大概看了一半左右。好像是因?yàn)閼?，所以沒看完，也因?yàn)樘茁范际穷愃频?，看一半也就差不多可以了?！? 天

　　Introduction to Probability Models by Sheldon M. Ross. 應(yīng)該是出到第 11 版了，但內(nèi)容應(yīng)該區(qū)別不大，看第一章就可以了，需要搞清楚條件概率，這個(gè)概念還是有點(diǎn)重要的?！? 天

　　然后再找本統(tǒng)計(jì)基礎(chǔ)的書(隨便哪本教科書都差不多，實(shí)在不行的話把 wiki 上統(tǒng)計(jì)長(zhǎng)條目下的多看幾遍也可以)，不要太糾結(jié)于理論、證明，時(shí)刻記住你要能把這些概念解釋給不懂統(tǒng)計(jì)的人聽，解釋不清楚的東西你也不用搞清楚。搞清楚幾種常見的分布，假設(shè)檢驗(yàn)，假陽(yáng)性，假陰性，區(qū)別估算，顯著性差異，p-value，平均值，中位數(shù)，p1/p25/p50/p75/p99，相關(guān)性，因果性，幸存者偏差，大數(shù)定律，80/20?！?0 天

　　Thinking, Fast and Slow. 當(dāng)科普書看看就好，如果看不下去的話那就看《牛奶可樂經(jīng)濟(jì)學(xué)》?！? 天

　　3. 行業(yè)知識(shí)

　　很不幸，這一部分就真的沒有什么書可以看的了，基本都靠搜索，總結(jié)，思考，再搜索，總結(jié)，思考。。。如果平時(shí)對(duì)互聯(lián)網(wǎng)、科技行業(yè)相對(duì)比較關(guān)注，這一部分會(huì)上手很快，了解一些基本概念，試用一些產(chǎn)品，基本上 20 天肯定可以了。基本上把這些搞清楚，也差不多可以入門了吧。

　　知乎網(wǎng)友此人已死說：統(tǒng)計(jì)學(xué)無需置疑是一個(gè)數(shù)據(jù)分析師的核心功底，你只有學(xué)好了統(tǒng)計(jì)學(xué)才能談得上數(shù)據(jù)分析。

　　但是統(tǒng)計(jì)學(xué)又常常是不夠用的，我們還需要一些高級(jí)的模型來解決我們實(shí)際業(yè)務(wù)中的問題，比如：銀行需要判斷是否給某個(gè)客戶發(fā)放信用卡 這就需要一個(gè)高級(jí)的二分類模型。這里我們的數(shù)據(jù)挖掘理論就派上用場(chǎng)了。

　　有了理論知識(shí)，我們需要用工具去實(shí)現(xiàn)我們的理論并加以應(yīng)用。這個(gè)年代，已經(jīng)沒有人會(huì)去手工計(jì)算某個(gè)問題了，R和PYTHON就是最負(fù)盛名的數(shù)據(jù)分析工具。 關(guān)于R和PYTHON的地位，題主可以百度，谷歌，知乎等搜索一遍。 至于如何學(xué)習(xí)，請(qǐng)看上面的書單!

　　如果致力于在互聯(lián)網(wǎng)領(lǐng)域發(fā)展，那么網(wǎng)頁(yè)分析是你必看的一本書籍。這本是是大名鼎鼎的GA創(chuàng)始人著作，看一遍，做一遍會(huì)有一個(gè)不錯(cuò)的收獲。

　　數(shù)據(jù)分析師是跟數(shù)據(jù)打交道的，我們的數(shù)據(jù)都是存儲(chǔ)在數(shù)據(jù)庫(kù)里面的，因此掌握必備的數(shù)據(jù)庫(kù)技術(shù)是肯定要的!

　　結(jié)語(yǔ)

　　數(shù)據(jù)分析入門并不難，難的是之后的積累才是重點(diǎn)，如何在實(shí)際工作、項(xiàng)目中真正發(fā)揮數(shù)據(jù)分析的作用，產(chǎn)生價(jià)值。