作者 | AlfredWu

來(lái)源 | Alfred數(shù)據(jù)室

最近有很多人在問(wèn)，我是如何收集網(wǎng)絡(luò)的數(shù)據(jù)，如何進(jìn)行數(shù)據(jù)處理、數(shù)據(jù)分析以及可視化呈現(xiàn)的。

也有人問(wèn)的更具體，關(guān)于Python數(shù)據(jù)分析的一些問(wèn)題。到底應(yīng)該怎么學(xué)？如何快速入門，以及技術(shù)和業(yè)務(wù)之間的瓶頸如何突破？

因?yàn)樯疃鹊臄?shù)據(jù)分析往往可以看到事情的本質(zhì)，而這又是一項(xiàng)在任何情況下都超級(jí)加分的技能。總結(jié)了一些經(jīng)驗(yàn)，希望能夠給還沒(méi)入門、或者入門之后就遇到瓶頸的新手一些建議。主要是關(guān)于如何系統(tǒng)地進(jìn)行學(xué)習(xí)規(guī)劃，以及可以避免的一些坑。

有的同學(xué)看到數(shù)據(jù)分析幾個(gè)字，就馬上開始Python函數(shù)+控制語(yǔ)句、R語(yǔ)言和ggplot庫(kù)……上來(lái)一頓騷操作，還沒(méi)入門就放棄了。

這就是需求不明確導(dǎo)致的，當(dāng)然學(xué)習(xí)方式也值得商榷，那到底數(shù)據(jù)分析需要什么樣的技能呢？這里作為例子，從招聘網(wǎng)站上找了幾個(gè)數(shù)據(jù)分析的崗位，我們來(lái)看看具體的要求是怎樣的。

其實(shí)企業(yè)對(duì)數(shù)據(jù)分析師的基礎(chǔ)技能需求差別不大，可總結(jié)如下：

• 分析工具：一般要求SPSS/SAS/R/Python等分析工具至少會(huì)一種，會(huì)兩種以上加分，有的企業(yè)因內(nèi)部需求，會(huì)指定的一種；
• 數(shù)據(jù)庫(kù)：絕大會(huì)要求會(huì)SQL，部分要求SQL/NoSQL會(huì)一種，高級(jí)的分析師或者大型企業(yè)要求能夠處理大數(shù)據(jù)，需要Hive（較少的需要Hadoop/Spark）；
• 統(tǒng)計(jì)學(xué)：若無(wú)相關(guān)專業(yè)背景，需要具備相應(yīng)的統(tǒng)計(jì)學(xué)、概率論等基礎(chǔ)知識(shí)；
• 數(shù)據(jù)挖掘：少部分要求會(huì)建模，了解基本的算法模型，能夠做數(shù)據(jù)預(yù)測(cè)，即便不要求，算法也是加分項(xiàng)；
• 結(jié)果輸出：Excel/PPT/Tableau。Excel和PPT要求的比較多，主要用作常規(guī)的數(shù)據(jù)呈現(xiàn)，與業(yè)務(wù)部門溝通等，Tableau一般作為可視化或者分析工具的加分項(xiàng)或者要求之一；
• 業(yè)務(wù)/思維：對(duì)某個(gè)領(lǐng)域（如電商、金融等）相關(guān)業(yè)務(wù)的了解或具有產(chǎn)品、運(yùn)營(yíng)方向的分析經(jīng)驗(yàn)，有自己的數(shù)據(jù)分析的方法論和項(xiàng)目經(jīng)驗(yàn)，具備Data Sence。

看上去很簡(jiǎn)單呀，對(duì)吧，但其實(shí)你把每個(gè)技能拆分開來(lái)，都是一個(gè)不小的知識(shí)體系。如果我們按照數(shù)據(jù)分析的流程來(lái)細(xì)分的話，每個(gè)部分應(yīng)該掌握的技能，大概是這樣的：

那對(duì)于這個(gè)技能體系，應(yīng)該如何進(jìn)行技能的訓(xùn)練呢？先后順序是什么？哪些地方可能出現(xiàn)困難和瓶頸？

按數(shù)據(jù)分析的流程的順序循序漸進(jìn)，你會(huì)知道每個(gè)部分需要完成的目標(biāo)是什么，需要學(xué)習(xí)哪些知識(shí)點(diǎn)，哪些知識(shí)是暫時(shí)不必要的。

接下來(lái)我們分別從每一個(gè)部分講講具體應(yīng)該學(xué)什么、怎么學(xué)。

- ? -

數(shù)據(jù)獲取：爬蟲與公開數(shù)據(jù)

數(shù)據(jù)是產(chǎn)生價(jià)值的原材料，這也是數(shù)據(jù)分析項(xiàng)目的第一步。

通常我是通過(guò)爬蟲獲取相關(guān)數(shù)據(jù)的，一來(lái)數(shù)據(jù)有很高的時(shí)效性，二來(lái)數(shù)據(jù)的來(lái)源可以得到保證，畢竟網(wǎng)上的信息是異常豐富的。

這些分布在網(wǎng)上零散的信息，通過(guò)爬取整合之后，就有比較高的分析價(jià)值。

比如你可以通過(guò)爬蟲獲取招聘網(wǎng)站某一職位的招聘信息，爬取租房網(wǎng)站上某城市的租房信息，獲取知乎點(diǎn)贊排行、網(wǎng)易云音樂(lè)評(píng)論排行列表?；诨ヂ?lián)網(wǎng)爬取的數(shù)據(jù)，你可以對(duì)某個(gè)行業(yè)、某個(gè)事件、某類人群進(jìn)行分析。

在爬蟲之前需要先了解一些 Python 的基礎(chǔ)知識(shí)：數(shù)據(jù)類型（列表、字典、元組等）、變量、循環(huán)、函數(shù)………

以及，如何用 Python 庫(kù)（urllib、BeautifulSoup、requests等）實(shí)現(xiàn)網(wǎng)頁(yè)爬蟲。如果是初學(xué)，建議從requests+xpath開始。

當(dāng)然，并不是說(shuō)公開數(shù)據(jù)就沒(méi)用了，在進(jìn)行分析的時(shí)候，需要一些歷史數(shù)據(jù)進(jìn)行對(duì)比，需要一定的行業(yè)標(biāo)準(zhǔn)進(jìn)行參考的時(shí)候，公開數(shù)據(jù)的價(jià)值就體現(xiàn)出來(lái)了。

一些科研機(jī)構(gòu)、企業(yè)、政府會(huì)開放一些數(shù)據(jù)，還有一些行業(yè)研究報(bào)告、他人的調(diào)查結(jié)果，都可以成為你的數(shù)據(jù)來(lái)源。這些數(shù)據(jù)集通常比較完善、質(zhì)量相對(duì)較高。

- ? -

數(shù)據(jù)存取：SQL語(yǔ)言

我并不是每次都會(huì)用到數(shù)據(jù)庫(kù)，但很多時(shí)候這確實(shí)是做數(shù)據(jù)分析項(xiàng)目的必備技能，包括求職就業(yè)，也是必選項(xiàng)。

通常數(shù)據(jù)庫(kù)的使用能夠讓數(shù)據(jù)存儲(chǔ)、管理更方便，同時(shí)也能提高數(shù)據(jù)提取和使用的效率，特別是在數(shù)據(jù)上了一定的量級(jí)之后，誰(shuí)用誰(shuí)知道。

大多數(shù)的企業(yè)，都會(huì)以SQL的形式來(lái)存儲(chǔ)數(shù)據(jù)，如果你是一個(gè)分析師，也至少要懂得SQL的操作，能夠查詢、提取公司的數(shù)據(jù)。

SQL作為最經(jīng)典的數(shù)據(jù)庫(kù)工具，為海量數(shù)據(jù)的存儲(chǔ)與管理提供可能，并且使數(shù)據(jù)的提取的效率大大提升。需要掌握以下技能：

• 提取特定情況下的數(shù)據(jù)：企業(yè)數(shù)據(jù)庫(kù)里的數(shù)據(jù)一定是大而繁復(fù)的，你需要提取你需要的那一部分。比如你可以根據(jù)你的需要提取2017年所有的銷售數(shù)據(jù)、提取今年銷量最大的50件商品的數(shù)據(jù)、提取上海、廣東地區(qū)用戶的消費(fèi)數(shù)據(jù)……，SQL可以通過(guò)簡(jiǎn)單的命令幫你完成這些工作。
• 數(shù)據(jù)庫(kù)的增、刪、查、改：這些是數(shù)據(jù)庫(kù)最基本的操作，但只要用簡(jiǎn)單的命令就能夠?qū)崿F(xiàn)，所以你只需要記住命令就好。
• 數(shù)據(jù)的分組聚合、如何建立多個(gè)表之間的聯(lián)系：這個(gè)部分是SQL的進(jìn)階操作，多個(gè)表之間的關(guān)聯(lián)，在你處理多維度、多個(gè)數(shù)據(jù)集的時(shí)候非常有用，這也讓你可以去處理更復(fù)雜的數(shù)據(jù)。

SQL這部分比較簡(jiǎn)單，主要是掌握一些基本的語(yǔ)句。當(dāng)然，還是建議找?guī)讉€(gè)數(shù)據(jù)集來(lái)實(shí)際操作一下，哪怕是最基礎(chǔ)的查詢、提取等。

- ? -

數(shù)據(jù)處理：Pandas/Numpy

爬回來(lái)的數(shù)據(jù)通常是不干凈的，數(shù)據(jù)的重復(fù)、缺失、異常值等等，這時(shí)候就需要進(jìn)行數(shù)據(jù)的清洗，把這些影響分析的數(shù)據(jù)處理好，才能獲得更加精確地分析結(jié)果。

那么我們需要用相應(yīng)的方法去處理，比如重復(fù)數(shù)據(jù)，是保留還是刪除；比如殘缺數(shù)據(jù)，我們是直接去掉這條數(shù)據(jù)，還是用臨近的值去補(bǔ)全，這些都是需要考慮的問(wèn)題。

對(duì)于數(shù)據(jù)預(yù)處理，學(xué)會(huì) pandas/Numpy （Python包）的用法，應(yīng)對(duì)一般的數(shù)據(jù)清洗就完全沒(méi)問(wèn)題了。需要掌握的知識(shí)點(diǎn)如下：

• 選擇：數(shù)據(jù)訪問(wèn)（標(biāo)簽、特定值、布爾索引等）
• 缺失值處理：對(duì)缺失數(shù)據(jù)行進(jìn)行刪除或填充
• 重復(fù)值處理：重復(fù)值的判斷與刪除
• 異常值處理：清除不必要的空格和極端、異常數(shù)據(jù)
• 相關(guān)操作：描述性統(tǒng)計(jì)、Apply、直方圖等
• 合并：符合各種邏輯關(guān)系的合并操作
• 分組：數(shù)據(jù)劃分、分別執(zhí)行函數(shù)、數(shù)據(jù)重組
• Reshaping：快速生成數(shù)據(jù)透視表

數(shù)據(jù)清洗通常被視為臟活，但事實(shí)上這步非常重要，這直接決定了你的分析結(jié)論的準(zhǔn)確性，決定你的項(xiàng)目是否能順利進(jìn)行下去。

- ? -

數(shù)據(jù)分析與可視化

這個(gè)是從數(shù)據(jù)中發(fā)現(xiàn)信息、挖掘價(jià)值的過(guò)程，大多數(shù)的結(jié)論在這個(gè)步驟產(chǎn)生，主要做兩件事情。

一是對(duì)于既定的數(shù)據(jù)分析主題進(jìn)行拆解，評(píng)估需要從哪些維度進(jìn)行分析，提取哪些數(shù)據(jù)，這個(gè)步驟很大程度上來(lái)源于經(jīng)驗(yàn)或者對(duì)于具體事務(wù)的理解；

二是通過(guò)探索數(shù)據(jù)分布的規(guī)律、數(shù)據(jù)的特征，發(fā)現(xiàn)從表面看不到的信息，完成這個(gè)流程主要是通過(guò)數(shù)據(jù)本身進(jìn)行探索。

前者對(duì)應(yīng)的是描述性的數(shù)據(jù)分析，主要考慮數(shù)據(jù)的指標(biāo)，看從不同的角度去描述數(shù)據(jù)能夠得出哪些結(jié)論。

這個(gè)地方就需要對(duì)統(tǒng)計(jì)學(xué)的相關(guān)知識(shí)有一定的了解，比如：

• 基本統(tǒng)計(jì)量：均值、中位數(shù)、眾數(shù)、百分位數(shù)、極值等
• 其他描述性統(tǒng)計(jì)量：偏度、方差、標(biāo)準(zhǔn)差、顯著性等
• 其他統(tǒng)計(jì)知識(shí)：總體和樣本、參數(shù)和統(tǒng)計(jì)量、ErrorBar
• 概率分布與假設(shè)檢驗(yàn)：各種分布、假設(shè)檢驗(yàn)流程

后者則是探索型的數(shù)據(jù)分析，主要通過(guò)繪制數(shù)據(jù)的分布圖形，來(lái)觀察數(shù)據(jù)的分布規(guī)律，從而提取隱藏的某些信息。

這里就需要對(duì)掌握可視化的技能，Python中的Matplotlib/Seaborn都可以完成可視化的工作。可視化既是探索性分析的工具，也可以輸出最終結(jié)果呈現(xiàn)的圖形。

當(dāng)然，還有一種是預(yù)測(cè)型的數(shù)據(jù)分析，需要構(gòu)建模型來(lái)預(yù)測(cè)未來(lái)數(shù)據(jù)，我在推文中用的比較少，但在企業(yè)中應(yīng)用非常多。

做數(shù)據(jù)分析的話，會(huì)用比如線性回歸、邏輯回歸、決策樹等這些基本的算法，用于解決基本的回歸和分類問(wèn)題，就OK了。