邁出數(shù)據(jù)分析與機(jī)器學(xué)習(xí)的第一步

數(shù)據(jù)分析太火爆，怎奈機(jī)器學(xué)習(xí)太難懂！隨著人工智能的浪潮卷卷襲來(lái)，機(jī)器學(xué)習(xí)已經(jīng)越來(lái)越火爆啦。數(shù)據(jù)分析與機(jī)器學(xué)習(xí)崗位可謂供不應(yīng)求，但是入門(mén)的門(mén)檻也是蠻高的，究竟了機(jī)器學(xué)習(xí)太難學(xué)還是咱們木有挑選到趁手的兵器呢？今天咱們的任務(wù)就是嘗試用Python去開(kāi)啟一場(chǎng)數(shù)據(jù)分析和機(jī)器學(xué)習(xí)建模之旅，用最簡(jiǎn)單的方式帶大家邁出機(jī)器學(xué)習(xí)的第一步！

機(jī)器學(xué)習(xí)：數(shù)據(jù)分析很好理解，就是挖掘出來(lái)我們需要的有價(jià)值的信息，那么機(jī)器學(xué)習(xí)又是什么呢？剛接觸這個(gè)領(lǐng)域的同學(xué)可能有些迷茫，這個(gè)詞看起來(lái)蠻高端的，我就來(lái)通俗的解釋一下，機(jī)器學(xué)習(xí)也就是我們要讓機(jī)器（咱們的電腦）在歷史的數(shù)據(jù)中去學(xué)習(xí)到一些數(shù)據(jù)分布的規(guī)則然后應(yīng)用到新的數(shù)據(jù)中，這樣新的數(shù)據(jù)來(lái)了我們就可以做一系列任務(wù)啦，比如銀行根據(jù)歷史數(shù)據(jù)得出來(lái)什么樣的人我會(huì)借給他多少錢(qián)，那么一個(gè)新來(lái)的同學(xué)來(lái)借錢(qián)，銀行就會(huì)得出一個(gè)明確值，借給他多少錢(qián)！機(jī)器學(xué)習(xí)的應(yīng)用已經(jīng)涉及到我們生活中的各個(gè)角落啦，隨著人工智能業(yè)的發(fā)展，相信機(jī)器學(xué)習(xí)的力量會(huì)使得我們生活的環(huán)境更上一層樓！

故事背景：今天要講的故事是咱們家喻戶曉的泰坦尼克號(hào)，那么咱們是要來(lái)回顧一下jack和rose的經(jīng)典動(dòng)作嗎？這些只是咱們故事的開(kāi)始，我們要做一件非常有意思的事情，去預(yù)測(cè)一下泰坦尼克號(hào)中，哪些成員能獲救。

挑選兵器：任務(wù)已經(jīng)明確下達(dá)，接下來(lái)的目的就是挑選幾個(gè)合適的兵器去進(jìn)行預(yù)測(cè)的工作啦，咱們的主線是使用Python，因?yàn)樵跀?shù)據(jù)分析與機(jī)器學(xué)習(xí)界Python已經(jīng)成為一哥啦！首先介紹下咱們的兵器譜!

Numpy-科學(xué)計(jì)算庫(kù)主要用來(lái)做矩陣運(yùn)算，什么？你不知道哪里會(huì)用到矩陣，那么這樣想吧，咱們的數(shù)據(jù)就是行（樣本）和列（特征）組成的，那么數(shù)據(jù)本身不就是一個(gè)矩陣嘛。
Pandas-數(shù)據(jù)分析處理庫(kù)很多小伙伴都在說(shuō)用python處理數(shù)據(jù)很容易，那么容易在哪呢？其實(shí)有了pandas很復(fù)雜的操作我們也可以一行代碼去解決掉！
Matplotlib-可視化庫(kù)無(wú)論是分析還是建模，光靠好記性可不行，很有必要把結(jié)果和過(guò)程可視化的展示出來(lái)。
Scikit-Learn-機(jī)器學(xué)習(xí)庫(kù)非常實(shí)用的機(jī)器學(xué)習(xí)算法庫(kù)，這里面包含了基本你覺(jué)得你能用上所有機(jī)器學(xué)習(xí)算法啦。但還遠(yuǎn)不止如此，還有很多預(yù)處理和評(píng)估的模塊等你來(lái)挖掘的！

數(shù)據(jù)簡(jiǎn)介：拿上這些趁手的兵器，我們趕緊干活吧，首先來(lái)看一下咱們的數(shù)據(jù)是長(zhǎng)什么樣子的！接下來(lái)我們就用這些武器來(lái)應(yīng)對(duì)問(wèn)題！

import pandas #ipython notebook
titanic = pandas.read_csv("titanic_train.csv")
titanic.head(5)

Pandas首先登場(chǎng)，我們用它來(lái)進(jìn)行數(shù)據(jù)處理和分析是灰常方便的，首先讀取了.csv文件，又顯示了它的前5行數(shù)據(jù)。來(lái)簡(jiǎn)單介紹一下數(shù)據(jù)中每一列都是什么意思。

PassengerId:一個(gè)乘客的ID號(hào)，這對(duì)我們來(lái)說(shuō)好像沒(méi)啥大用呢，獲不獲救跟ID貌似沒(méi)啥大關(guān)系，暫且不用它！
Survived:這個(gè)就很重要了，它就是咱們的標(biāo)簽（LABEL）標(biāo)志著這個(gè)人到底是獲救了，還是沒(méi)獲救。
Pclass:乘客的船艙等級(jí)，是貴族還是平民呢？有3個(gè)船艙的等級(jí)。
Name：乘客的姓名，老外的名字真長(zhǎng)啊~
Sex:只有二種~
Age:各個(gè)年齡段的都有的
SibSp:與該船員一起登船的兄弟姐妹個(gè)數(shù)
Parch:老人和孩子個(gè)數(shù)
Ticket:船票~貌似咱們用不上這個(gè)編碼
Fare:船票的價(jià)格，貴族票還是蠻貴的
Cabin:太多的缺失值了，直接給它pass掉不用了
Embarked：登船的碼頭，只有3個(gè)地點(diǎn)

titanic["Age"] = titanic["Age"].fillna(titanic["Age"].median())
print titanic.describe()

觀察可以發(fā)現(xiàn)，對(duì)于Age這一列來(lái)說(shuō)，只有714個(gè)值，而其他列都是891個(gè)值，這說(shuō)明了什么呢？粗大事了，有缺失值，那怎么辦呢？這可以用很多種方法啦，用均值，眾數(shù)，中位數(shù)都可以進(jìn)行填充嘛。在這里我們使用中位數(shù)來(lái)對(duì)缺失值進(jìn)行了填充。這個(gè)不是個(gè)別現(xiàn)象，對(duì)于一份真實(shí)的數(shù)據(jù)來(lái)說(shuō)，缺失值是灰常常見(jiàn)的現(xiàn)象！

print titanic["Sex"].unique()

# Replace all the occurences of male with the number 0.
titanic.loc[titanic["Sex"] == "male", "Sex"] = 0
titanic.loc[titanic["Sex"] == "female", "Sex"] = 1

['male' 'female']

再觀察一下數(shù)據(jù)，數(shù)據(jù)中很多列的屬性值都是字符型的，這對(duì)我們有什么影響呢？咱們?nèi)祟惪梢哉J(rèn)識(shí)這些male和female但是計(jì)算機(jī)就不認(rèn)識(shí)啦，它只認(rèn)識(shí)數(shù)值，所以我們需要把字符值轉(zhuǎn)換成數(shù)值類型的。

from sklearn import cross_validation
from sklearn.linear_model import LogisticRegression
# Initialize our algorithm
alg = LogisticRegression(random_state=1)
# Compute the accuracy score for all the cross validation folds.  (much simpler than what we did before!)
scores = cross_validation.cross_val_score(alg, titanic[predictors], titanic["Survived"], cv=3)
# Take the mean of the scores (because we have one for each fold)
print(scores.mean())

核武器登場(chǎng)啦，使用scikit-learn可以輕松建議一個(gè)機(jī)器學(xué)習(xí)模型，這里我們使用邏輯回歸（經(jīng)典的二分類）完成這個(gè)案例，首先還是先來(lái)介紹下邏輯回歸是什么吧！

假設(shè)現(xiàn)在有兩個(gè)特征，工資和年齡。我們要根據(jù)這兩個(gè)指標(biāo)來(lái)預(yù)測(cè)一下銀行會(huì)借給這個(gè)人多少錢(qián)。那么我們就可以建立出來(lái)這樣一個(gè)方程式！也就是說(shuō)要找到最合適的一組參數(shù)使得我們最終預(yù)測(cè)的值和真實(shí)值越接近越好！但是我們現(xiàn)在要做的是一個(gè)分類任務(wù)呀！也就是說(shuō)要得到一個(gè)類別值究竟是獲救了還是沒(méi)獲救，那么還需要往下再走一步。

這個(gè)函數(shù)可厲害了，我們來(lái)觀察一下，首先這個(gè)sigmoid函數(shù)的自變量取值范圍是負(fù)無(wú)窮到正無(wú)窮的，值域是在0到1區(qū)間上，那么也就是說(shuō)任何一個(gè)數(shù)值進(jìn)入sigmoid函數(shù)之后都會(huì)得到一個(gè)(0,1)區(qū)間上的值，相當(dāng)于是一個(gè)概率值了，那么我們就可以設(shè)置這樣一個(gè)閾值。比如一個(gè)概率值>0.5我們把它當(dāng)成1這個(gè)類別（獲救啦），概率值<0.5我們把它當(dāng)成0這個(gè)類別（很遺憾~）。在木有調(diào)節(jié)任何參數(shù)的情況下精度已經(jīng)接近百分之八十啦！

模型評(píng)估：剛才咱們說(shuō)了一下模型的精度，也就是指預(yù)測(cè)的結(jié)果和真實(shí)值之間有多少個(gè)是一致的，然后除以樣本的總個(gè)數(shù)。精度可不是唯一的衡量標(biāo)準(zhǔn)，在機(jī)器學(xué)習(xí)的世界，我們有很多的標(biāo)準(zhǔn)，比如我們要進(jìn)行一個(gè)檢測(cè)的任務(wù)，目的是檢測(cè)出所有病人中患癌癥的是哪幾個(gè)，這回就不能只用精度了而要考慮最終的目標(biāo)-檢測(cè)到癌癥病人，這回可以使用召回率（RECALL）來(lái)完成這個(gè)任務(wù)，也就是檢測(cè)到癌癥病人個(gè)數(shù)除以癌癥病人總個(gè)數(shù)，并不去計(jì)算正常病人我有木有檢測(cè)到，因?yàn)檫@并不是我的目標(biāo)！

特征選擇：現(xiàn)在我們要好好想一想啦，我們最終的預(yù)測(cè)結(jié)果的準(zhǔn)確程度和什么有關(guān)呢？一方面是我們選擇的機(jī)器學(xué)習(xí)模型另一方面還有我們輸入的特征數(shù)據(jù)呀，所以我們還得動(dòng)動(dòng)腦筋什么樣的特征更適合預(yù)測(cè)呢。腦洞大開(kāi)時(shí)間到啦，這回我們把一個(gè)成員的家庭數(shù)量也統(tǒng)計(jì)了出來(lái)，就是兄弟姐妹+老人孩子，還有名字的長(zhǎng)度（玄學(xué)）以及稱謂Mr,Miss,Master等。加入這些的目的就是讓我們的特征更豐富一些，要想模型建立的好，特征的選擇很關(guān)鍵，在起步階段我們需要盡可能多的提供有價(jià)值的特征。

建立好模型還木有結(jié)束呀，對(duì)于一個(gè)分析任務(wù)來(lái)說(shuō)，我們也需要知道這些特征對(duì)最后的結(jié)果產(chǎn)生了怎樣的影響，例如是性別對(duì)結(jié)果影響比較大還是年齡呢？這回我們也可以通過(guò)預(yù)測(cè)的結(jié)果和真實(shí)值之間進(jìn)行對(duì)比來(lái)分析一不同特征的重要程度！下圖中可以分析得出不同特征的重要程度的差異還是蠻大的，我們還可以進(jìn)行取舍以及進(jìn)一步分析啦！

使用Matplotlib來(lái)畫(huà)一個(gè)最簡(jiǎn)單的條形圖，只需指定條形位置以及柱的高度即可，要進(jìn)行可視化展示我們得長(zhǎng)和它打交道啦！

plt.bar(range(len(predictors)), scores)
plt.xticks(range(len(predictors)), predictors, rotation='vertical')
plt.show()

這樣咱們完成了一個(gè)灰常簡(jiǎn)單的預(yù)測(cè)任務(wù)，首先通過(guò)數(shù)據(jù)預(yù)處理把我們的數(shù)據(jù)做的純凈一些，然后把這些字符值轉(zhuǎn)換成機(jī)器認(rèn)識(shí)的數(shù)值，接下來(lái)讓機(jī)器通過(guò)這批歷史數(shù)據(jù)去學(xué)習(xí)一下什么樣的參數(shù)能夠最好的擬合咱們的數(shù)據(jù)，建立完模型后還需要不斷的反思如何調(diào)節(jié)參數(shù)能夠使得模型的效果更好以及給出一個(gè)合理的評(píng)估方法，最終輸出來(lái)一個(gè)預(yù)測(cè)結(jié)果就完成這個(gè)機(jī)器學(xué)習(xí)的任務(wù)啦！