用Python進(jìn)行機(jī)器學(xué)習(xí)小案例

本文是用Python編程語言來進(jìn)行機(jī)器學(xué)習(xí)小實(shí)驗(yàn)的第一篇。主要內(nèi)容如下：

讀入數(shù)據(jù)并清洗數(shù)據(jù)

探索理解輸入數(shù)據(jù)的特點(diǎn)

分析如何為學(xué)習(xí)算法呈現(xiàn)數(shù)據(jù)

選擇正確的模型和學(xué)習(xí)算法

評(píng)估程序表現(xiàn)的準(zhǔn)確性

讀入數(shù)據(jù) Reading the data

當(dāng)讀入數(shù)據(jù)時(shí)，你將面臨處理無效或丟失數(shù)據(jù)的問題，好的處理方式相比于精確的科學(xué)來說，更像是一種藝術(shù)。因?yàn)檫@部分處理適當(dāng)可以適用于更多的機(jī)器學(xué)習(xí)算法并因此提高成功的概率。

用NumPy有效地咀嚼數(shù)據(jù)，用SciPy智能地吸收數(shù)據(jù)

Python是一個(gè)高度優(yōu)化的解釋性語言，在處理數(shù)值繁重的算法方面要比C等語言慢很多，那為什么依然有很多科學(xué)家和公司在計(jì)算密集的領(lǐng)域?qū)①€注下在Python上呢？因?yàn)镻ython可以很容易地將數(shù)值計(jì)算任務(wù)分配給C或Fortran這些底層擴(kuò)展。其中NumPy和SciPy就是其中代表。NumPy提供了很多有效的數(shù)據(jù)結(jié)構(gòu)，比如array，而SciPy提供了很多算法來處理這些arrays。無論是矩陣操作、線性代數(shù)、最優(yōu)化問題、聚類，甚至快速傅里葉變換，該工具箱都可以滿足需求。

讀入數(shù)據(jù)操作

這里我們以網(wǎng)頁點(diǎn)擊數(shù)據(jù)為例，第一維屬性是小時(shí)，第二維數(shù)據(jù)是點(diǎn)擊個(gè)數(shù)。

importscipyasspdata= sp.genfromtxt('web_traffic.tsv',delimiter='\t')

預(yù)處理和清洗數(shù)據(jù)

當(dāng)你準(zhǔn)備好了你的數(shù)據(jù)結(jié)構(gòu)用于存儲(chǔ)處理數(shù)據(jù)后，你可能需要更多的數(shù)據(jù)來確保預(yù)測(cè)活動(dòng)，或者擁有了很多數(shù)據(jù)，你需要去思考如何更好的進(jìn)行數(shù)據(jù)采樣。在將原始數(shù)據(jù)（rawdata）進(jìn)行訓(xùn)練之前，對(duì)數(shù)據(jù)進(jìn)行提煉可以起到很好的作用，有時(shí)，一個(gè)用提煉的數(shù)據(jù)的簡(jiǎn)單的算法要比使用原始數(shù)據(jù)的高級(jí)算法的表現(xiàn)效果要好。這個(gè)工作流程被稱作特征工程（feature engineering）。Creative and intelligent that you are, you will immediately see the results。

由于數(shù)據(jù)集中可能還有無效數(shù)值（nan），我們可以事先看一下無效值的個(gè)數(shù)：

hours=data[:,0]hits=data[:,1]sp.sum(sp.isnan(hits))

用下面的方法將其過濾掉：

#cleaning the datahours= hours[~sp.isnan(hits)]hits= hits[~sp.isnan(hits)]

為了將數(shù)據(jù)給出一個(gè)直觀的認(rèn)識(shí)，用Matplotlib的pyplot包來將數(shù)據(jù)呈現(xiàn)出來。

importmatplotlib.pyplotaspltplt.scatter(hours,hits)plt.title("Web traffic over the last month")plt.xlabel("Time")plt.ylabel("Hits/hour")plt.xticks([w*7*24for w in range(10)], ['week %i'%w for w in range(10)])plt.autoscale(tight=True)plt.grid()plt.show()

其顯示效果如下：

選擇合適的學(xué)習(xí)算法

選擇一個(gè)好的學(xué)習(xí)算法并不是從你的工具箱中的三四個(gè)算法中挑選這么簡(jiǎn)單，實(shí)際上有更多的算法你可能沒有見過。所以這是一個(gè)權(quán)衡不同的性能和功能需求的深思熟慮的過程，比如執(zhí)行速度和準(zhǔn)確率的權(quán)衡，,可擴(kuò)展性和易用性的平衡。

現(xiàn)在，我們已經(jīng)對(duì)數(shù)據(jù)有了一個(gè)直觀的認(rèn)識(shí)，我們接下來要做的是找到一個(gè)真實(shí)的模型，并且能推斷未來的數(shù)據(jù)走勢(shì)。

用逼近誤差（approximation error）來選擇模型

在很多模型中選擇一個(gè)正確的模型，我們需要用逼近誤差來衡量模型預(yù)測(cè)性能，并用來選擇模型。這里，我們用預(yù)測(cè)值和真實(shí)值差值的平方來定義度量誤差：

deferror(f, x, y):   returnsp.sum((f(x)-y)**2)

其中f表示預(yù)測(cè)函數(shù)。

用簡(jiǎn)單直線來擬合數(shù)據(jù)

我們現(xiàn)在假設(shè)該數(shù)據(jù)的隱含模型是一條直線，那么我們還如何去擬合這些數(shù)據(jù)來使得逼近誤差最小呢？SciPy的polyfit()函數(shù)可以解決這個(gè)問題，給出x和y軸的數(shù)據(jù)，還有參數(shù)order（直線的order是1），該函數(shù)給出最小化逼近誤差的模型的參數(shù)。

fp1, residuals, rank,sv, rcond =sp.polyfit(hours, hits,1, full=True)

fp1是polyfit函數(shù)返回模型參數(shù)，對(duì)于直線來說，它是直線的斜率和截距。

如果polyfit的參數(shù)full為True的話，將得到擬合過程中更多有用的信息，這里只有residuals是我們感興趣的，它正是該擬合直線的逼近誤差。

然后將該線在圖中畫出來：

#fit straightlinemodel fp1, residuals, rank,sv, rcond =sp.polyfit(hours, hits,1, full=True) fStraight =sp.poly1d(fp1) #draw fitting straightlinefx =sp.linspace(0,hours[-1],1000) # generateX-valuesforplotting plt.plot(fx, fStraight(fx), linewidth=4) plt.legend(["d=%i"% fStraight.order],loc="upper left")

用更高階的曲線來擬合數(shù)據(jù)

用直線的擬合是不是很好呢？用直線擬合的誤差是317,389,767.34，這說明我們的預(yù)測(cè)結(jié)果是好還是壞呢？我們不妨用更高階的曲線來擬合數(shù)據(jù)，看是不是能得到更好的效果。

fCurve3p =sp.polyfit(hours, hits,3) fCurve3 =sp.poly1d(fCurve3p)print"Error of Curve3 line:",error(fCurve3,hours,hits) fCurve10p =sp.polyfit(hours, hits,10) fCurve10 =sp.poly1d(fCurve10p)print"Error of Curve10 line:",error(fCurve10,hours,hits) fCurve50p =sp.polyfit(hours, hits,50) fCurve50 =sp.poly1d(fCurve50p)print"Error of Curve50 line:",error(fCurve50,hours,hits)

其逼近誤差為：

Error of straight line: 317389767.34

Error of Curve2 line: 179983507.878

Error of Curve3 line: 139350144.032

Error of Curve10 line: 121942326.364

Error of Curve50 line: 109504587.153

這里我們進(jìn)一步看一下實(shí)驗(yàn)結(jié)果，看看我們的預(yù)測(cè)曲線是不是很好的擬合數(shù)據(jù)了呢？尤其是看一下多項(xiàng)式的階數(shù)從10到50的過程中，模型與數(shù)據(jù)貼合太緊，這樣模型不但是去擬合數(shù)據(jù)背后的模型，還去擬合了噪聲數(shù)據(jù)，導(dǎo)致曲線震蕩劇烈，這種現(xiàn)象叫做過擬合。

小結(jié)

從上面的小實(shí)驗(yàn)中，我們可以看出，如果是直線擬合的話就太簡(jiǎn)單了，但多項(xiàng)式的階數(shù)從10到50的擬合又太過了，那么是不是2、3階的多項(xiàng)式就是最好的答案呢？但我們同時(shí)發(fā)現(xiàn)，如果我們以它們作為預(yù)測(cè)的話，那它們又會(huì)無限制增長(zhǎng)下去。所以，我們最后反省一下，看來我們還是沒有真正地理解數(shù)據(jù)。

衡量性能指標(biāo)

作為一個(gè)ML的初學(xué)者，在衡量學(xué)習(xí)器性能方面會(huì)遇到很多問題或錯(cuò)誤。如果是拿你的訓(xùn)練數(shù)據(jù)來進(jìn)行測(cè)試的話，這可能是一個(gè)很簡(jiǎn)單的問題；而當(dāng)你遇到的不平衡的訓(xùn)練數(shù)據(jù)時(shí)，數(shù)據(jù)就決定了預(yù)測(cè)的成功與否。

回看數(shù)據(jù)

我們?cè)僮屑?xì)分析一下數(shù)據(jù)，看一下再week3到week4之間，好像是有一個(gè)明顯的拐點(diǎn)，所以我們把week3.5之后的數(shù)據(jù)分離出來，訓(xùn)練一條新的曲線。

inflection=3.5*7*24#the time of week3.5is an inflectiontime1= hours[:inflection]value1= hits[:inflection]time2= hours[inflection:]value2= hits[inflection:]fStraight1p= sp.polyfit(time1,value1,1)fStraight1= sp.poly1d(fStraight1p)fStraight2p= sp.polyfit(time2,value2,1)fStraight2= sp.poly1d(fStraight2p)

顯然，這兩條直線更好的描述了數(shù)據(jù)的特征，雖然其逼近誤差還是比那些高階多項(xiàng)式曲線的誤差要大，但是這種方式的擬合可以更好的獲取數(shù)據(jù)的發(fā)展趨勢(shì)。相對(duì)于高階多項(xiàng)式曲線的過擬合現(xiàn)象，對(duì)于低階的曲線，由于沒有很好的描述數(shù)據(jù)，而導(dǎo)致欠擬合的情形。所以為了更好的描述數(shù)據(jù)特征，使用2階曲線來擬合數(shù)據(jù)，來避免過擬合和欠擬合現(xiàn)象的發(fā)生。

訓(xùn)練與測(cè)試

我們訓(xùn)練得到了一個(gè)模型，這里就是我們擬合的兩個(gè)曲線。為了驗(yàn)證我們訓(xùn)練的模型是否準(zhǔn)確，我們可以在最初訓(xùn)練時(shí)將一部分訓(xùn)練數(shù)據(jù)拿出來，當(dāng)做測(cè)試數(shù)據(jù)來使用，而不僅僅通過逼近誤差來判別模型好壞。

總結(jié)

這一小節(jié)作為機(jī)器學(xué)習(xí)小實(shí)驗(yàn)的引入，主要傳遞兩點(diǎn)意思：

1、要訓(xùn)練一個(gè)學(xué)習(xí)器，必須理解和提煉數(shù)據(jù)，將注意力從算法轉(zhuǎn)移到數(shù)據(jù)上

2、學(xué)習(xí)如何進(jìn)行機(jī)器學(xué)習(xí)實(shí)驗(yàn)，不要混淆訓(xùn)練和測(cè)試數(shù)據(jù)