近期，comSysto公司分享了該公司研發(fā)團(tuán)隊(duì)利用Spark平臺(tái)解決Kaggle競(jìng)賽問題的經(jīng)歷，為Spark等平臺(tái)應(yīng)用于數(shù)據(jù)科學(xué)領(lǐng)域提供了借鑒。

主辦方提供了一個(gè)包含5萬個(gè)匿名駕駛員線路的數(shù)據(jù)集，競(jìng)賽的目的是根據(jù)路線研發(fā)出一個(gè)駕駛類型的算法類簽名，來表征駕駛員的特征。例如，駕駛員是否長(zhǎng)距離駕駛？短距離駕駛？高速駕駛？回頭路？是否從某些站點(diǎn)急劇加速？是否高速轉(zhuǎn)彎？所有這些問題的答案形成了表征駕駛員特征的獨(dú)特標(biāo)簽。

面對(duì)此挑戰(zhàn)，comSysto公司的團(tuán)隊(duì)想到了涵蓋批處理、流數(shù)據(jù)、機(jī)器學(xué)習(xí)、圖處理、SQL查詢以及交互式定制分析等多種處理模型的Spark平臺(tái)。他們正好以此挑戰(zhàn)賽為契機(jī)來增強(qiáng)Spark方面的經(jīng)驗(yàn)。接下來，本文就從數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和結(jié)果等三個(gè)方面介紹comSysto團(tuán)隊(duì)解決以上問題的過程。

數(shù)據(jù)分析

作為解決問題的第一個(gè)步驟，數(shù)據(jù)分析起著非常關(guān)鍵的作用。然而，出乎comSysto公司團(tuán)隊(duì)意料的是，競(jìng)賽提供的原始數(shù)據(jù)非常簡(jiǎn)單。該數(shù)據(jù)集只包含了線路的若干匿名坐標(biāo)對(duì)(x,y)，如(1.3,4.4)、(2.1,4.8)和(2.9,5.2)等。如下圖所示，駕駛員會(huì)在每條線路中出發(fā)并返回到原點(diǎn)(0,0)，然后從原點(diǎn)挑選隨機(jī)方向再出發(fā)，形成多個(gè)折返的路線。

拿到數(shù)據(jù)后，comSysto公司的團(tuán)隊(duì)有些氣餒：只看坐標(biāo)很難表征一個(gè)駕駛員吧？！

信息指紋的定義

因此，在原始數(shù)據(jù)如此簡(jiǎn)單的情況，該團(tuán)隊(duì)面臨的一個(gè)問題就是如何將坐標(biāo)信息轉(zhuǎn)換為有用的機(jī)器學(xué)習(xí)數(shù)據(jù)。經(jīng)過認(rèn)證思考，其采用了建立信息指紋庫的方法，來搜集每一個(gè)駕駛員有意義和特殊的特征。為了獲得信息指紋，團(tuán)隊(duì)首先定義了一系列特征：

距離：所有相鄰兩個(gè)坐標(biāo)歐氏距離的總和。

絕對(duì)距離：起點(diǎn)和終點(diǎn)的歐氏距離。

線路中停頓的總時(shí)間：駕駛員停頓的總時(shí)間。

線路總時(shí)間：某個(gè)特定線路的表項(xiàng)個(gè)數(shù)（如果假設(shè)線路的坐標(biāo)值為每秒鐘記錄的數(shù)值，路線中表項(xiàng)的個(gè)數(shù)就是線路的總秒數(shù)）。

速度：某個(gè)點(diǎn)的速度定義為該點(diǎn)和前一個(gè)點(diǎn)之間的歐氏距離。假設(shè)坐標(biāo)單位為米、坐標(biāo)之間的記錄時(shí)間間隔為1秒，該定義所給出的速度單位就為m/s。然而，本次分析中，速度主要用于對(duì)比不同點(diǎn)或者不同駕駛員。只要速度的單位相同即可，并不追求其絕對(duì)值。對(duì)于加速、減速和向心加速度，該說明同樣成立。

加速度：加速時(shí)，該點(diǎn)和前一點(diǎn)速度的差值

減速度：減速時(shí)，該點(diǎn)和前一點(diǎn)速度的差值

向心加速度：

其中，v為速度、r為曲線路徑所形成圓的半徑。半徑計(jì)算需要用到當(dāng)前點(diǎn)、之前和之后的若干個(gè)點(diǎn)的坐標(biāo)信息。而，向心加速度是對(duì)駕駛員高速駕駛風(fēng)格的體現(xiàn)：該值越大表明轉(zhuǎn)彎的速度越快。

一個(gè)駕駛員所有線路的上述特征組成了其簡(jiǎn)歷（信息指紋）。根據(jù)經(jīng)驗(yàn)，城市道路和高速道路上的平均速度是不同的。因此，一個(gè)駕駛員在所有線路上的平均速度并沒有很多意義。ecoSysto選擇了城市道路、長(zhǎng)距離高速道路和鄉(xiāng)村道路等不同路線類型的平均速度和最大速度作為了研究對(duì)象。

數(shù)據(jù)統(tǒng)計(jì)：根據(jù)統(tǒng)計(jì)，本次競(jìng)賽的數(shù)據(jù)集中共包含了2700個(gè)駕駛員，共54000個(gè)線路的信息。所有的線路共包含3.6億個(gè)X/Y坐標(biāo)——以每秒記錄一個(gè)坐標(biāo)來算，共包含10萬個(gè)小時(shí)的線路數(shù)據(jù)。

機(jī)器學(xué)習(xí)

在初步的數(shù)據(jù)準(zhǔn)備和特征提取后，ecoSysto團(tuán)隊(duì)開始選擇和測(cè)試用于預(yù)測(cè)駕駛員行為的機(jī)器學(xué)習(xí)模型。

聚類

機(jī)器學(xué)習(xí)的第一步就是把路線進(jìn)行分類——ecoSysto團(tuán)隊(duì)選擇k-means算法來對(duì)路線類型進(jìn)行自動(dòng)分類。這些類別根據(jù)所有駕駛員的所有路線推導(dǎo)得到，并不針對(duì)單個(gè)駕駛員。在拿到聚類結(jié)果后，ecoSysto團(tuán)隊(duì)的第一感覺就是，提取出的特征和計(jì)算得到的分類與路線長(zhǎng)度相關(guān)。這表明，他們能夠作為路線類型的一個(gè)指針。最終，根據(jù)交叉驗(yàn)證結(jié)果，他們選擇了8種類型——每條路線指定了一種類型的ID，用于進(jìn)一步分析。

預(yù)測(cè)

對(duì)于駕駛員行為預(yù)測(cè)，ecoSysto團(tuán)隊(duì)選擇一個(gè)隨機(jī)森林（random forest）算法來訓(xùn)練預(yù)測(cè)模型。該模型用于計(jì)算某個(gè)特定駕駛員完成給定路線的概率。首先，團(tuán)隊(duì)采用下述方法建立了一個(gè)訓(xùn)練集：選擇一個(gè)駕駛員的約200條路線（標(biāo)為“1”——匹配），再加隨機(jī)選擇的其他駕駛員的約200條路線（標(biāo)為“0”——不匹配）。然后，這些數(shù)據(jù)集放入到隨機(jī)森林訓(xùn)練算法中，產(chǎn)生每個(gè)駕駛員的隨機(jī)森林模型。之后，該模型進(jìn)行交叉驗(yàn)證，并最終產(chǎn)生Kaggle競(jìng)賽的提交數(shù)據(jù)。根據(jù)交叉驗(yàn)證的結(jié)果，ecoSysto團(tuán)隊(duì)選擇了10棵樹和最大深度12作為隨機(jī)森林模型的參數(shù)。有關(guān)更多Spark機(jī)器學(xué)習(xí)庫（MLib）中用于預(yù)測(cè)的集成學(xué)習(xí)算法的對(duì)比可參考Databrick的博客。

流水線

ecoSysto團(tuán)隊(duì)的工作流劃分為了若干用Java應(yīng)用實(shí)現(xiàn)的獨(dú)立步驟。這些步驟可以通過“spark-submit”命令字節(jié)提交給Spark執(zhí)行。流水線以Hadoop SequenceFile作為輸入，以CSV文件作為輸出。流水線主要包含下列步驟：

轉(zhuǎn)換原始輸入文件：將原有的55萬個(gè)小的CSV文件轉(zhuǎn)換為一個(gè)單獨(dú)的Hadoop SequenceFile。

提取特征并計(jì)算統(tǒng)計(jì)數(shù)字：利用以上描述的定義計(jì)算特征值，并利用Spark RDD變換API計(jì)算平均值和方差等統(tǒng)計(jì)數(shù)字，寫入到一個(gè)CSV文件中。

計(jì)算聚類結(jié)果：利用以上特征和統(tǒng)計(jì)值以及Spark MLlib的API來對(duì)路線進(jìn)行分類。

隨機(jī)森林訓(xùn)練：選取maxDepth和crossValidation等配置參數(shù)，結(jié)合每條線路的特征，開始隨機(jī)森林模型的訓(xùn)練。對(duì)于實(shí)際Kaggle提交的數(shù)據(jù)，ecoSysto團(tuán)隊(duì)只是加載了串行化的模型，并預(yù)測(cè)每條線路屬于駕駛員的概率，并將其以CSV格式保存在文件中。

結(jié)果

最終，ecoSysto團(tuán)隊(duì)的預(yù)測(cè)模型以74%的精度位列Kaggle排行榜的670位。該團(tuán)隊(duì)表示，對(duì)于只花2天之間就完成的模型而言，其精度尚在可接受范圍內(nèi)。如果再花費(fèi)一定的時(shí)間，模型精度肯定可以有所改進(jìn)。但是，該過程證明了高性能分布式計(jì)算平臺(tái)可用于解決實(shí)際的機(jī)器學(xué)習(xí)問題。