將大數(shù)據(jù)分析從理念運(yùn)用到生產(chǎn)_數(shù)據(jù)分析師

GraphLab提供了一個(gè)完整的平臺(tái)，讓機(jī)構(gòu)可以使用可擴(kuò)展的機(jī)器學(xué)習(xí)系統(tǒng)建立大數(shù)據(jù)以分析產(chǎn)品，該公司客戶包括Zillow、Adobe、Zynga、Pandora、Bosch、ExxonMobil等，它們從別的應(yīng)用程序或者服務(wù)中抓取數(shù)據(jù)，通過(guò)推薦系統(tǒng)、欺詐監(jiān)測(cè)系統(tǒng)、情感及社交網(wǎng)絡(luò)分析系統(tǒng)等系統(tǒng)模式將大數(shù)據(jù)理念轉(zhuǎn)換為生產(chǎn)環(huán)境下可以使用的預(yù)測(cè)應(yīng)用程序。

Carlos Guestrin是GraphLab的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，同時(shí)也是華盛頓大學(xué)的機(jī)器學(xué)習(xí)的Amazon Professor。作為機(jī)器學(xué)習(xí)界國(guó)際公認(rèn)的引領(lǐng)者，Carlos獲得過(guò)多項(xiàng)殊榮——被Popular Science雜志評(píng)為2008年 “Brilliant 10”，憑借AI領(lǐng)域的卓越貢獻(xiàn)獲得IJCAI Computers and Thought Award，同時(shí)他也是美國(guó)青年科學(xué)家總統(tǒng)獎(jiǎng)獲得人。

本文基于GraphLab首席執(zhí)行官Carlos Guestrin關(guān)于AWS服務(wù)的QA內(nèi)容撰寫的。

Q：機(jī)器學(xué)習(xí)是什么？在過(guò)去10年又獲得了什么樣的發(fā)展？

Carlos Guestrin：機(jī)器學(xué)習(xí)是一種科學(xué)，它設(shè)想計(jì)算機(jī)可以通過(guò)大量的數(shù)據(jù)閱讀從模型中學(xué)習(xí)，并將學(xué)到的知識(shí)作為基礎(chǔ)，自動(dòng)地進(jìn)行準(zhǔn)確的預(yù)測(cè)和決策制定。在過(guò)去10年中，我們可以看到機(jī)器學(xué)習(xí)已經(jīng)在無(wú)人汽車駕駛、在線商店喜好產(chǎn)品推薦、營(yíng)銷定位、信用卡防欺詐等領(lǐng)域得到使用。鑒于其可以將“大數(shù)據(jù)”轉(zhuǎn)化為改善生產(chǎn)生活的洞察力，多樣化和大體積的數(shù)據(jù)讓機(jī)器學(xué)習(xí)成為一個(gè)熱門的投資方向。

Q：你可以分享GraphLab成立背后的故事嗎？為什么會(huì)開(kāi)始這樣一個(gè)業(yè)務(wù)？

Carlos Guestrin：GraphLab原型誕生在2008年卡耐基梅隆大學(xué)，在我的引領(lǐng)下，與我的兩個(gè)學(xué)生一起創(chuàng)辦，他們分別是博士和博士后。在這之前，團(tuán)隊(duì)一直致力于先進(jìn)圖分析應(yīng)用程序的研究。為了完成某些目標(biāo)，他們需要建立具備更高擴(kuò)展性的工具。這些工具一經(jīng)建立就得到了眾多關(guān)注，當(dāng)時(shí)一個(gè)簡(jiǎn)單的研討會(huì)甚至吸引了300余人參與，是預(yù)期的十倍。這一結(jié)果顯示，這個(gè)市場(chǎng)擁有龐大的需求，同時(shí)也證明了平臺(tái)設(shè)計(jì)的優(yōu)越性。當(dāng)時(shí)，團(tuán)隊(duì)完美地利用了EC2的能力，在圖分析、異步通信取得了顛覆性進(jìn)展，與同類圖分析系統(tǒng)對(duì)比中擁有數(shù)量級(jí)的性能優(yōu)勢(shì)。

到2012年，我和妻子（同樣是計(jì)算機(jī)科學(xué)教授）正在考慮一個(gè)新的工作。在Jeff Bezos游說(shuō)我們?nèi)トA盛頓大學(xué)的同時(shí)，Amazon創(chuàng)始人及董事長(zhǎng)約見(jiàn)了我們夫婦，并確定兩個(gè)華盛頓大學(xué)機(jī)器學(xué)習(xí)Amazon Professor的職位。隨后我們轉(zhuǎn)移到PNW，也遇見(jiàn)了一些有才華并且想在新興大數(shù)據(jù)分析領(lǐng)域大展拳腳的學(xué)生。在Madrona Ventures和NEA的資金支持下，GraphLab公司在一年后的2014年3月正式誕生，并以測(cè)試版的形式推出了第一個(gè)商業(yè)版CreateTM。

Q：能否談?wù)凣raphLab的創(chuàng)建，以及它如何簡(jiǎn)化大數(shù)據(jù)分析？

Carlos Guestrin：當(dāng)下，將原始數(shù)據(jù)轉(zhuǎn)化為洞察力，并建立一個(gè)預(yù)測(cè)應(yīng)用程序仍然是極具挑戰(zhàn)并且復(fù)雜的，它需要數(shù)據(jù)科學(xué)家或同樣知識(shí)淵博的軟件工程師來(lái)完成。同時(shí)，必不可少的是，完成這個(gè)工作還需要大量復(fù)雜的工具，用以收集、清洗、建模、分析并將結(jié)果對(duì)商店或者應(yīng)用程序進(jìn)行展示。許多情況下，生產(chǎn)環(huán)境下的原型代碼實(shí)現(xiàn)是個(gè)漫長(zhǎng)及昂貴的過(guò)程。這樣一來(lái)，許多沒(méi)有編程經(jīng)驗(yàn)的數(shù)據(jù)科學(xué)家將毫無(wú)用武之地，同時(shí)，機(jī)構(gòu)也很難從他們的數(shù)據(jù)中提取價(jià)值。

應(yīng)運(yùn)而生的是，GraphLab提供了一個(gè)這樣的平臺(tái)，讓毫無(wú)編程經(jīng)驗(yàn)的數(shù)據(jù)科學(xué)家可以快速地將理念轉(zhuǎn)化為生產(chǎn)環(huán)境可以使用的產(chǎn)品。通過(guò)大量GraphLab用戶了解到，GraphLab Create可以幫助他們快速的提高生產(chǎn)力，并且在不需要太多編程經(jīng)驗(yàn)和人力的情況下快速交付價(jià)值。

Q：它是否支持部署在AWS的預(yù)測(cè)應(yīng)用程序？

Carlos Guestrin：原始數(shù)據(jù)到業(yè)務(wù)轉(zhuǎn)化預(yù)測(cè)分析的過(guò)程往往起始于一個(gè)數(shù)據(jù)科學(xué)家、一臺(tái)筆記本及一個(gè)必須在大規(guī)模測(cè)試下驗(yàn)證關(guān)鍵概念的原型。這個(gè)過(guò)程可能因?yàn)锳WS非常易于擴(kuò)展而縮短，但是對(duì)于許多數(shù)據(jù)科學(xué)家來(lái)說(shuō)，將原型進(jìn)行生產(chǎn)環(huán)境的代碼重實(shí)現(xiàn)仍然非常困難。

這就給GraphLab帶來(lái)了機(jī)會(huì)。GraphLab Create可以在全AWS環(huán)境下運(yùn)行。只需要修改一行代碼，數(shù)據(jù)科學(xué)家就可以將他們筆記本上基于GraphLab建立的原型遷移到AWS中。任何大小的數(shù)據(jù)集及模型都可以從Amazon S3加載和訪問(wèn)，同時(shí)GraphLab還提供了跨AWS集群的部署、監(jiān)測(cè)、數(shù)據(jù)管道優(yōu)化及預(yù)測(cè)服務(wù)。

Q：可以分享一些常見(jiàn)用例嗎？人們是怎么使用GraphLab Create的？

Carlos Guestrin：常見(jiàn)GraphLab Create使用覆蓋了各種領(lǐng)域：

零售業(yè)：推薦系統(tǒng)和價(jià)格預(yù)測(cè)（比如機(jī)票）

金融服務(wù)：通過(guò)行為和交易分析預(yù)防欺詐

生物醫(yī)學(xué)：通過(guò)醫(yī)療記錄分析預(yù)報(bào)疾病，定制化藥物設(shè)計(jì)

通信領(lǐng)域：預(yù)報(bào)客戶流失

社交網(wǎng)絡(luò)分析：識(shí)別關(guān)鍵網(wǎng)絡(luò)和社區(qū)影響者

市場(chǎng)和媒體：情緒分析，目標(biāo)鎖定

Q：預(yù)測(cè)應(yīng)用程序是不是只有企業(yè)在使用？

Carlos Guestrin：完全錯(cuò)誤。州政府和地方政府使用GraphLab來(lái)分析市民情緒以及判斷哪個(gè)區(qū)域的地方基礎(chǔ)設(shè)施需要及時(shí)關(guān)注；生物醫(yī)學(xué)研究團(tuán)隊(duì)使用GraphLab分析臨床記錄來(lái)預(yù)測(cè)病人的病情發(fā)展趨勢(shì)；各種類型的傳感器網(wǎng)絡(luò)使用GraphLab獲得有價(jià)值的數(shù)據(jù)以幫助提升航空和鐵路運(yùn)輸安全。通常情況下，政府、科研機(jī)構(gòu)、保健和服務(wù)提供者都期望通過(guò)有效的數(shù)據(jù)利用來(lái)提高運(yùn)行效率。

Q：那么，早期的公司是否需要重點(diǎn)對(duì)待數(shù)據(jù)科學(xué)？創(chuàng)業(yè)公司需要在什么階段開(kāi)始關(guān)注大數(shù)據(jù)？

Carlos Guestrin：對(duì)于任何規(guī)模的公司來(lái)說(shuō)，數(shù)據(jù)科學(xué)及數(shù)據(jù)驅(qū)動(dòng)決策都有著非常重要的意義。大型公司不能只止步于歷史記錄分析，他們需要讓陳舊的客戶推薦系統(tǒng)高效起來(lái)，利用包括實(shí)時(shí)分析的領(lǐng)先預(yù)測(cè)技術(shù)。調(diào)查及評(píng)論字段的文本和情感分析可以幫助了解用戶情緒，從而減少意外發(fā)生。同樣的，剛起步的公司擁有基于數(shù)據(jù)分析的業(yè)務(wù)模型同樣非常重要，尤其有益于銷售、市場(chǎng)、媒體、廣告等領(lǐng)域。當(dāng)下，還存在一些以數(shù)據(jù)科學(xué)為核心的創(chuàng)業(yè)公司，他們?yōu)槟硞€(gè)特殊垂直領(lǐng)域或應(yīng)用建立高度專業(yè)化的定制服務(wù)，比如分析在醫(yī)療保健上的浪費(fèi)、供應(yīng)鏈優(yōu)化以及保險(xiǎn)索賠。

所有這些公司，不管規(guī)模大小，他們都有著共同的特點(diǎn)，那就是擁有大量的數(shù)據(jù)，但是缺少數(shù)據(jù)科學(xué)資源以及計(jì)算能力。這些正是AWS和GraphLab聯(lián)合提供的優(yōu)勢(shì)，通過(guò)移除擴(kuò)展瓶頸，大數(shù)據(jù)已經(jīng)從炒作過(guò)渡到真正投入生產(chǎn)階段。

Q：十年后，你眼中的機(jī)器學(xué)習(xí)會(huì)對(duì)大數(shù)據(jù)有什么樣的推進(jìn)？

Carlos Guestrin：十年后，對(duì)比當(dāng)下數(shù)據(jù)科學(xué)家和富有經(jīng)驗(yàn)的工程師，機(jī)器學(xué)習(xí)將掌握在更多人手中，他們將提供比現(xiàn)在更多的生產(chǎn)力。比如，業(yè)務(wù)分析人員和業(yè)務(wù)線擁有者將更依賴預(yù)測(cè)服務(wù)提供的實(shí)時(shí)利潤(rùn)前景預(yù)測(cè)，政府、醫(yī)療、私營(yíng)部門的服務(wù)提供者將可以根據(jù)需求定制化產(chǎn)品。同時(shí)，對(duì)于非技術(shù)人們來(lái)說(shuō)，機(jī)器學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)決策帶來(lái)的獨(dú)立價(jià)值提升將被人們公認(rèn)。

Q：GraphLab的下一個(gè)舉措是什么？

Carlos Guestrin：GraphLab正走在大眾化機(jī)器學(xué)習(xí)的路上，旨在實(shí)現(xiàn)上文所述“全民都可以機(jī)器學(xué)習(xí)”的愿景。就眼前來(lái)說(shuō)，我們正在致力于旗艦產(chǎn)品1.0版本的打造，GraphLab Create將在10月15日全面可用。首次發(fā)行后，我們會(huì)將機(jī)器學(xué)習(xí)能力交付到所有機(jī)構(gòu)。同時(shí)，我們也將看到更多的大數(shù)據(jù)需求得以實(shí)現(xiàn)。