將大數(shù)據(jù)分析從理念運用到生產(chǎn)_數(shù)據(jù)分析師

GraphLab提供了一個完整的平臺，讓機構(gòu)可以使用可擴展的機器學習系統(tǒng)建立大數(shù)據(jù)以分析產(chǎn)品，該公司客戶包括Zillow、Adobe、Zynga、Pandora、Bosch、ExxonMobil等，它們從別的應(yīng)用程序或者服務(wù)中抓取數(shù)據(jù)，通過推薦系統(tǒng)、欺詐監(jiān)測系統(tǒng)、情感及社交網(wǎng)絡(luò)分析系統(tǒng)等系統(tǒng)模式將大數(shù)據(jù)理念轉(zhuǎn)換為生產(chǎn)環(huán)境下可以使用的預(yù)測應(yīng)用程序。

Carlos Guestrin是GraphLab的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，同時也是華盛頓大學的機器學習的Amazon Professor。作為機器學習界國際公認的引領(lǐng)者，Carlos獲得過多項殊榮——被Popular Science雜志評為2008年 “Brilliant 10”，憑借AI領(lǐng)域的卓越貢獻獲得IJCAI Computers and Thought Award，同時他也是美國青年科學家總統(tǒng)獎獲得人。

本文基于GraphLab首席執(zhí)行官Carlos Guestrin關(guān)于AWS服務(wù)的QA內(nèi)容撰寫的。

Q：機器學習是什么？在過去10年又獲得了什么樣的發(fā)展？

Carlos Guestrin：機器學習是一種科學，它設(shè)想計算機可以通過大量的數(shù)據(jù)閱讀從模型中學習，并將學到的知識作為基礎(chǔ)，自動地進行準確的預(yù)測和決策制定。在過去10年中，我們可以看到機器學習已經(jīng)在無人汽車駕駛、在線商店喜好產(chǎn)品推薦、營銷定位、信用卡防欺詐等領(lǐng)域得到使用。鑒于其可以將“大數(shù)據(jù)”轉(zhuǎn)化為改善生產(chǎn)生活的洞察力，多樣化和大體積的數(shù)據(jù)讓機器學習成為一個熱門的投資方向。

Q：你可以分享GraphLab成立背后的故事嗎？為什么會開始這樣一個業(yè)務(wù)？

Carlos Guestrin：GraphLab原型誕生在2008年卡耐基梅隆大學，在我的引領(lǐng)下，與我的兩個學生一起創(chuàng)辦，他們分別是博士和博士后。在這之前，團隊一直致力于先進圖分析應(yīng)用程序的研究。為了完成某些目標，他們需要建立具備更高擴展性的工具。這些工具一經(jīng)建立就得到了眾多關(guān)注，當時一個簡單的研討會甚至吸引了300余人參與，是預(yù)期的十倍。這一結(jié)果顯示，這個市場擁有龐大的需求，同時也證明了平臺設(shè)計的優(yōu)越性。當時，團隊完美地利用了EC2的能力，在圖分析、異步通信取得了顛覆性進展，與同類圖分析系統(tǒng)對比中擁有數(shù)量級的性能優(yōu)勢。

到2012年，我和妻子（同樣是計算機科學教授）正在考慮一個新的工作。在Jeff Bezos游說我們?nèi)トA盛頓大學的同時，Amazon創(chuàng)始人及董事長約見了我們夫婦，并確定兩個華盛頓大學機器學習Amazon Professor的職位。隨后我們轉(zhuǎn)移到PNW，也遇見了一些有才華并且想在新興大數(shù)據(jù)分析領(lǐng)域大展拳腳的學生。在Madrona Ventures和NEA的資金支持下，GraphLab公司在一年后的2014年3月正式誕生，并以測試版的形式推出了第一個商業(yè)版CreateTM。

Q：能否談?wù)凣raphLab的創(chuàng)建，以及它如何簡化大數(shù)據(jù)分析？

Carlos Guestrin：當下，將原始數(shù)據(jù)轉(zhuǎn)化為洞察力，并建立一個預(yù)測應(yīng)用程序仍然是極具挑戰(zhàn)并且復(fù)雜的，它需要數(shù)據(jù)科學家或同樣知識淵博的軟件工程師來完成。同時，必不可少的是，完成這個工作還需要大量復(fù)雜的工具，用以收集、清洗、建模、分析并將結(jié)果對商店或者應(yīng)用程序進行展示。許多情況下，生產(chǎn)環(huán)境下的原型代碼實現(xiàn)是個漫長及昂貴的過程。這樣一來，許多沒有編程經(jīng)驗的數(shù)據(jù)科學家將毫無用武之地，同時，機構(gòu)也很難從他們的數(shù)據(jù)中提取價值。

應(yīng)運而生的是，GraphLab提供了一個這樣的平臺，讓毫無編程經(jīng)驗的數(shù)據(jù)科學家可以快速地將理念轉(zhuǎn)化為生產(chǎn)環(huán)境可以使用的產(chǎn)品。通過大量GraphLab用戶了解到，GraphLab Create可以幫助他們快速的提高生產(chǎn)力，并且在不需要太多編程經(jīng)驗和人力的情況下快速交付價值。

Q：它是否支持部署在AWS的預(yù)測應(yīng)用程序？

Carlos Guestrin：原始數(shù)據(jù)到業(yè)務(wù)轉(zhuǎn)化預(yù)測分析的過程往往起始于一個數(shù)據(jù)科學家、一臺筆記本及一個必須在大規(guī)模測試下驗證關(guān)鍵概念的原型。這個過程可能因為AWS非常易于擴展而縮短，但是對于許多數(shù)據(jù)科學家來說，將原型進行生產(chǎn)環(huán)境的代碼重實現(xiàn)仍然非常困難。

這就給GraphLab帶來了機會。GraphLab Create可以在全AWS環(huán)境下運行。只需要修改一行代碼，數(shù)據(jù)科學家就可以將他們筆記本上基于GraphLab建立的原型遷移到AWS中。任何大小的數(shù)據(jù)集及模型都可以從Amazon S3加載和訪問，同時GraphLab還提供了跨AWS集群的部署、監(jiān)測、數(shù)據(jù)管道優(yōu)化及預(yù)測服務(wù)。

Q：可以分享一些常見用例嗎？人們是怎么使用GraphLab Create的？

Carlos Guestrin：常見GraphLab Create使用覆蓋了各種領(lǐng)域：

零售業(yè)：推薦系統(tǒng)和價格預(yù)測（比如機票）

金融服務(wù)：通過行為和交易分析預(yù)防欺詐

生物醫(yī)學：通過醫(yī)療記錄分析預(yù)報疾病，定制化藥物設(shè)計

通信領(lǐng)域：預(yù)報客戶流失

社交網(wǎng)絡(luò)分析：識別關(guān)鍵網(wǎng)絡(luò)和社區(qū)影響者

市場和媒體：情緒分析，目標鎖定

Q：預(yù)測應(yīng)用程序是不是只有企業(yè)在使用？

Carlos Guestrin：完全錯誤。州政府和地方政府使用GraphLab來分析市民情緒以及判斷哪個區(qū)域的地方基礎(chǔ)設(shè)施需要及時關(guān)注；生物醫(yī)學研究團隊使用GraphLab分析臨床記錄來預(yù)測病人的病情發(fā)展趨勢；各種類型的傳感器網(wǎng)絡(luò)使用GraphLab獲得有價值的數(shù)據(jù)以幫助提升航空和鐵路運輸安全。通常情況下，政府、科研機構(gòu)、保健和服務(wù)提供者都期望通過有效的數(shù)據(jù)利用來提高運行效率。

Q：那么，早期的公司是否需要重點對待數(shù)據(jù)科學？創(chuàng)業(yè)公司需要在什么階段開始關(guān)注大數(shù)據(jù)？

Carlos Guestrin：對于任何規(guī)模的公司來說，數(shù)據(jù)科學及數(shù)據(jù)驅(qū)動決策都有著非常重要的意義。大型公司不能只止步于歷史記錄分析，他們需要讓陳舊的客戶推薦系統(tǒng)高效起來，利用包括實時分析的領(lǐng)先預(yù)測技術(shù)。調(diào)查及評論字段的文本和情感分析可以幫助了解用戶情緒，從而減少意外發(fā)生。同樣的，剛起步的公司擁有基于數(shù)據(jù)分析的業(yè)務(wù)模型同樣非常重要，尤其有益于銷售、市場、媒體、廣告等領(lǐng)域。當下，還存在一些以數(shù)據(jù)科學為核心的創(chuàng)業(yè)公司，他們?yōu)槟硞€特殊垂直領(lǐng)域或應(yīng)用建立高度專業(yè)化的定制服務(wù)，比如分析在醫(yī)療保健上的浪費、供應(yīng)鏈優(yōu)化以及保險索賠。

所有這些公司，不管規(guī)模大小，他們都有著共同的特點，那就是擁有大量的數(shù)據(jù)，但是缺少數(shù)據(jù)科學資源以及計算能力。這些正是AWS和GraphLab聯(lián)合提供的優(yōu)勢，通過移除擴展瓶頸，大數(shù)據(jù)已經(jīng)從炒作過渡到真正投入生產(chǎn)階段。

Q：十年后，你眼中的機器學習會對大數(shù)據(jù)有什么樣的推進？

Carlos Guestrin：十年后，對比當下數(shù)據(jù)科學家和富有經(jīng)驗的工程師，機器學習將掌握在更多人手中，他們將提供比現(xiàn)在更多的生產(chǎn)力。比如，業(yè)務(wù)分析人員和業(yè)務(wù)線擁有者將更依賴預(yù)測服務(wù)提供的實時利潤前景預(yù)測，政府、醫(yī)療、私營部門的服務(wù)提供者將可以根據(jù)需求定制化產(chǎn)品。同時，對于非技術(shù)人們來說，機器學習和數(shù)據(jù)驅(qū)動決策帶來的獨立價值提升將被人們公認。

Q：GraphLab的下一個舉措是什么？

Carlos Guestrin：GraphLab正走在大眾化機器學習的路上，旨在實現(xiàn)上文所述“全民都可以機器學習”的愿景。就眼前來說，我們正在致力于旗艦產(chǎn)品1.0版本的打造，GraphLab Create將在10月15日全面可用。首次發(fā)行后，我們會將機器學習能力交付到所有機構(gòu)。同時，我們也將看到更多的大數(shù)據(jù)需求得以實現(xiàn)。