阿里巴巴如何玩轉(zhuǎn)大數(shù)據(jù)

我們將邁入大數(shù)據(jù)的一個(gè)新時(shí)代，敏捷、準(zhǔn)確、低成本的數(shù)據(jù)分析和預(yù)測(cè)將成為現(xiàn)實(shí)。20日，阿里云發(fā)布大數(shù)據(jù)平臺(tái)數(shù)加，集合了計(jì)算引擎、開發(fā)套件、可視化工具和行業(yè)解決方案，這是全球首個(gè)囊括前、中、后臺(tái)的大數(shù)據(jù)一站式開發(fā)平臺(tái)，可讓數(shù)據(jù)分析和預(yù)測(cè)成本降至原有的10%左右。

這次阿里云發(fā)布的大數(shù)據(jù)開發(fā)平臺(tái)，囊括了阿里巴巴十余年來(lái)的大數(shù)據(jù)技術(shù)，這些技術(shù)正在阿里系的各個(gè)商業(yè)場(chǎng)景中發(fā)揮作用，例如淘寶首頁(yè)給你推薦什么樣的商品、你的芝麻信用分是多少、誰(shuí)可以獲得更大的花唄額度，或者誰(shuí)可以直接獲得貸款。

“過(guò)去6年來(lái)，阿里巴巴巨大的戰(zhàn)略投資就是放在云計(jì)算和大數(shù)據(jù)服務(wù)上。我們相信人類已經(jīng)從IT時(shí)代在步入DT(Data Techonology)時(shí)代?！瘪R云在2015年致投資者公開信中表示，“我們必須在數(shù)據(jù)技術(shù)的投入和發(fā)展上不惜一切的投入發(fā)展，我們正在努力讓數(shù)據(jù)和計(jì)算能力成為普惠經(jīng)濟(jì)的基礎(chǔ)?！?

馬云的DT技術(shù)正在變現(xiàn)，集成了人工智能、機(jī)器學(xué)習(xí)、智能語(yǔ)音等前沿技術(shù)的阿里云大數(shù)據(jù)平臺(tái)數(shù)加，讓沒有足夠技術(shù)實(shí)力的公司，也能實(shí)現(xiàn)從數(shù)據(jù)中提煉“石油”。權(quán)威研究機(jī)構(gòu)IDC數(shù)據(jù)顯示，2014年中國(guó)企業(yè)投入了約14億美元購(gòu)買商業(yè)分析軟件和服務(wù)，這個(gè)數(shù)字在未來(lái)5年內(nèi)將呈幾何式增長(zhǎng)。

“未來(lái)3年，大數(shù)據(jù)市場(chǎng)規(guī)模將達(dá)到1萬(wàn)億元?！卑⒗镌瓶偛煤鷷悦髟诎l(fā)布會(huì)上表示，基于阿里云大數(shù)據(jù)平臺(tái)數(shù)加，將有千余家合作伙伴、萬(wàn)名首席數(shù)據(jù)官和5萬(wàn)數(shù)據(jù)科學(xué)家誕生，把中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模拓展至萬(wàn)億規(guī)模。

“大數(shù)據(jù)”一詞近年來(lái)在中國(guó)十分火熱，但真正的數(shù)據(jù)技術(shù)和工具平臺(tái)一直缺位。“中國(guó)的數(shù)據(jù)技術(shù)起步比硅谷晚，但我們看到互聯(lián)網(wǎng)巨頭們正在大量投入研發(fā)力量，來(lái)縮短差距?！盇lliance Development Group分析師David Sullivan表示，以阿里巴巴為典型的中國(guó)互聯(lián)網(wǎng)公司正在自己的商業(yè)場(chǎng)景中大規(guī)模使用數(shù)據(jù)技術(shù)，技術(shù)上與硅谷幾乎沒有差距。

在發(fā)布會(huì)上，阿里云提及去年年底剛剛刷新的一項(xiàng)世界紀(jì)錄。在由數(shù)據(jù)庫(kù)之父Jim Gray創(chuàng)辦的排序基準(zhǔn)評(píng)估競(jìng)賽Sort Benchmark中，阿里云把100TB數(shù)據(jù)的排序時(shí)間縮短到了377秒，打破了此前由雅虎、微軟、斯坦福大學(xué)等公司與機(jī)構(gòu)保持的紀(jì)錄。

從成本上來(lái)說(shuō)，阿里云的大數(shù)據(jù)平臺(tái)也把數(shù)據(jù)技術(shù)的使用成本拉到一個(gè)新的時(shí)代。“數(shù)據(jù)分析和預(yù)測(cè)的成本將降至原有的10%，數(shù)據(jù)技術(shù)將變成普惠的技術(shù)能力，企業(yè)可以跨過(guò)技術(shù)和資金的障礙，真正從數(shù)據(jù)中掘金?！卑⒗镌拼髷?shù)據(jù)事業(yè)部資深總監(jiān)徐常亮表示。

驟降的數(shù)據(jù)成本可能讓IBM一類的公司倍感壓力，因?yàn)檫@讓他們提供的傳統(tǒng)BI軟件顯得價(jià)格昂貴。此前，企業(yè)的數(shù)據(jù)挖掘依賴購(gòu)買BI類軟件，這類軟件不但購(gòu)買和維護(hù)費(fèi)用高昂，還不能實(shí)現(xiàn)在線實(shí)時(shí)數(shù)據(jù)分析。

“實(shí)時(shí)數(shù)據(jù)分析和預(yù)測(cè)才是數(shù)據(jù)技術(shù)的魅力所在?！毙斐Ａ帘硎?，阿里云大數(shù)據(jù)平臺(tái)數(shù)加將為各類機(jī)構(gòu)和企業(yè)帶來(lái)全新的決策依據(jù)，“企業(yè)們將實(shí)時(shí)知曉自己面對(duì)的挑戰(zhàn)，并基于數(shù)據(jù)預(yù)測(cè)來(lái)判斷下一步該往哪走?！?

在不久前，阿里云公布了一項(xiàng)與浙江省交通廳的合作，浙江省交通廳利用阿里云的大數(shù)據(jù)平臺(tái)來(lái)預(yù)測(cè)高速公路未來(lái)5到60分鐘的車速情況，預(yù)測(cè)準(zhǔn)確率穩(wěn)定在91%以上?；诟咚佘囁兕A(yù)測(cè)，以便交通部門更好的進(jìn)行交通引導(dǎo)，公眾也可以做出更優(yōu)的路線選擇。

“一開始大家關(guān)心的問(wèn)題是數(shù)據(jù)運(yùn)算的速度有多快，然后關(guān)心預(yù)測(cè)的速度有多快。”徐常亮表示，“現(xiàn)在，大家該關(guān)心的問(wèn)題是我是否比競(jìng)爭(zhēng)對(duì)手更快得到數(shù)據(jù)結(jié)果，是否比競(jìng)爭(zhēng)對(duì)手擁有更準(zhǔn)確的預(yù)測(cè)。我們就是想為大家提供這樣更快、更準(zhǔn)確的大數(shù)據(jù)平臺(tái)?！?

　　浙江交通運(yùn)輸廳：用大數(shù)據(jù)預(yù)測(cè)未來(lái)哪堵車

浙江省交通運(yùn)輸廳正在開展一項(xiàng)新的試點(diǎn)：將高速歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)與路網(wǎng)狀況結(jié)合，基于阿里云大數(shù)據(jù)計(jì)算能力，預(yù)測(cè)出未來(lái)1小時(shí)內(nèi)的路況。結(jié)果顯示，預(yù)測(cè)準(zhǔn)確率穩(wěn)定在91%以上。

浙江省交通信息中心主任韓海航表示，通過(guò)對(duì)未來(lái)路況的預(yù)測(cè)，交通部門可以更好的進(jìn)行交通引導(dǎo)，用戶也可以做出更優(yōu)的路線選擇。

阿里云大數(shù)據(jù)平臺(tái)數(shù)加為項(xiàng)目提供了分析支持，并有多位資深數(shù)據(jù)科學(xué)家參與了聯(lián)合研發(fā)。來(lái)自阿里云的閔萬(wàn)里博士介紹，對(duì)于浙江省內(nèi)近1300公里的高速路段，數(shù)加強(qiáng)大計(jì)算能力可以在20分鐘完成歷史數(shù)據(jù)分析，10秒鐘完成實(shí)時(shí)數(shù)據(jù)分析。

　　馬拉松：用大數(shù)據(jù)守護(hù)選手心臟

1月2日，2016廈門國(guó)際馬拉松賽在鷺島開賽，獲得了諸多運(yùn)動(dòng)愛好者的追捧。在此次廈門馬拉松比賽中，一款叫做“阿甘跑步”的運(yùn)動(dòng)社交APP聯(lián)手深圳一家心電醫(yī)療設(shè)備供應(yīng)商，借助阿里云大數(shù)據(jù)平臺(tái)面向跑馬愛好者推出皮膚級(jí)運(yùn)動(dòng)心律監(jiān)測(cè)解決方案"安心跑"。希望通過(guò)大數(shù)據(jù)的方法來(lái)尋找極限運(yùn)動(dòng)中可能存在的風(fēng)險(xiǎn)并及時(shí)解決。

這是一個(gè)像“創(chuàng)可貼”大小的智能設(shè)備，它實(shí)時(shí)掃描并且收集人體生命數(shù)據(jù)，通過(guò)及時(shí)回傳、實(shí)時(shí)處理，機(jī)器判讀等做出健康風(fēng)險(xiǎn)預(yù)警。

“結(jié)合3D路徑實(shí)時(shí)上傳心電數(shù)據(jù)，云平臺(tái)快速分析后，又能實(shí)時(shí)的傳給賽事安全保障小組，這是運(yùn)動(dòng)賽事保障的一個(gè)創(chuàng)新點(diǎn)，不僅如此，“安心跑”還將基于心律在運(yùn)動(dòng)康復(fù)方面進(jìn)行探索，如睡眠深度監(jiān)測(cè)、呼吸暫停癥監(jiān)測(cè)、焦慮分析?！?阿甘跑步CEO尚文表示。

對(duì)馬拉松業(yè)余選手來(lái)說(shuō)，可在日常的訓(xùn)練中提前進(jìn)行監(jiān)測(cè)，對(duì)自己的心臟狀況有一個(gè)初步的評(píng)估，看是否適合參加馬拉松。

在比賽進(jìn)行中，通過(guò)聯(lián)合緊急救援機(jī)構(gòu)和智能心電設(shè)備數(shù)據(jù)打通，可以對(duì)跑步人員的心跳狀況通過(guò)現(xiàn)場(chǎng)設(shè)施實(shí)時(shí)回傳，可以及時(shí)識(shí)別，重點(diǎn)關(guān)注，在心臟出現(xiàn)問(wèn)題時(shí)可以及時(shí)搶救。

　阿里音樂：用大數(shù)據(jù)發(fā)現(xiàn)下一位巨星

阿里音樂正在開展一項(xiàng)新的大數(shù)據(jù)嘗試：將阿里音樂平臺(tái)上的行為數(shù)據(jù)與微博、優(yōu)酷、娛樂頭條等互動(dòng)數(shù)據(jù)結(jié)合，基于阿里云大數(shù)據(jù)計(jì)算能力，預(yù)測(cè)哪些音樂人將成為音樂流行界的下一位巨星。

“掌握了這些數(shù)據(jù)，唱片公司可以實(shí)時(shí)地關(guān)注潛力音樂人成長(zhǎng)，并以較低的薪酬與其簽約，大肆炒作為明日之星”，蝦米音樂創(chuàng)始人王皓如是說(shuō)。

互聯(lián)網(wǎng)造就了越來(lái)越多的獨(dú)立音樂人，他們的作品在各大互聯(lián)網(wǎng)平臺(tái)上被收聽、收藏、評(píng)論、播放、報(bào)道等。數(shù)據(jù)科學(xué)們(數(shù)據(jù)分析師)家借助阿里云提供的強(qiáng)大計(jì)算能力，通過(guò)挖掘阿里音樂平臺(tái)上的粉絲數(shù)增長(zhǎng)如何,微博上最近一段時(shí)間談?wù)撨@個(gè)音樂人的次數(shù), 優(yōu)酷上相關(guān)視頻被播放了多少次，新浪娛樂等頭條新聞報(bào)道的頻率，流行元素匹配率如何等原始及衍生的15個(gè)特征維度，通過(guò)機(jī)器學(xué)習(xí)自動(dòng)建立量化評(píng)估模型，預(yù)測(cè)音樂人的流行程度在未來(lái)一段時(shí)間是否會(huì)爆發(fā)。

除了音樂人黑馬發(fā)現(xiàn)之外，阿里音樂的音樂人產(chǎn)業(yè)鏈服務(wù)還包括：音樂人粉絲價(jià)值分析、收聽音樂風(fēng)格分析及拼盤演出推薦等音樂人決策分析服務(wù)。

　大麥網(wǎng)：一鍵接入實(shí)現(xiàn)“千人千面”

用戶登入大麥網(wǎng)APP之后，在首頁(yè)的“猜你喜歡”欄目，或者單品頁(yè)的“喜歡此項(xiàng)目的還喜歡”欄目，都能看到“千人千面”的個(gè)性化推薦內(nèi)容。大麥團(tuán)隊(duì)與阿里云團(tuán)隊(duì)共同合作，通過(guò)API接口的方式，對(duì)每一個(gè)用戶的購(gòu)買、瀏覽、收藏等數(shù)據(jù)進(jìn)行分析，實(shí)時(shí)為用戶推薦基于他們喜好和地理位置的票務(wù)信息。

“2015年4月份上線之后，推薦轉(zhuǎn)化率已提高到 4%左右，單日最高轉(zhuǎn)化峰值曾到達(dá) 10%以上, 效果超過(guò)我們的預(yù)期。” 大麥網(wǎng)數(shù)據(jù)總監(jiān)王威表示，看中“推薦背后的智能”，能夠在節(jié)省人力成本投入的同時(shí)，獲得推薦轉(zhuǎn)化率的極大提升。

從成本上看，如果大麥網(wǎng)自主研發(fā)推薦系統(tǒng)，需要投入至少5位工程師，進(jìn)行6個(gè)月的項(xiàng)目開發(fā)，人力成本約900人天。在大麥團(tuán)隊(duì)和阿里云團(tuán)隊(duì)的共同努力下，結(jié)合大麥團(tuán)隊(duì)的行業(yè)經(jīng)驗(yàn)與阿里云的技術(shù)優(yōu)勢(shì)，把人力成本降低到了30人天，并且擁有高轉(zhuǎn)化率的保障。

　弘泰水利：用大數(shù)據(jù)治水

不久前，弘泰水利同阿里云達(dá)成合作，雙方計(jì)劃通過(guò)大數(shù)據(jù)技術(shù)，將水利基礎(chǔ)設(shè)施(水庫(kù)、河道、泵閘等)的管理從離線變?yōu)樵诰€，實(shí)現(xiàn)大數(shù)據(jù)治水。

弘泰水利總工余麗華說(shuō)，水利數(shù)據(jù)聯(lián)網(wǎng)后，可以做水庫(kù)管理的平臺(tái)服務(wù)，也可以做洪水風(fēng)險(xiǎn)的分析，以及城市內(nèi)澇的預(yù)警分析，并且可以為公眾提供防汛減災(zāi)的社會(huì)化服務(wù)。

弘泰水利為寧波市研發(fā)的城市動(dòng)態(tài)洪水風(fēng)險(xiǎn)圖，可以看到全市各個(gè)水庫(kù)的運(yùn)行情況;臺(tái)風(fēng)來(lái)臨，城市各個(gè)區(qū)域的降雨量直觀呈現(xiàn)，包括市內(nèi)積水深度、淹沒時(shí)間等。

系統(tǒng)將寧波主城區(qū)劃分為8萬(wàn)個(gè)網(wǎng)格，僅需要2分鐘就可以計(jì)算出寧波主城區(qū)任意一100*100米地區(qū)的洪水淹沒情況。在去年“燦鴻”臺(tái)風(fēng)期間，這一系統(tǒng)得到成功應(yīng)用，洪水計(jì)算結(jié)果與實(shí)際對(duì)比誤差在10%以下。

　　墨跡天氣：用大數(shù)據(jù)為4億用戶提供個(gè)性化天氣服務(wù)

不久前，墨跡天氣同阿里云展開合作，進(jìn)一步強(qiáng)化其大數(shù)據(jù)優(yōu)勢(shì)。墨跡天氣通過(guò)采用阿里云的大數(shù)據(jù)平臺(tái)數(shù)加，對(duì)4億用戶產(chǎn)生的日志進(jìn)行分析，基于此提供更加個(gè)性化的天氣服務(wù)。

4億用戶是什么概念?也就是說(shuō)，13.5億中國(guó)人，每四個(gè)人中就有一個(gè)下載過(guò)墨跡天氣，超過(guò)了美國(guó)人口總數(shù)。這些用戶每天有超過(guò) 5 億次的天氣查詢需求，這一數(shù)字甚至要大于 Twitter 每天發(fā)帖量。

“用戶每天產(chǎn)生的日志量大約在400GB。我們需要將這些海量的數(shù)據(jù)導(dǎo)入云端，然后分天、分小時(shí)的展開數(shù)據(jù)分析作業(yè)，分析結(jié)果再導(dǎo)入數(shù)據(jù)庫(kù)和報(bào)表系統(tǒng)，最終展示在運(yùn)營(yíng)人員面前?！蹦E天氣運(yùn)維部經(jīng)理章漢龍介紹，整個(gè)過(guò)程中數(shù)據(jù)量龐大，且計(jì)算復(fù)雜，這對(duì)云平臺(tái)的大數(shù)據(jù)能力、生態(tài)完整性和開放性提出了很高的要求。

此前，墨跡天氣的這一流程是在國(guó)外某云計(jì)算平臺(tái)上完成的，需要分別使用云存儲(chǔ)、大數(shù)據(jù)分析等服務(wù)，數(shù)據(jù)分析完成后再同步到本地?cái)?shù)據(jù)庫(kù)中與報(bào)表系統(tǒng)對(duì)接。cda數(shù)據(jù)分析師協(xié)會(huì)培訓(xùn)出來(lái)的數(shù)據(jù)分析師得到國(guó)內(nèi)企業(yè)高度的認(rèn)可。