阿里巴巴如何玩轉(zhuǎn)大數(shù)據(jù)

我們將邁入大數(shù)據(jù)的一個新時代，敏捷、準(zhǔn)確、低成本的數(shù)據(jù)分析和預(yù)測將成為現(xiàn)實。20日，阿里云發(fā)布大數(shù)據(jù)平臺數(shù)加，集合了計算引擎、開發(fā)套件、可視化工具和行業(yè)解決方案，這是全球首個囊括前、中、后臺的大數(shù)據(jù)一站式開發(fā)平臺，可讓數(shù)據(jù)分析和預(yù)測成本降至原有的10%左右。

這次阿里云發(fā)布的大數(shù)據(jù)開發(fā)平臺，囊括了阿里巴巴十余年來的大數(shù)據(jù)技術(shù)，這些技術(shù)正在阿里系的各個商業(yè)場景中發(fā)揮作用，例如淘寶首頁給你推薦什么樣的商品、你的芝麻信用分是多少、誰可以獲得更大的花唄額度，或者誰可以直接獲得貸款。

“過去6年來，阿里巴巴巨大的戰(zhàn)略投資就是放在云計算和大數(shù)據(jù)服務(wù)上。我們相信人類已經(jīng)從IT時代在步入DT(Data Techonology)時代?！瘪R云在2015年致投資者公開信中表示，“我們必須在數(shù)據(jù)技術(shù)的投入和發(fā)展上不惜一切的投入發(fā)展，我們正在努力讓數(shù)據(jù)和計算能力成為普惠經(jīng)濟的基礎(chǔ)。”

馬云的DT技術(shù)正在變現(xiàn)，集成了人工智能、機器學(xué)習(xí)、智能語音等前沿技術(shù)的阿里云大數(shù)據(jù)平臺數(shù)加，讓沒有足夠技術(shù)實力的公司，也能實現(xiàn)從數(shù)據(jù)中提煉“石油”。權(quán)威研究機構(gòu)IDC數(shù)據(jù)顯示，2014年中國企業(yè)投入了約14億美元購買商業(yè)分析軟件和服務(wù)，這個數(shù)字在未來5年內(nèi)將呈幾何式增長。

“未來3年，大數(shù)據(jù)市場規(guī)模將達(dá)到1萬億元?！卑⒗镌瓶偛煤鷷悦髟诎l(fā)布會上表示，基于阿里云大數(shù)據(jù)平臺數(shù)加，將有千余家合作伙伴、萬名首席數(shù)據(jù)官和5萬數(shù)據(jù)科學(xué)家誕生，把中國大數(shù)據(jù)市場規(guī)模拓展至萬億規(guī)模。

“大數(shù)據(jù)”一詞近年來在中國十分火熱，但真正的數(shù)據(jù)技術(shù)和工具平臺一直缺位?！爸袊臄?shù)據(jù)技術(shù)起步比硅谷晚，但我們看到互聯(lián)網(wǎng)巨頭們正在大量投入研發(fā)力量，來縮短差距?！盇lliance Development Group分析師David Sullivan表示，以阿里巴巴為典型的中國互聯(lián)網(wǎng)公司正在自己的商業(yè)場景中大規(guī)模使用數(shù)據(jù)技術(shù)，技術(shù)上與硅谷幾乎沒有差距。

在發(fā)布會上，阿里云提及去年年底剛剛刷新的一項世界紀(jì)錄。在由數(shù)據(jù)庫之父Jim Gray創(chuàng)辦的排序基準(zhǔn)評估競賽Sort Benchmark中，阿里云把100TB數(shù)據(jù)的排序時間縮短到了377秒，打破了此前由雅虎、微軟、斯坦福大學(xué)等公司與機構(gòu)保持的紀(jì)錄。

從成本上來說，阿里云的大數(shù)據(jù)平臺也把數(shù)據(jù)技術(shù)的使用成本拉到一個新的時代?！皵?shù)據(jù)分析和預(yù)測的成本將降至原有的10%，數(shù)據(jù)技術(shù)將變成普惠的技術(shù)能力，企業(yè)可以跨過技術(shù)和資金的障礙，真正從數(shù)據(jù)中掘金?！卑⒗镌拼髷?shù)據(jù)事業(yè)部資深總監(jiān)徐常亮表示。

驟降的數(shù)據(jù)成本可能讓IBM一類的公司倍感壓力，因為這讓他們提供的傳統(tǒng)BI軟件顯得價格昂貴。此前，企業(yè)的數(shù)據(jù)挖掘依賴購買BI類軟件，這類軟件不但購買和維護費用高昂，還不能實現(xiàn)在線實時數(shù)據(jù)分析。

“實時數(shù)據(jù)分析和預(yù)測才是數(shù)據(jù)技術(shù)的魅力所在?！毙斐Ａ帘硎荆⒗镌拼髷?shù)據(jù)平臺數(shù)加將為各類機構(gòu)和企業(yè)帶來全新的決策依據(jù)，“企業(yè)們將實時知曉自己面對的挑戰(zhàn)，并基于數(shù)據(jù)預(yù)測來判斷下一步該往哪走?！?

在不久前，阿里云公布了一項與浙江省交通廳的合作，浙江省交通廳利用阿里云的大數(shù)據(jù)平臺來預(yù)測高速公路未來5到60分鐘的車速情況，預(yù)測準(zhǔn)確率穩(wěn)定在91%以上?；诟咚佘囁兕A(yù)測，以便交通部門更好的進(jìn)行交通引導(dǎo)，公眾也可以做出更優(yōu)的路線選擇。

“一開始大家關(guān)心的問題是數(shù)據(jù)運算的速度有多快，然后關(guān)心預(yù)測的速度有多快?！毙斐Ａ帘硎荆艾F(xiàn)在，大家該關(guān)心的問題是我是否比競爭對手更快得到數(shù)據(jù)結(jié)果，是否比競爭對手擁有更準(zhǔn)確的預(yù)測。我們就是想為大家提供這樣更快、更準(zhǔn)確的大數(shù)據(jù)平臺?！?

　　浙江交通運輸廳：用大數(shù)據(jù)預(yù)測未來哪堵車

浙江省交通運輸廳正在開展一項新的試點：將高速歷史數(shù)據(jù)、實時數(shù)據(jù)與路網(wǎng)狀況結(jié)合，基于阿里云大數(shù)據(jù)計算能力，預(yù)測出未來1小時內(nèi)的路況。結(jié)果顯示，預(yù)測準(zhǔn)確率穩(wěn)定在91%以上。

浙江省交通信息中心主任韓海航表示，通過對未來路況的預(yù)測，交通部門可以更好的進(jìn)行交通引導(dǎo)，用戶也可以做出更優(yōu)的路線選擇。

阿里云大數(shù)據(jù)平臺數(shù)加為項目提供了分析支持，并有多位資深數(shù)據(jù)科學(xué)家參與了聯(lián)合研發(fā)。來自阿里云的閔萬里博士介紹，對于浙江省內(nèi)近1300公里的高速路段，數(shù)加強大計算能力可以在20分鐘完成歷史數(shù)據(jù)分析，10秒鐘完成實時數(shù)據(jù)分析。

　　馬拉松：用大數(shù)據(jù)守護選手心臟

1月2日，2016廈門國際馬拉松賽在鷺島開賽，獲得了諸多運動愛好者的追捧。在此次廈門馬拉松比賽中，一款叫做“阿甘跑步”的運動社交APP聯(lián)手深圳一家心電醫(yī)療設(shè)備供應(yīng)商，借助阿里云大數(shù)據(jù)平臺面向跑馬愛好者推出皮膚級運動心律監(jiān)測解決方案"安心跑"。希望通過大數(shù)據(jù)的方法來尋找極限運動中可能存在的風(fēng)險并及時解決。

這是一個像“創(chuàng)可貼”大小的智能設(shè)備，它實時掃描并且收集人體生命數(shù)據(jù)，通過及時回傳、實時處理，機器判讀等做出健康風(fēng)險預(yù)警。

“結(jié)合3D路徑實時上傳心電數(shù)據(jù)，云平臺快速分析后，又能實時的傳給賽事安全保障小組，這是運動賽事保障的一個創(chuàng)新點，不僅如此，“安心跑”還將基于心律在運動康復(fù)方面進(jìn)行探索，如睡眠深度監(jiān)測、呼吸暫停癥監(jiān)測、焦慮分析?！?阿甘跑步CEO尚文表示。

對馬拉松業(yè)余選手來說，可在日常的訓(xùn)練中提前進(jìn)行監(jiān)測，對自己的心臟狀況有一個初步的評估，看是否適合參加馬拉松。

在比賽進(jìn)行中，通過聯(lián)合緊急救援機構(gòu)和智能心電設(shè)備數(shù)據(jù)打通，可以對跑步人員的心跳狀況通過現(xiàn)場設(shè)施實時回傳，可以及時識別，重點關(guān)注，在心臟出現(xiàn)問題時可以及時搶救。

　阿里音樂：用大數(shù)據(jù)發(fā)現(xiàn)下一位巨星

阿里音樂正在開展一項新的大數(shù)據(jù)嘗試：將阿里音樂平臺上的行為數(shù)據(jù)與微博、優(yōu)酷、娛樂頭條等互動數(shù)據(jù)結(jié)合，基于阿里云大數(shù)據(jù)計算能力，預(yù)測哪些音樂人將成為音樂流行界的下一位巨星。

“掌握了這些數(shù)據(jù)，唱片公司可以實時地關(guān)注潛力音樂人成長，并以較低的薪酬與其簽約，大肆炒作為明日之星”，蝦米音樂創(chuàng)始人王皓如是說。

互聯(lián)網(wǎng)造就了越來越多的獨立音樂人，他們的作品在各大互聯(lián)網(wǎng)平臺上被收聽、收藏、評論、播放、報道等。數(shù)據(jù)科學(xué)們(數(shù)據(jù)分析師)家借助阿里云提供的強大計算能力，通過挖掘阿里音樂平臺上的粉絲數(shù)增長如何,微博上最近一段時間談?wù)撨@個音樂人的次數(shù), 優(yōu)酷上相關(guān)視頻被播放了多少次，新浪娛樂等頭條新聞報道的頻率，流行元素匹配率如何等原始及衍生的15個特征維度，通過機器學(xué)習(xí)自動建立量化評估模型，預(yù)測音樂人的流行程度在未來一段時間是否會爆發(fā)。

除了音樂人黑馬發(fā)現(xiàn)之外，阿里音樂的音樂人產(chǎn)業(yè)鏈服務(wù)還包括：音樂人粉絲價值分析、收聽音樂風(fēng)格分析及拼盤演出推薦等音樂人決策分析服務(wù)。

　大麥網(wǎng)：一鍵接入實現(xiàn)“千人千面”

用戶登入大麥網(wǎng)APP之后，在首頁的“猜你喜歡”欄目，或者單品頁的“喜歡此項目的還喜歡”欄目，都能看到“千人千面”的個性化推薦內(nèi)容。大麥團隊與阿里云團隊共同合作，通過API接口的方式，對每一個用戶的購買、瀏覽、收藏等數(shù)據(jù)進(jìn)行分析，實時為用戶推薦基于他們喜好和地理位置的票務(wù)信息。

“2015年4月份上線之后，推薦轉(zhuǎn)化率已提高到 4%左右，單日最高轉(zhuǎn)化峰值曾到達(dá) 10%以上, 效果超過我們的預(yù)期?！?大麥網(wǎng)數(shù)據(jù)總監(jiān)王威表示，看中“推薦背后的智能”，能夠在節(jié)省人力成本投入的同時，獲得推薦轉(zhuǎn)化率的極大提升。

從成本上看，如果大麥網(wǎng)自主研發(fā)推薦系統(tǒng)，需要投入至少5位工程師，進(jìn)行6個月的項目開發(fā)，人力成本約900人天。在大麥團隊和阿里云團隊的共同努力下，結(jié)合大麥團隊的行業(yè)經(jīng)驗與阿里云的技術(shù)優(yōu)勢，把人力成本降低到了30人天，并且擁有高轉(zhuǎn)化率的保障。

　弘泰水利：用大數(shù)據(jù)治水

不久前，弘泰水利同阿里云達(dá)成合作，雙方計劃通過大數(shù)據(jù)技術(shù)，將水利基礎(chǔ)設(shè)施(水庫、河道、泵閘等)的管理從離線變?yōu)樵诰€，實現(xiàn)大數(shù)據(jù)治水。

弘泰水利總工余麗華說，水利數(shù)據(jù)聯(lián)網(wǎng)后，可以做水庫管理的平臺服務(wù)，也可以做洪水風(fēng)險的分析，以及城市內(nèi)澇的預(yù)警分析，并且可以為公眾提供防汛減災(zāi)的社會化服務(wù)。

弘泰水利為寧波市研發(fā)的城市動態(tài)洪水風(fēng)險圖，可以看到全市各個水庫的運行情況;臺風(fēng)來臨，城市各個區(qū)域的降雨量直觀呈現(xiàn)，包括市內(nèi)積水深度、淹沒時間等。

系統(tǒng)將寧波主城區(qū)劃分為8萬個網(wǎng)格，僅需要2分鐘就可以計算出寧波主城區(qū)任意一100*100米地區(qū)的洪水淹沒情況。在去年“燦鴻”臺風(fēng)期間，這一系統(tǒng)得到成功應(yīng)用，洪水計算結(jié)果與實際對比誤差在10%以下。

　　墨跡天氣：用大數(shù)據(jù)為4億用戶提供個性化天氣服務(wù)

不久前，墨跡天氣同阿里云展開合作，進(jìn)一步強化其大數(shù)據(jù)優(yōu)勢。墨跡天氣通過采用阿里云的大數(shù)據(jù)平臺數(shù)加，對4億用戶產(chǎn)生的日志進(jìn)行分析，基于此提供更加個性化的天氣服務(wù)。

4億用戶是什么概念?也就是說，13.5億中國人，每四個人中就有一個下載過墨跡天氣，超過了美國人口總數(shù)。這些用戶每天有超過 5 億次的天氣查詢需求，這一數(shù)字甚至要大于 Twitter 每天發(fā)帖量。

“用戶每天產(chǎn)生的日志量大約在400GB。我們需要將這些海量的數(shù)據(jù)導(dǎo)入云端，然后分天、分小時的展開數(shù)據(jù)分析作業(yè)，分析結(jié)果再導(dǎo)入數(shù)據(jù)庫和報表系統(tǒng)，最終展示在運營人員面前。”墨跡天氣運維部經(jīng)理章漢龍介紹，整個過程中數(shù)據(jù)量龐大，且計算復(fù)雜，這對云平臺的大數(shù)據(jù)能力、生態(tài)完整性和開放性提出了很高的要求。

此前，墨跡天氣的這一流程是在國外某云計算平臺上完成的，需要分別使用云存儲、大數(shù)據(jù)分析等服務(wù)，數(shù)據(jù)分析完成后再同步到本地數(shù)據(jù)庫中與報表系統(tǒng)對接。cda數(shù)據(jù)分析師協(xié)會培訓(xùn)出來的數(shù)據(jù)分析師得到國內(nèi)企業(yè)高度的認(rèn)可。