發(fā)展大數(shù)據(jù)還有啥問題：數(shù)據(jù)孤島、技術(shù)差距、人才短缺

近日,在有關(guān)部門的調(diào)解之下,菜鳥和順豐的“數(shù)據(jù)斷交”事件總算告一段落,雙方經(jīng)過緊急會談后,再次恢復(fù)了數(shù)據(jù)傳輸合作,算是和平解決。這次事件暴露出了大數(shù)據(jù)發(fā)展中的數(shù)據(jù)共享難題,但只是大數(shù)據(jù)種種問題的冰山一角。當(dāng)前,我國大數(shù)據(jù)產(chǎn)業(yè)正處于起步階段,信息孤島、技術(shù)不足、人才缺失等都成為產(chǎn)業(yè)發(fā)展中亟待解決的大問題。

數(shù)據(jù)孤島問題突出

“巧婦難為無米之炊。”大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù),數(shù)據(jù)的生命在于共享,拿不到底層的數(shù)據(jù),數(shù)據(jù)分析也就無從談起。如今,數(shù)據(jù)孤島林立、融合困難,已經(jīng)成為政府與企業(yè)面前的首要難題。

“第一個問題就是沒數(shù)據(jù),理論上我們中國有很多數(shù)據(jù),但實際做數(shù)據(jù)分析會發(fā)現(xiàn)非常困難。”中國科學(xué)院院士、北京大數(shù)據(jù)研究院院長鄂維南表示,數(shù)據(jù)孤島是一個嚴(yán)重的問題,不同部門的數(shù)據(jù)儲存在不同地方,格式也不一樣。大數(shù)據(jù)最高的層次就是用數(shù)據(jù)來形成智慧,使得社會各方面可以運(yùn)轉(zhuǎn)起來。做數(shù)據(jù)分析先要整合數(shù)據(jù),這本身就是研究的困難。

由于政府部門之間、企業(yè)之間、政府和企業(yè)間信息不對稱、制度法律不具體、缺乏公共平臺和共享渠道等多重因素,導(dǎo)致大量政府?dāng)?shù)據(jù)存在“不愿公開、不敢公開、不能公開、不會公開”的問題,而已開放的數(shù)據(jù)也因格式標(biāo)準(zhǔn)缺失無法進(jìn)行關(guān)聯(lián)融合,形成孤島。

缺乏動力和擔(dān)心安全是阻礙數(shù)據(jù)共享的另一個主要原因。貴陽大數(shù)據(jù)交易所執(zhí)行總裁王叁壽透露,不少企業(yè)以保護(hù)商業(yè)機(jī)密或節(jié)省數(shù)據(jù)整理成本等為理由,不愿意交易自身數(shù)據(jù)。部分政府部門也缺乏數(shù)據(jù)公開的動力:有的是因懶政而讓數(shù)據(jù)沉睡,有的則是已經(jīng)利用數(shù)據(jù)開展商業(yè)化應(yīng)用,因此不愿共享。

“數(shù)據(jù)孤島的痛不是技術(shù)問題,是利益問題,背后隱藏的利益導(dǎo)致了數(shù)據(jù)孤島的產(chǎn)生?！倍蹙S南坦言。

對于如何打通數(shù)據(jù)孤島,工信部賽迪研究院軟件所所長潘文建議,要建立完善大數(shù)據(jù)發(fā)展協(xié)調(diào)機(jī)制,加快政府?dāng)?shù)據(jù)開放共享,穩(wěn)步推動公共數(shù)據(jù)資源開放。同時,統(tǒng)籌規(guī)劃大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè),推動制定公共信息資源保護(hù)和開放的制度性文件,并加強(qiáng)大數(shù)據(jù)標(biāo)準(zhǔn)化頂層設(shè)計,逐步完善標(biāo)準(zhǔn)體系。

在數(shù)據(jù)共享的路上,2015年成立的貴陽大數(shù)據(jù)交易所已經(jīng)做出了成功的嘗試。王叁壽表示,若想打通城市現(xiàn)存的信息壁壘,就要讓城市多方資源聯(lián)動起來,搭建城市數(shù)據(jù)共享的平臺,從而激活大數(shù)據(jù)價值,充分發(fā)揮數(shù)據(jù)資源整合的優(yōu)質(zhì)效應(yīng),用信息化手段輔助科學(xué)決策。

底層技術(shù)差距很大

即便解決了數(shù)據(jù)共享問題,數(shù)據(jù)可供隨時取用,數(shù)據(jù)的采集和分析仍是主要挑戰(zhàn)。微軟大中華區(qū)董事長兼CEO柯睿杰認(rèn)為,數(shù)據(jù)智能并非那么觸手可及。大數(shù)據(jù)來源眾多、數(shù)量巨大、形式各異,要從中獲得一目了然的信息,就需要真正高效、可靠的數(shù)據(jù)管理和分析平臺。

如何處理巨量數(shù)據(jù)是中國大數(shù)據(jù)產(chǎn)業(yè)面臨的首要技術(shù)問題。鄂維南表示,“中國的數(shù)據(jù)體量特別大,比如,中國的視頻比任何國家都要多,這些數(shù)據(jù)儲存困難,需要用的時候往往就沒了”。再以基因測序領(lǐng)域為例,中國每年新增的基因組測序原始數(shù)據(jù)超過20PB(1PB相當(dāng)于100萬GB),面臨著數(shù)據(jù)量大、數(shù)據(jù)處理流程長等技術(shù)挑戰(zhàn)。

另一方面,數(shù)據(jù)分析本身也是一個難題。大數(shù)據(jù)中,絕大部分屬于非結(jié)構(gòu)化的數(shù)據(jù),它們大量存在于社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域,這些數(shù)據(jù)的不確定性表現(xiàn)在高維、多變和強(qiáng)隨機(jī)性等方面。股票交易數(shù)據(jù)流就是不確定性大數(shù)據(jù)的一個典型例子。這些都需要通過包括數(shù)學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)、計算機(jī)科學(xué)和管理科學(xué)在內(nèi)的多學(xué)科交叉來研究和討論。

目前,我國大數(shù)據(jù)技術(shù)創(chuàng)新能力還有待提升?！洞髷?shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》指出,我國在新型計算平臺、分布式計算架構(gòu)、大數(shù)據(jù)處理、分析和呈現(xiàn)方面與國外仍存在較大差距,對開源技術(shù)和相關(guān)生態(tài)系統(tǒng)影響力弱。同時,大數(shù)據(jù)應(yīng)用水平不高。我國發(fā)展大數(shù)據(jù)具有強(qiáng)勁的應(yīng)用市場優(yōu)勢,但是目前還存在應(yīng)用領(lǐng)域不廣泛、應(yīng)用程度不深、認(rèn)識不到位等問題。

“雖然我們在應(yīng)用上不落后國外,但是在底層技術(shù)上和國外差距特別大,技術(shù)都來源于谷歌等國外大公司?！眹鴦?wù)院發(fā)展研究中心信息中心研究處處長李廣乾說,很多時候我們的商業(yè)模式走在了技術(shù)前面,并沒有通過技術(shù)手段來推動創(chuàng)新。

對此,潘文表示,國家層面要支持大數(shù)據(jù)共性關(guān)鍵技術(shù)研究,加強(qiáng)海量數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)分析發(fā)掘、數(shù)據(jù)可視化等領(lǐng)域關(guān)鍵技術(shù)攻關(guān),并支持自然語言理解、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能技術(shù)創(chuàng)新。

專業(yè)人才短缺嚴(yán)重

近年來,我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展進(jìn)入爆發(fā)期,由于成熟的人才培訓(xùn)體系尚未建立,直接導(dǎo)致人才短缺的問題日益突出。“我們面臨的最嚴(yán)重的問題就是應(yīng)用場景和人才的問題,應(yīng)用場景的問題是需要時間,人才問題是我這么多年來碰到的最嚴(yán)峻的問題?！倍蹙S南說。

人才不足限制了大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新發(fā)展的成效。清華大學(xué)計算機(jī)系教授武永衛(wèi)透露的數(shù)據(jù)顯示,未來3至5年,中國需要180萬數(shù)據(jù)人才,截至目前,中國大數(shù)據(jù)從業(yè)人員只有約30萬人。LiNKEdIn(領(lǐng)英)發(fā)布的《2016年中國互聯(lián)網(wǎng)最熱職位人才報告》則顯示,數(shù)據(jù)分析是當(dāng)下中國互聯(lián)網(wǎng)行業(yè)需求最旺盛的6類人才職位之一。

同時,大數(shù)據(jù)行業(yè)選才的標(biāo)準(zhǔn)也不斷變化。初期,大數(shù)據(jù)人才的需求主要集中在ETL研發(fā)、系統(tǒng)架構(gòu)開發(fā)、數(shù)據(jù)倉庫研究等偏硬件領(lǐng)域,以IT、計算機(jī)背景的人才居多。隨著大數(shù)據(jù)往各垂直領(lǐng)域的延伸發(fā)展,對統(tǒng)計學(xué)、數(shù)學(xué)專業(yè)的人才,主要從事數(shù)據(jù)分析、數(shù)據(jù)挖掘、人工智能等偏軟件領(lǐng)域的需求加大。

在高端人才稀缺的現(xiàn)實情況下,企業(yè)多選擇從海外和傳統(tǒng)行業(yè)挖掘跨界人才,但仍然無法滿足國內(nèi)市場的大量需求。針對大數(shù)據(jù)人才供應(yīng)不足的現(xiàn)象,各種培訓(xùn)機(jī)構(gòu)和各大高校也開始強(qiáng)化大數(shù)據(jù)人才的培養(yǎng)。但培養(yǎng)大數(shù)據(jù)人才需要時間,在短期內(nèi)對于大數(shù)據(jù)領(lǐng)域的高端人才仍然會呈現(xiàn)出供不應(yīng)求的現(xiàn)象。

值得注意的是,今年3月份,教育部公布了第二批獲準(zhǔn)開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”的高校名單,加上第一批獲批的北京大學(xué)、對外經(jīng)濟(jì)貿(mào)易大學(xué)、中南大學(xué),一共35所高校獲批開設(shè)該專業(yè)。今年開始,部分院校將招收第一屆大數(shù)據(jù)專業(yè)本科生。

對于大數(shù)據(jù)人才建設(shè),潘文表示,要建立適應(yīng)大數(shù)據(jù)發(fā)展需求的人才培養(yǎng)和評價機(jī)制,并建立健全多層次、多類型的大數(shù)據(jù)人才培養(yǎng)體系。同時,還要完善配套措施,培養(yǎng)大數(shù)據(jù)領(lǐng)域創(chuàng)新型領(lǐng)軍人才,吸引海外大數(shù)據(jù)高層次人才來華就業(yè)、創(chuàng)業(yè)。