程學(xué)旗發(fā)布大數(shù)據(jù)白皮書與發(fā)展趨勢報告_數(shù)據(jù)分析師

中科院計算所研究員，CCF大數(shù)據(jù)專家委員會秘書長程學(xué)旗發(fā)表了大數(shù)據(jù)白皮書與發(fā)展趨勢報告?！吨袊髷?shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書（2014年）》主要介紹了大數(shù)據(jù)的背景與動態(tài)，大數(shù)據(jù)典型應(yīng)用，大數(shù)據(jù)技術(shù)進展，大數(shù)據(jù)IT產(chǎn)業(yè)鏈與生態(tài)環(huán)境，以及大數(shù)據(jù)發(fā)展趨勢與建議等內(nèi)容。同時對于2015年大數(shù)據(jù)發(fā)展趨勢預(yù)測，程學(xué)旗總結(jié)為這幾個詞：融合、跨界、基礎(chǔ)、突破。

中科院計算所研究員，CCF大數(shù)據(jù)專家委員會秘書長程學(xué)旗

以下為演講實錄：

在中國計算機學(xué)會大數(shù)據(jù)專家委員會和中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟得精心組織下，花了大半年時間撰寫了這本《中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書（2014年）》。介紹了大數(shù)據(jù)的背景與動態(tài)，大數(shù)據(jù)典型應(yīng)用，大數(shù)據(jù)技術(shù)進展，大數(shù)據(jù)IT產(chǎn)業(yè)鏈與生態(tài)環(huán)境，以及大數(shù)據(jù)發(fā)展趨勢與建議等內(nèi)容。

白皮書旨在為業(yè)界梳理大數(shù)據(jù)應(yīng)用現(xiàn)狀及發(fā)展趨勢，為政府制定推動大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的政策提供建議；探討大數(shù)據(jù)研究面臨的科學(xué)問題和技術(shù)挑戰(zhàn)，為科研機構(gòu)和科研人員提供參考指南。重點介紹了大數(shù)據(jù)在產(chǎn)業(yè)應(yīng)用、技術(shù)研發(fā)、學(xué)科發(fā)展等方面的進展。

來自20多家單位60多名專家直接撰稿，集中了130多名專家委員和產(chǎn)業(yè)聯(lián)盟會員的知識和智慧，在一定程度上反映了我國大數(shù)據(jù)學(xué)術(shù)界和產(chǎn)業(yè)界的共識。

對于2015年大數(shù)據(jù)發(fā)展趨勢預(yù)測，程學(xué)旗總結(jié)為這幾個詞：融合、跨界、基礎(chǔ)、突破。

融合是說在產(chǎn)業(yè)里面剛才Doug Cutting老師講到比如說在垂直行業(yè)的融合，在企業(yè)里面垂直融合，在應(yīng)用融合，在技術(shù)融合等等?？缃?，基于大數(shù)據(jù)使不同學(xué)科不同應(yīng)用領(lǐng)域跨界?；A(chǔ)，就是說我們大數(shù)據(jù)發(fā)展亟待在一些基礎(chǔ)方面進一步的夯實，2014年比2013年基礎(chǔ)更強，我們期待2015年基礎(chǔ)進一步的夯實，包括生態(tài)環(huán)境，包括大數(shù)據(jù)資源的共享。突破，我們會在預(yù)測在2015年在一些大數(shù)據(jù)的分析，大數(shù)據(jù)的一些系統(tǒng)方面能夠取得相關(guān)性的突破。這個趨勢的報告來源于137位我們大數(shù)據(jù)專家委的委員和50位中關(guān)村產(chǎn)業(yè)聯(lián)盟的會員，我們給出50個選項，每個專家委員給投票，同時給一些標注，最后我們在這個基礎(chǔ)上給出了一個統(tǒng)計，最后結(jié)果是2015年度大數(shù)據(jù)發(fā)展的十大預(yù)測。

一、結(jié)合智能計算的大數(shù)據(jù)分析成為熱點，包括大數(shù)據(jù)與神經(jīng)計算、深度學(xué)習(xí)、語義計算以及人工智能其他相關(guān)技術(shù)結(jié)合，成為大數(shù)據(jù)分析領(lǐng)域的熱點。大數(shù)據(jù)分析的核心是從數(shù)據(jù)中獲取價值，價值體現(xiàn)在從大數(shù)據(jù)中獲取更準確、更深層次的知識，而非對數(shù)據(jù)的簡單統(tǒng)計分析。要達到這一目標，需要提升對數(shù)據(jù)的認知計算能力，讓計算系統(tǒng)具備對數(shù)據(jù)的理解、推理、發(fā)現(xiàn)和決策能力，其背后的核心技術(shù)就是人工智能。近些年，人工智能的研究和應(yīng)用又掀起新高潮，這一方面得益于計算機硬件性能的突破，另一方面則依靠以云計算、大數(shù)據(jù)為代表的計算技術(shù)的快速發(fā)展，使得信息處理速度和質(zhì)量大為提高，能夠快速、并行處理海量數(shù)據(jù)。

二、數(shù)據(jù)科學(xué)帶動多學(xué)科融合，但是數(shù)據(jù)科學(xué)作為新興的學(xué)科，其學(xué)科基礎(chǔ)問題體系尚不明朗，數(shù)據(jù)科學(xué)自身的發(fā)展尚未成體系。在大數(shù)據(jù)時代，許多學(xué)科表面上看來研究的方向大不相同，但是從數(shù)據(jù)的視角來看，其實是相通的。隨著社會的數(shù)字化程度逐步加深，越來越來多的學(xué)科在數(shù)據(jù)層面趨于一致。可以采用相似的思想來進行的統(tǒng)一的研究。數(shù)據(jù)科學(xué)作為一個與大數(shù)據(jù)相關(guān)的新興學(xué)科出現(xiàn)，真正支撐大數(shù)據(jù)發(fā)展的學(xué)科跨越還沒有出現(xiàn)。針對大數(shù)據(jù)處理的理論研究上，新型的概率和統(tǒng)計模型將是主要的研究工具，學(xué)科基礎(chǔ)理論的突破還難于在2015年出現(xiàn)。

三、跨學(xué)科領(lǐng)域交叉的數(shù)據(jù)融合分析與應(yīng)用將成為今后大數(shù)據(jù)分析應(yīng)用發(fā)展的重大趨勢。大數(shù)據(jù)技術(shù)發(fā)展的目標是應(yīng)用落地，因此大數(shù)據(jù)研究不能僅僅局限于計算技術(shù)本身。由于現(xiàn)有的大數(shù)據(jù)平臺易用性差，而垂直應(yīng)用行業(yè)的數(shù)據(jù)分析又涉及到領(lǐng)域?qū)＜抑R和領(lǐng)域建模，目前在大數(shù)據(jù)行業(yè)分析應(yīng)用與通用的大數(shù)據(jù)技術(shù)之間存在很大的鴻溝，缺少相互的交叉融合。因此，迫切需要進行跨學(xué)科和跨領(lǐng)域的大數(shù)據(jù)技術(shù)和應(yīng)用研究，促進和推動大數(shù)據(jù)在典型和重大行業(yè)中的應(yīng)用和落地。

四、大數(shù)據(jù)將與物聯(lián)網(wǎng)、移動互聯(lián)、云計算、社會計算、等熱點技術(shù)領(lǐng)域相互交叉融合，產(chǎn)生很多綜合性應(yīng)用。近年來計算機和信息技術(shù)發(fā)展的趨勢是，前端更前伸，后端更強大。物聯(lián)網(wǎng)與移動計算加強了與物理世界和人的融合，大數(shù)據(jù)和云計算加強了后端的數(shù)據(jù)存儲管理和計算能力。今后，這幾個熱點技術(shù)領(lǐng)域?qū)⑾嗷ソ徊嫒诤?，產(chǎn)生很多綜合性應(yīng)用。

五、大數(shù)據(jù)多樣化處理模式與軟硬件基礎(chǔ)設(shè)施逐步夯實。內(nèi)存計算將繼續(xù)成為提高大數(shù)據(jù)處理性能的主要手段。以Spark為代表的內(nèi)存計算逐步走向商用，并與Hadoop融合共存，專為大數(shù)據(jù)處理優(yōu)化的系統(tǒng)和硬件出現(xiàn)，大數(shù)據(jù)處理多樣化模式并存融合，一體化融合的大數(shù)據(jù)處理平臺逐漸成為趨勢。其中有一個觀點這種多元化一定程度上成為一體化，未來大數(shù)據(jù)多樣化處理模式并存并且有可能成為一體化的平臺。

六、大數(shù)據(jù)安全和隱私，這是我們第三年關(guān)于大數(shù)據(jù)熱點問題趨勢的預(yù)測，每一年這都是非?？壳瓣P(guān)于大數(shù)據(jù)安全和隱私問題，這個反映我們專家我們用戶一種期盼一種理解一種關(guān)注度，但是我們在大數(shù)據(jù)的安全和隱私保護方面，以及大數(shù)據(jù)涉及到資源國家主權(quán)這層面，實際上技術(shù)層面沒有比較多的，這兩年多以來沒有比較長足的進步，這方面有一定的問題的，所以說大數(shù)據(jù)的安全持續(xù)令人擔(dān)憂。

七、新的計算模式講取得突破，去年前年我們在國內(nèi)大量的去講深度學(xué)習(xí)，今天我們發(fā)現(xiàn)一個很有意思的現(xiàn)象，在一些特定的領(lǐng)域發(fā)揮了作用，但是我們專家和工業(yè)界的人士更關(guān)注眾包技術(shù)，也就是說可能未來不光是大數(shù)據(jù)講深度學(xué)習(xí)。

八、各種可視化技術(shù)和工具提升大數(shù)據(jù)分析。進行分析之前，需要對數(shù)據(jù)進行探索式地考察。在此過程中，可視化將發(fā)揮很大的作用。對大數(shù)據(jù)進行分析以后，為了方便用戶理解結(jié)果，也需要把結(jié)果展示出來。

九、大數(shù)據(jù)技術(shù)課程體系建設(shè)和人才培養(yǎng)是需要高度關(guān)注的問題。

十、開源系統(tǒng)將成為大數(shù)據(jù)領(lǐng)域的主流技術(shù)和系統(tǒng)選擇。

2015年基本體現(xiàn)一個方面在學(xué)科、技術(shù)、系統(tǒng)、應(yīng)用上面融合，以及在不同學(xué)科不同行業(yè)跨界，前面五個問題涉及相關(guān)的現(xiàn)象。第二個我們呼喚在大數(shù)據(jù)技術(shù)基礎(chǔ)的夯實以及技術(shù)的突破，這個基礎(chǔ)包括開源，以及開源軟件的選擇，當然還有其他一些單向的調(diào)研，比如說相關(guān)的應(yīng)用。其中很有意思的一個調(diào)研，我們專家委認為2015年對應(yīng)用產(chǎn)生重要的數(shù)據(jù)類型有哪些？我們大家都想到社會媒體數(shù)據(jù)、互聯(lián)網(wǎng)日志、電商數(shù)據(jù)，很多人把視頻、語音、圖形圖象、設(shè)備監(jiān)測數(shù)據(jù)，我們穿戴式物聯(lián)網(wǎng)各種各樣的數(shù)據(jù)，它的價值被我們所期待產(chǎn)生跨越界的價值，這是我們今年大數(shù)據(jù)專家委員會調(diào)研的時候一個新特點。我們每年引用這個曲線，說大數(shù)據(jù)技術(shù)怎么樣了，我們自己委員怎么認為的？這個里面來看，這是我們投票結(jié)果，從我們投票結(jié)果我們看到有四個峰，其中最高的峰就是即將快速增長，第一個大數(shù)據(jù)在國內(nèi)還是初級，馬上成為快速增長爆炸的前沿，還有一部分領(lǐng)域技術(shù)處在剛剛炒作的階段，可能這個峰值比現(xiàn)在更熱，這是我們委員投票的結(jié)果。

最后這個現(xiàn)象是說我們國家大數(shù)據(jù)的發(fā)展主要推動力，這是我們委員投票結(jié)果，這個結(jié)果不是那么樂觀，政府大型互聯(lián)網(wǎng)企業(yè)和科研高校不是那么樂觀，我們希望一個眾籌模式推動大數(shù)據(jù)發(fā)展，希望科研企業(yè)，創(chuàng)業(yè)企業(yè)，小機構(gòu)推薦這樣才能百花齊放產(chǎn)生跨越式的發(fā)展。