大數(shù)據(jù)會(huì)與深度學(xué)習(xí)劃等號(hào)么_數(shù)據(jù)分析師

2014年12月12-14日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，中科院計(jì)算所與CSDN共同協(xié)辦，以推進(jìn)大數(shù)據(jù)科研、應(yīng)用與產(chǎn)業(yè)發(fā)展為主旨的2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)(Big Data Technology Conference 2014，BDTC 2014)暨第二屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議在北京新云南皇冠假日酒店盛大開幕。

　　近年來(lái)，國(guó)內(nèi)外互聯(lián)網(wǎng)公司和傳統(tǒng)企業(yè)大都已經(jīng)意識(shí)到數(shù)據(jù)資產(chǎn)化和規(guī)?；瘞?lái)的潛在價(jià)值，如何低成本且高效率地存儲(chǔ)和處理數(shù)百TB乃至EB量級(jí)的數(shù)據(jù)成為極大挑戰(zhàn)?！跋驍?shù)據(jù)要價(jià)值”使得幾乎每個(gè)行業(yè)都面臨著大數(shù)據(jù)問(wèn)題?！按髷?shù)據(jù)”引發(fā)了新一輪IT“工業(yè)革命”。

　　程學(xué)旗發(fā)布2015年大數(shù)據(jù)發(fā)展趨勢(shì)預(yù)測(cè)

　　中科院計(jì)算所研究員，CCF大數(shù)據(jù)專家委員會(huì)秘書長(zhǎng)程學(xué)旗在會(huì)上發(fā)表了大數(shù)據(jù)白皮書與發(fā)展趨勢(shì)報(bào)告?！吨袊?guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(2014年)》主要介紹了大數(shù)據(jù)的背景與動(dòng)態(tài)，大數(shù)據(jù)典型應(yīng)用，大數(shù)據(jù)技術(shù)進(jìn)展，大數(shù)據(jù)IT產(chǎn)業(yè)鏈與生態(tài)環(huán)境，以及大數(shù)據(jù)發(fā)展趨勢(shì)與建議等內(nèi)容。同時(shí)對(duì)于2015年大數(shù)據(jù)發(fā)展趨勢(shì)預(yù)測(cè)，程學(xué)旗總結(jié)為這幾個(gè)詞：融合、跨界、基礎(chǔ)、突破。

　　一、結(jié)合智能計(jì)算的大數(shù)據(jù)分析成為熱點(diǎn)，包括大數(shù)據(jù)與神經(jīng)計(jì)算、深度學(xué)習(xí)、語(yǔ)義計(jì)算以及人工智能其他相關(guān)技術(shù)結(jié)合，成為大數(shù)據(jù)分析領(lǐng)域的熱點(diǎn)。

　　二、數(shù)據(jù)科學(xué)帶動(dòng)多學(xué)科融合，隨著社會(huì)的數(shù)字化程度逐步加深，越來(lái)越來(lái)多的學(xué)科在數(shù)據(jù)層面趨于一致。可以采用相似的思想來(lái)進(jìn)行的統(tǒng)一的研究。

　　三、跨學(xué)科領(lǐng)域交叉的數(shù)據(jù)融合分析與應(yīng)用將成為今后大數(shù)據(jù)分析應(yīng)用發(fā)展的重大趨勢(shì)。

　　四、大數(shù)據(jù)將與物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、云計(jì)算、社會(huì)計(jì)算、等熱點(diǎn)技術(shù)領(lǐng)域相互交叉融合，產(chǎn)生很多綜合性應(yīng)用。物聯(lián)網(wǎng)與移動(dòng)計(jì)算加強(qiáng)了與物理世界和人的融合，大數(shù)據(jù)和云計(jì)算加強(qiáng)了后端的數(shù)據(jù)存儲(chǔ)管理和計(jì)算能力。

　　五、大數(shù)據(jù)多樣化處理模式與軟硬件基礎(chǔ)設(shè)施逐步夯實(shí)。內(nèi)存計(jì)算將繼續(xù)成為提高大數(shù)據(jù)處理性能的主要手段。以Spark為代表的內(nèi)存計(jì)算逐步走向商用，并與Hadoop融合共存，專為大數(shù)據(jù)處理優(yōu)化的系統(tǒng)和硬件出現(xiàn)，大數(shù)據(jù)處理多樣化模式并存融合，一體化融合的大數(shù)據(jù)處理平臺(tái)逐漸成為趨勢(shì)。其中有一個(gè)觀點(diǎn)這種多元化一定程度上成為一體化，未來(lái)大數(shù)據(jù)多樣化處理模式并存并且有可能成為一體化的平臺(tái)。

　　六、大數(shù)據(jù)安全和隱私持續(xù)令人擔(dān)憂。

　　七、新的計(jì)算模式將取得突破，眾包技術(shù)，可能未來(lái)不光是大數(shù)據(jù)講深度學(xué)習(xí)。

　　八、各種可視化技術(shù)和工具提升大數(shù)據(jù)分析。進(jìn)行分析之前，需要對(duì)數(shù)據(jù)進(jìn)行探索式地考察。在此過(guò)程中，可視化將發(fā)揮很大的作用。

　　九、大數(shù)據(jù)技術(shù)課程體系建設(shè)和人才培養(yǎng)是需要高度關(guān)注的問(wèn)題。

　　十、開源系統(tǒng)將成為大數(shù)據(jù)領(lǐng)域的主流技術(shù)和系統(tǒng)選擇。

　　邢波分享大數(shù)據(jù)分布式機(jī)器學(xué)習(xí)平臺(tái)

　　2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)首日的全體會(huì)議上，卡耐基梅隆大學(xué)教授邢波、ICML 2014程序主席邢波(Eric P. Xing)表示，著眼當(dāng)下大數(shù)據(jù)處理平臺(tái)，大量資源都都浪費(fèi)在集群的通訊上。即使比較優(yōu)秀的平臺(tái)，計(jì)算時(shí)間也只有20%，通訊時(shí)間占到80%，就比如Hadoop的通訊時(shí)間占到90%。

　　而他的研究小組研發(fā)出的Petuum則是一種新型的大數(shù)據(jù)分布式機(jī)器學(xué)習(xí)平臺(tái)，包含數(shù)據(jù)和程序并行兩套功能，也對(duì)機(jī)器學(xué)習(xí)的特點(diǎn)做了比較好的研究和針對(duì)性的使用。大致結(jié)構(gòu)是包含一個(gè)參數(shù)服務(wù)器，提供編程的一個(gè)虛擬并行內(nèi)存，在編程的時(shí)候不用對(duì)每個(gè)機(jī)器進(jìn)行單獨(dú)通訊，還有一個(gè)叫做調(diào)度器，能夠?qū)δＰ瓦M(jìn)行有效的分割，甚至是動(dòng)態(tài)分割，然后做分布化。

　　這個(gè)參數(shù)服務(wù)器有一個(gè)編程界面，在寫內(nèi)存讀取不需要對(duì)每一個(gè)機(jī)器做特殊的指令，使用了比較巧妙的所謂半同步的協(xié)調(diào)機(jī)制，這樣可以顯著降低使用在通訊上的時(shí)間，而加強(qiáng)在計(jì)算上的時(shí)間，所以隨著半同步參數(shù)的調(diào)整，通訊時(shí)間會(huì)顯著下降，降到了甚至比計(jì)算時(shí)間還要少，這樣使計(jì)算機(jī)的資源得到最大量的利用。

　　Petuum也是開源項(xiàng)目，目前的觀察不光可以達(dá)到很大量，基本上等價(jià)于現(xiàn)在最好的系統(tǒng)。根據(jù)邢波教授剛剛收到學(xué)生最新送來(lái)的結(jié)果，很讓人驚訝，還有一個(gè)組用這個(gè)系統(tǒng)跟Spark和Hadoop做了獨(dú)立比較。Petuum系統(tǒng)的愿景既包含軟件和底層軟件的支持，目前也是在Hadoop生態(tài)系統(tǒng)里的一個(gè)分子，這個(gè)系統(tǒng)可以開放給大家下載以后做自己的開發(fā)。

　　余凱：深度學(xué)習(xí)將扮演人工智能時(shí)代關(guān)鍵角色

　　百度研究院副院長(zhǎng)，深度學(xué)習(xí)實(shí)驗(yàn)室主任，圖片搜索部高級(jí)總監(jiān)余凱介紹了百度在人工智能方面的發(fā)展。對(duì)于互聯(lián)網(wǎng)公司來(lái)說(shuō)最重要的技術(shù)是基于大數(shù)據(jù)的人工智能。什么是人工智能?感知、思考和控制是人工智能的幾個(gè)重要方面。真正智能的系統(tǒng)，是隨著經(jīng)驗(yàn)的演化，越變?cè)铰斆?而經(jīng)驗(yàn)就是數(shù)據(jù)。

　　余凱在演講中認(rèn)為：人工智能的本質(zhì)特征之一是學(xué)習(xí)的能力，也就是說(shuō)系統(tǒng)的能力能否隨著經(jīng)驗(yàn)數(shù)據(jù)的積累而不斷演化和提升。所以大數(shù)據(jù)時(shí)代的到來(lái)給人工智能的發(fā)展提供前所未有的機(jī)遇。在這個(gè)時(shí)代背景下，深度學(xué)習(xí)在各個(gè)方面所取得的突破性進(jìn)展并非偶然，因?yàn)閺慕y(tǒng)計(jì)和計(jì)算的角度來(lái)說(shuō)，深度學(xué)習(xí)可能是目前我們能找到的最好的方法，用于在海量數(shù)據(jù)中尋找復(fù)雜的規(guī)律。

　　除此以外，他認(rèn)為深度學(xué)習(xí)還有兩個(gè)顯著優(yōu)點(diǎn)：首先，它是一套豐富的建模語(yǔ)言，或者說(shuō)是建?？蚣?，我們可以用這套語(yǔ)言系統(tǒng)來(lái)表達(dá)數(shù)據(jù)內(nèi)在的豐富關(guān)系和結(jié)構(gòu)，比如圖像中的2D空間結(jié)構(gòu)，自然語(yǔ)言的時(shí)序結(jié)構(gòu);其次，深度學(xué)習(xí)是幾乎唯一的end-to-end的機(jī)器學(xué)習(xí)系統(tǒng)，它的目標(biāo)是直接作用于原始數(shù)據(jù)，自動(dòng)逐層做數(shù)據(jù)特征變換，整個(gè)學(xué)習(xí)過(guò)程直接優(yōu)化某個(gè)問(wèn)題相關(guān)的目標(biāo)函數(shù)，而傳統(tǒng)的機(jī)器學(xué)習(xí)往往被分解為幾個(gè)不連貫的步驟，并非一致優(yōu)化某個(gè)整體的目標(biāo)。所以，萬(wàn)物互聯(lián)的時(shí)代，數(shù)據(jù)暴增，也意味著人工智能時(shí)代的來(lái)臨，深度學(xué)習(xí)將扮演關(guān)鍵性角色。從現(xiàn)在到2020年，我們將看到人工智能在語(yǔ)音識(shí)別，計(jì)算機(jī)視覺(jué)，自然語(yǔ)言理解，機(jī)器人，自動(dòng)駕駛等領(lǐng)域的持續(xù)突破性進(jìn)展。

　　智能化時(shí)代：大數(shù)據(jù)會(huì)與深度學(xué)習(xí)劃等號(hào)么?

　　本次會(huì)議的組織者安排了媒體對(duì)幾位專家的群訪。我向李國(guó)杰院士等專家提出了一個(gè)問(wèn)題：“剛剛程學(xué)旗秘書長(zhǎng)說(shuō)大數(shù)據(jù)專委會(huì)的專家們投票選擇明年的大數(shù)據(jù)技術(shù)趨勢(shì)是說(shuō)大數(shù)據(jù)跟神經(jīng)計(jì)算和人工智能相結(jié)合，有一些委員說(shuō)明年首先是對(duì)國(guó)內(nèi)大型互聯(lián)網(wǎng)公司在推動(dòng)大數(shù)據(jù)發(fā)展方面有更多期待，這是否意味著2015年大數(shù)據(jù)跟人工智能劃等號(hào)，或者是跟深度學(xué)習(xí)劃等號(hào)了呢?”

　　【李國(guó)杰】那么多專家把大數(shù)據(jù)和人工智能劃等號(hào)，但不僅是大數(shù)據(jù)，整個(gè)智能化技術(shù)，是中國(guó)未來(lái)一段時(shí)間很重要的方向。過(guò)去幾十年是數(shù)字化，接下來(lái)是自動(dòng)化，然后是網(wǎng)絡(luò)化，智能化也做過(guò)，但是相對(duì)來(lái)說(shuō)不是那么看重，但是越到后來(lái)，現(xiàn)在發(fā)現(xiàn)智能化的要求越來(lái)越高，希望它對(duì)產(chǎn)業(yè)方面貢獻(xiàn)越來(lái)越大。所以智能化一定是很重要的一個(gè)主題詞。但是智能化沒(méi)有止境，打個(gè)比方，好象人的影子似的，太陽(yáng)在那邊照著，老想踩著影子，永遠(yuǎn)是個(gè)邊界。原來(lái)認(rèn)為是智能的東西現(xiàn)在認(rèn)為不智能了。

　　現(xiàn)在智能化跟我們大家關(guān)心的經(jīng)濟(jì)新常態(tài)都扯了一點(diǎn)邊。因?yàn)橹袊?guó)經(jīng)濟(jì)以前是靠要素驅(qū)動(dòng)，現(xiàn)在GDP增長(zhǎng)變慢了，下一步要提高GDP，靠人腦的創(chuàng)新。以前這么多年搞來(lái)搞去，是靠“筋肉”延伸，靠汗水。而未來(lái)人工智能靠創(chuàng)新，靠腦筋。

　　這是一個(gè)新時(shí)代的開始，所以所謂新常態(tài)不是往下降了，我覺(jué)得是往上升了，提升成大家更往智力上想辦法。環(huán)境污染，資源耗盡的矛盾會(huì)降低一些。因?yàn)橄哪X子和消耗資源是兩種問(wèn)題，但是消耗腦子可能會(huì)引起世界上兩極社會(huì)非常嚴(yán)重，收入等可能差幾倍，聰明的人與不聰明的人將來(lái)在社會(huì)上的差距，更有所體現(xiàn)。怎么讓全社會(huì)更加公平，更加普惠大眾，這是一個(gè)新的課題。

　　【邢波】您剛才那個(gè)問(wèn)題是說(shuō)大數(shù)據(jù)跟人工智能和深度學(xué)習(xí)怎么劃等號(hào)?是這么一個(gè)關(guān)系，大數(shù)據(jù)是一個(gè)研究對(duì)象，人工智能是一個(gè)目標(biāo)，我們要達(dá)到人工智能的目標(biāo)，要理解數(shù)據(jù)，方法論是機(jī)器學(xué)習(xí)或者是智能計(jì)算。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)里面十個(gè)手指頭里面的一個(gè)指頭。比如剛剛這位老師講到的網(wǎng)絡(luò)安全，要對(duì)加密數(shù)據(jù)做一個(gè)分類，就無(wú)法用深度學(xué)習(xí)去解決。所以三者的關(guān)系不是等號(hào)的關(guān)系，甚至沒(méi)有互相包容的關(guān)系，還是不同層面的說(shuō)法。像深度學(xué)習(xí)在人工智能、機(jī)器學(xué)習(xí)里面什么地方可以用，什么地方不可以用，在學(xué)業(yè)界和工業(yè)界大家都是非常清楚的。不太成熟的我們就慢慢去研究，但是這并不代表深度學(xué)習(xí)就是包羅萬(wàn)象。

　　最近有一些社會(huì)人士，比如像霍金，像特斯拉CEO，他們說(shuō)人工智能將導(dǎo)致革命，或者是人工智能將比人類更加強(qiáng)大，這應(yīng)該是科普和娛樂(lè)性的話題，不應(yīng)該當(dāng)真。人工智能不是取代人類的課題，它要做的事情應(yīng)該是人不能做的。比如人工智能，沒(méi)有哪個(gè)科學(xué)家有極大的興趣做仿生機(jī)器人。所以仿生和人工智能是兩件事，工程層面和技術(shù)成功仿生的例子并不是很多，大家是通過(guò)仿生做一些科普宣傳，比如說(shuō)飛機(jī)。飛機(jī)原理和鳥的飛翔原理完全不一樣，機(jī)器學(xué)習(xí)跟大腦運(yùn)行原理完全不一樣，他們講的只是普及工作。對(duì)人工智能我們不能把它與深度學(xué)習(xí)劃等號(hào)，就像說(shuō)研究人腦就能達(dá)到人工智能。

　　【程學(xué)旗】我比較贊同邢波教授的觀點(diǎn)，即肯定不能把大數(shù)據(jù)和人工智能劃等號(hào)，大數(shù)據(jù)本身未來(lái)也可以作為學(xué)科，但是它目前還是一個(gè)現(xiàn)象。但是另外一方面看，大家討論的結(jié)論里面，我們叫智能計(jì)算，也就是說(shuō)大數(shù)據(jù)計(jì)算里面怎么體現(xiàn)它的智能，或者解決智能方面的問(wèn)題，這可能是我們未來(lái)一段時(shí)間內(nèi)學(xué)術(shù)界和工業(yè)界關(guān)心的問(wèn)題，包括機(jī)器智能，人工智能，各種智能。

　　人工智能到底解決什么問(wèn)題?解決人的思考?還是解決人的預(yù)測(cè)，還是解決現(xiàn)象?人工智能它的機(jī)理是什么，簡(jiǎn)單來(lái)講至少大數(shù)據(jù)可以在人工智能做預(yù)測(cè)決策的范疇起到促進(jìn)作用。本文來(lái)自：CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)