本文由經(jīng)管之家小編整理自大數(shù)據(jù)工委會(huì)主任張華平在“2015中國數(shù)據(jù)分析師行業(yè)峰會(huì)”的演講，如需轉(zhuǎn)載請注明出處。

非常榮幸有這個(gè)機(jī)會(huì)跟大家來談一談非結(jié)構(gòu)化大數(shù)據(jù)分析，今天我們講到了很多數(shù)據(jù)分析。其實(shí)更多的層面，我聽到的除了袁博士講到的之外，我想跟大家分享一個(gè)概念?，F(xiàn)在的大數(shù)據(jù)，可以說有結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。結(jié)構(gòu)化的數(shù)據(jù)大家比較清楚，比如說各種各樣的數(shù)據(jù)庫。這種數(shù)據(jù)庫，現(xiàn)實(shí)生活中絕大部分?jǐn)?shù)據(jù)是沒有辦法處理的，現(xiàn)在我們非結(jié)構(gòu)化的數(shù)據(jù)規(guī)模是結(jié)構(gòu)化數(shù)據(jù)的100倍以上，所以它的體量非常大。

我今天的題目主要跟大家講社會(huì)化新媒體與非結(jié)構(gòu)化大數(shù)據(jù)分析。其實(shí)我們在座的企業(yè)和這個(gè)也很像，我們先看一看網(wǎng)絡(luò)發(fā)生了什么樣的變化，最早的天涯，包括現(xiàn)在的微博、QQ、微信。現(xiàn)在我們發(fā)展到新媒體的時(shí)代，但是我們傳統(tǒng)行業(yè)目前的模式還是什么樣的狀態(tài)呢？大家可以看到這是我們經(jīng)?？吹降膱鼍?，以后還會(huì)經(jīng)?？吹健?/span>

總體的感覺是，現(xiàn)在我們的網(wǎng)絡(luò)3.0時(shí)代或者是我們到了社會(huì)化新媒體時(shí)代。但是我們政府的管理以及現(xiàn)在企業(yè)很大程度上還在1.0版本，企業(yè)稍微好一點(diǎn)充其量是在2.0版本。最直接的結(jié)果是當(dāng)它們之間發(fā)生沖撞的時(shí)候會(huì)發(fā)生很多的矛盾和沖突，有很多匪夷所思的事情源于這兩個(gè)版本不對等所造成的。

今天有很多人質(zhì)疑大數(shù)據(jù)，到底什么是大數(shù)據(jù)？說難聽一點(diǎn)，現(xiàn)在我聽到更多的只有數(shù)據(jù)大，數(shù)據(jù)大并不是大數(shù)據(jù)。我來個(gè)舉例子，比如說手機(jī)監(jiān)控，手機(jī)監(jiān)控的數(shù)據(jù)確實(shí)很大，它大到什么樣的地步呢？我在央視專門做過一個(gè)解說，所有的實(shí)驗(yàn)我都做過，現(xiàn)在我們拿到的數(shù)據(jù)量還不算太大。

手機(jī)監(jiān)控的原理我不解釋了，我們來看一看，假如說每個(gè)人的手機(jī)，突然有一個(gè)人告訴我你出現(xiàn)在什么地方，這沒有什么了不得的，用數(shù)據(jù)可以檢索出來，僅此而已。如果這個(gè)歸結(jié)為大數(shù)據(jù)，其實(shí)就差了很多。我們看這里面，這種表層的數(shù)據(jù)之后我們來做哪些事情。比如說我們可以推算出幾個(gè)活動(dòng)規(guī)律，比如說起床你的作息規(guī)律，包括一個(gè)官員什么時(shí)候去過澳門賭博，這里面的數(shù)據(jù)都可以發(fā)現(xiàn)。

除此之外，我們還可以推算出他的職業(yè)和性別。因?yàn)槲覀冎缹π詣e的判別，其實(shí)在經(jīng)濟(jì)學(xué)系里是非常簡單的問題。我們用貝葉斯，不需要那么多深入的分析的方法就可以非常高速的識(shí)別，我們的準(zhǔn)確率大概95%以上，我們可以很清楚地知道女性和男性去的地方是不一樣的。

更加恐怖的是，在這個(gè)過程當(dāng)中我們可以分析出這個(gè)人整個(gè)的社交圈。比如說白天你更多是和你的合作伙伴在一起，如果是晚上，可能是和你的家里人在一起更多，我們看到大數(shù)據(jù)的洞察。我對大數(shù)據(jù)的理解，其實(shí)更多的是來源于我們用各種各樣的數(shù)據(jù)對人進(jìn)行完整的洞察。

一、社會(huì)化新媒體

所以我今天主要會(huì)跟大家分享社會(huì)化新媒體非結(jié)構(gòu)化大數(shù)據(jù)、大數(shù)據(jù)搜索與挖掘關(guān)鍵技術(shù)，新媒體分析實(shí)戰(zhàn)案例。社會(huì)化新媒體，大家可以看到現(xiàn)在的新舊媒體，包括《紐約時(shí)報(bào)》要抵押大樓，我們的彪哥要去收購大樓等等，我們可以看到這里面的變化，這原來是不可想象的事情。包括我們中央級的媒體也好不到哪里去，現(xiàn)在包括我們知道香港有很多傳統(tǒng)比較好的報(bào)紙都處于倒閉的狀態(tài)。是不是媒體不行了呢？其實(shí)恰恰相反，我們社會(huì)化的媒體，比如說《今日頭條》，我們不生產(chǎn)新聞，我們只是做新聞的搬運(yùn)工。所以這里面我們能看到全球的搜索市場變化，我們能夠清楚地看到像Google它的搜索量，百度只是它的1/4。我們可以看到傳統(tǒng)媒體央視，我們看2012年的百度，現(xiàn)在我們可以看到百度占的市場份額非常大，包括它的新媒體。

為什么會(huì)造成這種現(xiàn)象，我們做了一些分析可以看到，媒體內(nèi)容的生產(chǎn)，實(shí)際上它的生產(chǎn)過程耗費(fèi)非常大。在利益分配的時(shí)候是這么一個(gè)情況，生產(chǎn)遠(yuǎn)遠(yuǎn)小于品牌渠道，渠道遠(yuǎn)遠(yuǎn)小于品牌，品牌遠(yuǎn)遠(yuǎn)小于社群。比如說寫書的不如賣書的，賣書的不如賣粉絲的。現(xiàn)在我們有更好的像《小時(shí)代》，主流媒體對它批判很多，但是一點(diǎn)不影響它的票房。我們看一下主要的原因在于傳統(tǒng)媒體是內(nèi)容為王，新媒體更注重用戶。

我收集了一些傳統(tǒng)媒體各種比較匪夷所思的事情。比如說有害氣體，臺(tái)北人民23年不吃不喝才能買得起房。當(dāng)然還有一些更多的情況是這種的，比如說欒川風(fēng)傳潰壩的傳說，還有就是三峽大壩可抵御百年一遇的大洪水，現(xiàn)在我們已經(jīng)討論了很多年。

社會(huì)化媒體，剛才講到了什么是社會(huì)化媒體，我們簡單的來講，就是社會(huì)關(guān)系+傳媒。傳統(tǒng)媒體實(shí)際不太注重社會(huì)關(guān)系。我們可以看到，社會(huì)化媒體的發(fā)展歷程，從1.0的BBS，到后期的即時(shí)通訊，再到Web2.0的博客，視頻和社區(qū)，以及到現(xiàn)在的微博、微信，按照一些特點(diǎn)我就不去分析。

我們從信息傳播的角度來看，傳播的要素這是我們總結(jié)的圖，比如主題，我想表達(dá)我的主題，時(shí)機(jī)，最后把這個(gè)信息傳播給受眾。最終傳播的渠道就是我們所謂的媒介。

我們來比較一下，傳統(tǒng)媒體和新媒體的差別在哪里？這里面我們要看到新媒體的內(nèi)容是非正式的，大家來看為什么當(dāng)年新浪極力推博客，博客始終火不了？微博和博客的差別在哪里呢？其實(shí)就是一個(gè)小的變化，說我們原來是要求像小學(xué)生寫日記一樣，寫長篇大論，現(xiàn)在140字就可以了，這就導(dǎo)致了內(nèi)容的非正式。還有這里是更多的多對多點(diǎn)，一個(gè)社交型的。尤其想強(qiáng)調(diào)的是現(xiàn)在在新媒體的環(huán)境下，它是一個(gè)對等交流，比如說我們CCTV和人民日報(bào)，它更多的是政治宣傳，這就相當(dāng)于它是一個(gè)在農(nóng)村的大喇叭廣播，我在這里廣播，我不需要大家反饋，大家聽著就好了。為什么現(xiàn)在一些政府，包括一些大的媒體在社交網(wǎng)絡(luò)上已經(jīng)成為了一個(gè)弱勢群體，反而一些草根大V做的非常好，原因就在于他們沒有把握他的場景變化。現(xiàn)在新媒體環(huán)境下更像是不站在臺(tái)上講，而是搬著椅子坐在你旁邊講。

我們再來看看內(nèi)容的，這里有一些技巧，這有一個(gè)“三情”的理論。尤其現(xiàn)在比較火的傳播，基本利用了人的基本需求，尤其是生理需求和安全需求。大家看一看現(xiàn)在很多的新聞網(wǎng)站，都在利用打擦邊球，會(huì)經(jīng)常放一個(gè)看上去，我剛剛還看了一條，讓我們來看看河南的情色大片，點(diǎn)進(jìn)去一看是它們很好的美景。安全需求，就是像你不轉(zhuǎn)就不是中國人。還有就是在情緒方面的，具體在中國的表現(xiàn)就是仇官、仇富情緒。我經(jīng)常舉例子講，如果我們想要攻擊一個(gè)人，我們只需要說幾句話就可以，說這個(gè)人開著瑪莎拉蒂來上學(xué)，他的背景很深，具體有多深我不知道。這有兩個(gè)就夠了，這個(gè)過程當(dāng)中，仇官仇富情緒一引發(fā)，這過程沒有人追蹤他是誰，所有的情緒都過來了。

還有像代入感，像我們現(xiàn)在經(jīng)常傳播的時(shí)候經(jīng)常用的一些詞：“深深震撼”、“激發(fā)夢想”、“樂享生活”。還有像我去要飯，左邊說無家可歸，幫幫我吧。右邊說，如果你餓了，會(huì)怎么辦？這個(gè)在新媒體上大家會(huì)經(jīng)常用這樣的技巧，就是讓你感覺你在饑餓。還有我們經(jīng)?？吹绞謾C(jī)發(fā)布會(huì)，說我的手機(jī)有什么樣的技術(shù)參數(shù)，有64G閃存，其實(shí)這時(shí)候?qū)?4G都沒有什么概念。還有其他的講述的方式，我們可以看到好好學(xué)習(xí)的一些內(nèi)容。再比如說漫畫，這個(gè)實(shí)際在內(nèi)容的傳播方式也在發(fā)生變化。還有角色的扮演，還有很多話題，它的主題創(chuàng)意，我們常見的是像這種政府發(fā)的通知，說幾層幾層的緊急通知。實(shí)際上在我黨歷史上，傳播最厲害的，就是打土豪分田地，六個(gè)字，一般農(nóng)民都看懂了。這么多年來我們看到表叔，微笑局長，房姐，這就起到了很好的借用。

二、非結(jié)構(gòu)化大數(shù)據(jù)

我們切入到非結(jié)構(gòu)化大數(shù)據(jù)。我在說我看法之前給大家解釋一下我所理解的大數(shù)據(jù)是什么，我所理解的是，大家能看到十幾張圖片實(shí)際上是一個(gè)普通的信息，我不用說要多大的數(shù)據(jù)，我十幾張就Ok了。這樣疊加在一起就產(chǎn)生一個(gè)1+1>2的效果，在這個(gè)過程中我們可以獲取知識(shí)。實(shí)際上大數(shù)據(jù)的過程是信息疊加，產(chǎn)生知識(shí)的過程。

大數(shù)據(jù)給我們帶來的是決策方式的變化。我們在決策的時(shí)候四個(gè)要素，主體、依據(jù)、機(jī)制、效率。像《富春山居圖》，這很爛的片，當(dāng)時(shí)它的票房很好，原因也很簡單，它是一個(gè)審丑效應(yīng)，大家都想看它有多爛，所以最后還是拿了那么高的票房。但是這個(gè)片子就沒這么幸運(yùn)了，《失孤》，它非得讓大家來看，說劉德華扮演農(nóng)民工是什么樣子。大家看到，最終的票房也差，口碑也很差。原因很簡單，它的決策流程是傳統(tǒng)的小數(shù)據(jù)模式，就是因?yàn)槲易鳛槔习鍋碚f，我就喜歡劉德華，所以我非得選劉德華不可。當(dāng)然也有好的例子，像唱小蘋果的老男孩，這個(gè)實(shí)際上應(yīng)用在業(yè)務(wù)庫有一個(gè)三分鐘的視頻，有幾百萬人的訪問，把這些人數(shù)據(jù)拿過來分析，這個(gè)是根據(jù)消費(fèi)者，洞察他們的需求作出的決策。

有很多特征，我把它中國化的理解，實(shí)際上就是多快好省。大數(shù)據(jù)不是說投大量資金建立一個(gè)大數(shù)據(jù)中心，實(shí)際上現(xiàn)在大數(shù)據(jù)的技術(shù)和結(jié)構(gòu)是能夠以很小的性價(jià)比獲得更好的價(jià)值。所有的大數(shù)據(jù)實(shí)際上是由無數(shù)的小數(shù)據(jù)組合而成，像袁博士講到的大數(shù)據(jù)和小數(shù)據(jù)的差別。有時(shí)候大數(shù)據(jù)的精髓在小數(shù)據(jù)上。所以在認(rèn)識(shí)的方式上，我們第一個(gè)，知著見微。知著就是宏觀分析。最后一點(diǎn)，就是曉意，如果對語義不了解的話，有時(shí)候也理解不到。我們終極的目標(biāo)是讓計(jì)算機(jī)來自動(dòng)理解人類的語言。最后，我們對客觀世界的洞察，是我們通過人類自然語言來完成的。

我最終的結(jié)論，大數(shù)據(jù)更大意義上是非結(jié)構(gòu)化內(nèi)容的理解，因?yàn)榻Y(jié)構(gòu)化數(shù)據(jù)我們在大數(shù)據(jù)之前，我們通過數(shù)據(jù)挖掘各種各樣工具，基本上來說沒有新的問題和挑戰(zhàn)了。我們最終的目標(biāo)實(shí)際上就是我們希望從大數(shù)據(jù)里獲得大的洞察力，這就實(shí)現(xiàn)我們?nèi)チ私庹l，什么時(shí)間，我們在做什么樣的事情。

三、大數(shù)據(jù)搜索與挖掘關(guān)鍵技術(shù)

這里的關(guān)鍵技術(shù)，我給大家看一些例子。我們實(shí)驗(yàn)室的在線演示，我們來訪問一下新浪新聞，我們就拿第一篇的新聞來說，我跟大家稍微解說一下。首先我們整個(gè)的分析平臺(tái)，在這個(gè)地方是可以輸入你任何網(wǎng)頁，如果你不輸入的話，我們系統(tǒng)可能是瀏覽器的問題會(huì)自動(dòng)抓取一篇新浪網(wǎng)最新的文章，這是剛才的一篇文章，給大家展示一下。第一個(gè)，我們會(huì)把剛才的文章進(jìn)行切分，比如說昨日，因?yàn)槲覀冎涝谥形睦铮覀兪遣蛔隹崭?，之后再做色線標(biāo)注。像這里的橘色表示的是時(shí)間，當(dāng)講到國務(wù)院李克強(qiáng)，李克強(qiáng)是人的名字，所以這里我們會(huì)做自動(dòng)的識(shí)別，大家會(huì)看到，非結(jié)構(gòu)化語義理解，完全的會(huì)直接的識(shí)別所有的這些工作。

另外，大家可以看到用戶自定義詞，這個(gè)過程當(dāng)中你可以把自己專業(yè)的詞匯定義進(jìn)去。比如說華為，每一部新的手機(jī)都在用我們的工具，它定義了衣食住行各種各樣的專業(yè)術(shù)語。比如跟美食相關(guān)的大概有幾萬個(gè)詞，所以這里可以看到我們的分析。

前面都是自動(dòng)生成的，大家可以訪問我們的網(wǎng)址。這是一個(gè)詞關(guān)聯(lián)。這里面大家看到，比如，卡爾這個(gè)詞我們會(huì)關(guān)聯(lián)到卡爾馬克思等等這樣的詞，對于這樣的詞我們會(huì)進(jìn)行十幾次的關(guān)聯(lián)訓(xùn)練，所以每個(gè)詞我們都會(huì)看到。

我們來看我們已經(jīng)分析好的一個(gè)效果，這里展示的是這篇文章當(dāng)中出現(xiàn)了哪些人，哪些地方和哪些機(jī)構(gòu)，以及有哪些主題，這個(gè)會(huì)自動(dòng)的計(jì)算出來。對詞的理解上面，我們很多情況下是需要了解名詞、動(dòng)詞、形容詞的變化，還有一些情感分析，我們會(huì)分析出這篇文章是正面的還是負(fù)面的情感，同時(shí)可以輸入一個(gè)產(chǎn)品，能夠把這個(gè)文章對這個(gè)產(chǎn)品的正負(fù)面做一個(gè)計(jì)算。還有自動(dòng)的打拼音，還有我們一篇文章可以用250個(gè)字或者300個(gè)字，把你的意思做一個(gè)自動(dòng)的摘要。

這里我介紹一下我們做的一套大數(shù)據(jù)搜索引擎。像語法，我就一些負(fù)面消息，這個(gè)負(fù)面消息要在12次以上等等，這里可以看到一些效果。像搜查土豆，會(huì)出馬鈴薯，并且對搜索進(jìn)行分類。一旦這里的數(shù)據(jù)發(fā)生變化，我們10秒鐘內(nèi)就會(huì)體現(xiàn)出來。還有對維吾爾語的搜索。我們還提供了二次開發(fā)包，現(xiàn)在在Linux等等上面都可以使用我們的系統(tǒng)。還有像對十八大理解和科學(xué)發(fā)展觀等等都是自動(dòng)算出來的。以及自動(dòng)的發(fā)現(xiàn)甲流的問題，還有用我們的工具做用戶的畫像，我們還會(huì)分析人的情緒變化，大家看到藍(lán)色部分的人情緒波動(dòng)非常厲害，還有我們對價(jià)值觀的分析，我們看到比如說我們剛剛宣判的郭美美，我們計(jì)算的結(jié)果，就是她的安全項(xiàng)非常低，所以她的一些行為大家容易理解，極度自卑會(huì)導(dǎo)致她用炫耀的方式來彌補(bǔ)。

四、新媒體分析實(shí)戰(zhàn)案例

后面的案例部分，我們把馬英九兩年來兩次的就職演說做一個(gè)對比。我們大家看一看，兩岸的問題變得越來越重要。比如說把汪峰所有的歌拿過來，最后可以寫一個(gè)汪峰的歌。比如說國家氣象局，我們把過去五年以來所有的天氣預(yù)報(bào)做了一個(gè)分析。在社交網(wǎng)絡(luò)上專門抓失獨(dú)老人這個(gè)詞，主要的技術(shù)方案實(shí)際上是利用內(nèi)容和社會(huì)關(guān)系。大家可以看到左邊所有的變化是我們會(huì)根據(jù)已有的關(guān)系來發(fā)現(xiàn)親人。

簡單來講，我們建一個(gè)候選人名單，如果候選人名單里面有三個(gè)這個(gè)不是偶然現(xiàn)象。現(xiàn)在我們在社交網(wǎng)上有一萬多個(gè)失獨(dú)老人。這是新媒體的編輯器，這是地域劃分，包括在國內(nèi)，以及在美國和國外分布的情況。這張圖大家可以看清楚，這是草根的觀點(diǎn)，以及所有大V的觀點(diǎn)和媒體的觀點(diǎn)。中國地圖表示的是中國國內(nèi)和體制內(nèi)的媒體對這件事情的評價(jià)，這是國際媒體。大家基本上可以看到國際媒體和國內(nèi)媒體關(guān)注點(diǎn)完全不一樣。