重視非結(jié)構(gòu)化數(shù)據(jù)分析 走出兩大“經(jīng)典”誤區(qū)

雖然基本上國(guó)內(nèi)大部分公司，言必提“大數(shù)據(jù)”，但是對(duì)于大部分CIO、CTO們來(lái)說(shuō)，對(duì)數(shù)據(jù)的分析仍然停留在過(guò)去的階段：對(duì)于非結(jié)構(gòu)化數(shù)據(jù)分析的成熟度還遠(yuǎn)遠(yuǎn)落后于結(jié)構(gòu)化數(shù)據(jù)。

但是現(xiàn)在移動(dòng)端所帶來(lái)的爆發(fā)式增長(zhǎng)給大數(shù)據(jù)從業(yè)者帶來(lái)了非常大的挑戰(zhàn)，這些數(shù)據(jù)有很多是非結(jié)構(gòu)化數(shù)據(jù)，充斥了人們交流的空間，相應(yīng)的，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析也變得越來(lái)越重要——對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析、提取出有價(jià)值的東西，成為CIO、CTO們最關(guān)注的問(wèn)題。

但是目前，很多人仍有非結(jié)構(gòu)化數(shù)據(jù)分析等同于輿情分析的粗暴認(rèn)知。

非結(jié)構(gòu)化數(shù)據(jù)分析就是輿情分析？錯(cuò)!

“非結(jié)構(gòu)化數(shù)據(jù)分析就是輿情分析，這個(gè)技術(shù)中國(guó)現(xiàn)在已經(jīng)發(fā)展的很快了?！鳖?lèi)似這樣的言論在CIO、CTO們的交流中屢見(jiàn)不鮮。

但是美國(guó)數(shù)據(jù)分析科學(xué)家、美國(guó)非結(jié)構(gòu)化數(shù)據(jù)分析鼻祖企業(yè)Taste Analytics創(chuàng)始人及全美五大可視化研究中心的Derek Wang（汪曉宇）博士告訴記者，事實(shí)上這是完全不對(duì)的，輿情分析其實(shí)僅是非結(jié)構(gòu)化數(shù)據(jù)分析的一部分。

輿情分析，是人們通過(guò)先前經(jīng)驗(yàn)制定監(jiān)控的KPI以及監(jiān)控模型，而后通過(guò)模型預(yù)知和監(jiān)控未來(lái)風(fēng)險(xiǎn)的過(guò)程。

但是真正的非結(jié)構(gòu)化數(shù)據(jù)分析，是一個(gè)由數(shù)據(jù)驅(qū)動(dòng)（Data-driven）的語(yǔ)義分析加輿情分析的整體過(guò)程，這比單純的輿情分析更具科學(xué)性，內(nèi)涵更豐富。

首先，輿情分析具有滯后性，而非結(jié)構(gòu)化數(shù)據(jù)分析具有前瞻性。

輿情分析是一個(gè)先建詞庫(kù)、后驗(yàn)證的過(guò)程。舉例來(lái)說(shuō)，比如公司要監(jiān)控某次危機(jī)，輿情分析就需要先將與這個(gè)危機(jī)有關(guān)的詞匯建立到學(xué)習(xí)范本里，一旦隨后的搜索監(jiān)控結(jié)果與范本里的詞匯有所匹配，那么就說(shuō)明已經(jīng)出現(xiàn)了這個(gè)趨勢(shì)。

可以看到，這是一個(gè)后驗(yàn)的過(guò)程，但是，非結(jié)構(gòu)化數(shù)據(jù)分析則是機(jī)器從未知的數(shù)據(jù)里實(shí)時(shí)提取出重要的關(guān)鍵信息，作為未來(lái)輿情建模的基礎(chǔ)性標(biāo)準(zhǔn)，具有明顯的前瞻性。

“語(yǔ)義分析其實(shí)是輿情分析的對(duì)立面。輿情是你知道這件事再去監(jiān)測(cè)，而非結(jié)構(gòu)化數(shù)據(jù)分析則是不知道的時(shí)候去挖掘、建立監(jiān)測(cè)的模型。一旦數(shù)據(jù)容量呈爆炸式增長(zhǎng)或流行詞匯更新?lián)Q代，非結(jié)構(gòu)化數(shù)據(jù)分析可以實(shí)時(shí)更新學(xué)習(xí)范本，重新定義監(jiān)控模型?！盌erek Wang博士說(shuō)。

第二，輿情分析會(huì)依賴(lài)于人們的經(jīng)驗(yàn)來(lái)建立模型，而非結(jié)構(gòu)化數(shù)據(jù)則是數(shù)據(jù)驅(qū)動(dòng)，更為客觀科學(xué)。

“雖然輿情監(jiān)控也有機(jī)器學(xué)習(xí)的技術(shù)在里面，但是最大不同在于，它是一個(gè)后驗(yàn)的過(guò)程?！盌erek Wang博士說(shuō)，“這要求人們先要有這個(gè)經(jīng)驗(yàn)去建模和監(jiān)測(cè)?！?

而語(yǔ)義分析是非結(jié)構(gòu)化數(shù)據(jù)分析里的一個(gè)重要部分，相對(duì)于輿情分析需要先建立相關(guān)的詞匯庫(kù)，語(yǔ)義分析則是一個(gè)用機(jī)器學(xué)習(xí)的方法從數(shù)據(jù)源里提取出關(guān)鍵信息的過(guò)程。由于它是通過(guò)統(tǒng)計(jì)學(xué)和深度學(xué)習(xí)的方法產(chǎn)生，所以能保證科學(xué)性，更客觀自然地把文檔里的關(guān)鍵信息提取出來(lái)。

第三，人機(jī)互動(dòng)可以補(bǔ)足技術(shù)短柄。

真正的非結(jié)構(gòu)化數(shù)據(jù)分析，比如Taste Analytics研發(fā)出來(lái)的技術(shù)，不僅包括輿情分析和語(yǔ)義分析，更為關(guān)鍵的是，還加上了人機(jī)互動(dòng)的創(chuàng)新機(jī)制，涵蓋了整個(gè)非結(jié)構(gòu)化數(shù)據(jù)分析全過(guò)程——從語(yǔ)義分析到人機(jī)互動(dòng)，再到輿情分析，三者缺一不可。

據(jù)記者了解，目前美國(guó)工業(yè)界已經(jīng)充分認(rèn)可了這種三位一體的非結(jié)構(gòu)化分析理念：在語(yǔ)義分析的結(jié)果基礎(chǔ)上，企業(yè)內(nèi)部分析師對(duì)機(jī)器學(xué)習(xí)的結(jié)果進(jìn)行學(xué)習(xí)和KPI篩選，而后再建立輿情模型，進(jìn)行長(zhǎng)時(shí)間監(jiān)控。

這樣合理地整合“輿情”加“語(yǔ)義”兩大技術(shù)系統(tǒng)，再把企業(yè)內(nèi)部分析師的主觀能動(dòng)性有機(jī)結(jié)合起來(lái)，才能實(shí)現(xiàn)客觀的數(shù)據(jù)分析。

美國(guó)一家知名銀行的受訪人士也表示，此前他們委托第三方建立的輿情體系，其實(shí)最終效果并不讓人滿(mǎn)意?！鞍凑杖藶榻?jīng)驗(yàn)建立的輿情體系下，監(jiān)控和分析的結(jié)果都很片面，”對(duì)方稱(chēng)，“所以我們最終還是轉(zhuǎn)向了Taste Analytics結(jié)合輿情、語(yǔ)義和人機(jī)互動(dòng)的更加客觀高效的非結(jié)構(gòu)化數(shù)據(jù)分析服務(wù)?！?

非結(jié)構(gòu)化數(shù)據(jù)分析就是情感分析？錯(cuò)！

不僅國(guó)內(nèi)，即使在美國(guó)，非結(jié)構(gòu)化數(shù)據(jù)分析也屬于非常前沿的技術(shù)，企業(yè)簡(jiǎn)單粗暴地把非結(jié)構(gòu)化數(shù)據(jù)分析等同于輿情分析的也不在少數(shù)。他們甚至還走入了另外一個(gè)誤區(qū)：把非結(jié)構(gòu)化數(shù)據(jù)分析和原來(lái)美國(guó)流行的情感分析也混為一談。

美國(guó)很多企業(yè)都和客戶(hù)關(guān)系很緊密，非常注重客戶(hù)的反饋。而情感分析就是這樣應(yīng)運(yùn)而生的：它讓機(jī)器試圖理解人說(shuō)的這段話是正面、褒義的，還是負(fù)面、貶義的。

很多美國(guó)企業(yè)在過(guò)去3、4年里，都把所謂的非機(jī)構(gòu)化數(shù)據(jù)分析，當(dāng)成情感分析。但是，即使是業(yè)界最高水平，也僅僅能夠把用戶(hù)情感度劃分成11個(gè)層級(jí)，來(lái)讓機(jī)器了解人們對(duì)這個(gè)產(chǎn)品是喜歡、還是討厭，卻無(wú)法真正讓企業(yè)理解用戶(hù)的深層次需求。

Derek Wang博士介紹說(shuō)，情感分析的局限性非常大，最多只能作為企業(yè)數(shù)據(jù)分析的一個(gè)參考指標(biāo)，而不能保證100%正確。

比如，嘲諷的語(yǔ)氣就是機(jī)器無(wú)法識(shí)別的。美國(guó)就曾有公司過(guò)于信賴(lài)情感分析模型，完全錯(cuò)把顧客的嘲諷當(dāng)成夸贊，搞反了產(chǎn)品研究的方向。

另外，情感分析缺乏對(duì)客戶(hù)想法的深入挖掘。

機(jī)器可以嘗試對(duì)喜惡賦值，但是這一數(shù)值沒(méi)有辦法為企業(yè)解釋上下文是什么，也就是說(shuō)永遠(yuǎn)搞不清客戶(hù)為什么而喜歡/討厭它，這樣一來(lái)情感分析的參考價(jià)值就大大縮水。

但是，非結(jié)構(gòu)化數(shù)據(jù)分析卻可以實(shí)現(xiàn)“溢價(jià)分析”，也就是說(shuō)，它不僅可以告訴企業(yè)客戶(hù)的情感度多少，還能指出客戶(hù)在哪里有情感不滿(mǎn)。這樣就為企業(yè)提供了科學(xué)的決策輔助工具，有助于企業(yè)在今后有效地提升用戶(hù)滿(mǎn)意度。

“我們的語(yǔ)義分析可以把很多種自然語(yǔ)言分析模塊有機(jī)結(jié)合在一起，把自然語(yǔ)言學(xué)習(xí)、分詞、聚類(lèi)、情感分析都立體整合，把整體化的語(yǔ)義分析帶給市場(chǎng)。” Derek Wang博士介紹說(shuō)，“這其實(shí)也是非結(jié)構(gòu)化數(shù)據(jù)分析和傳統(tǒng)情感分析最大的不同?！?

海量的客戶(hù)需求，巨大的市場(chǎng)空白

據(jù)IBM商業(yè)價(jià)值研究院和牛津大學(xué)賽德商學(xué)院共同發(fā)布的《分析：大數(shù)據(jù)在現(xiàn)實(shí)世界中的應(yīng)用》顯示，全球僅四分之一的受訪者表示自己具備了分析高度非結(jié)構(gòu)化數(shù)據(jù)的能力，而對(duì)大部分組織而言，掌握先進(jìn)的非結(jié)構(gòu)化數(shù)據(jù)分析能力仍是從“大數(shù)據(jù)”中獲得價(jià)值的重大挑戰(zhàn)。

事實(shí)上，任何需要和客戶(hù)直接打交道的企業(yè)，都應(yīng)該從現(xiàn)在開(kāi)始，重視非結(jié)構(gòu)化數(shù)據(jù)分析的重要性。

為什么呢？至少有兩點(diǎn)顯而易見(jiàn)的理由。

首先，非結(jié)構(gòu)化數(shù)據(jù)分析可以排查出致命紕漏，保住了企業(yè)的“底線”。

企業(yè)服務(wù)里可能存在很多難以察覺(jué)但是致命的紕漏，用別的方法是很難排查的。比如，美國(guó)某著名家電廠商CIO就告訴記者，他們?cè)趩⒂肨he Taste Signals Platform的第一天，就發(fā)現(xiàn)了一年以來(lái)客戶(hù)郵件一直在抱怨的一個(gè)小紕漏，從而及時(shí)挽回了品牌聲譽(yù)。

其次，非結(jié)構(gòu)化數(shù)據(jù)分析提升了企業(yè)客戶(hù)服務(wù)的效率。

目前，大多數(shù)企業(yè)已經(jīng)建立了多個(gè)客戶(hù)溝通渠道，平均下來(lái)有6-7種之多。企業(yè)每天都要安排大量的客服人員和客戶(hù)溝通，但是卻“治標(biāo)不治本”。

企業(yè)對(duì)客戶(hù)投訴等這些典型的非結(jié)構(gòu)化數(shù)據(jù)的分析很少，更多的是疲于解決問(wèn)題，而不是找到投訴背后的主要原因，而從根本上解決它。

“很多時(shí)候，客戶(hù)一抱怨，客服就是去安撫，甚至安排退貨，很少有企業(yè)來(lái)看說(shuō)每月為什么有退貨，而只是在被動(dòng)解決問(wèn)題?！盌erek Wang博士表示，“而非結(jié)構(gòu)化數(shù)據(jù)分析，對(duì)客戶(hù)的抱怨不僅知其然，更將其作為分析結(jié)果呈現(xiàn)給企業(yè)，企業(yè)可以做出改進(jìn)，從而從根本上解決大批客戶(hù)的抱怨，大大提升了客戶(hù)滿(mǎn)意度。”

“事實(shí)上，不僅如此，以美國(guó)企業(yè)的經(jīng)驗(yàn)來(lái)看，數(shù)據(jù)驅(qū)動(dòng)的科學(xué)的非機(jī)構(gòu)化數(shù)據(jù)分析，可以幫助企業(yè)提升內(nèi)部分析師的效率，并且實(shí)現(xiàn)明顯的商業(yè)價(jià)值?！盌erek Wang博士表示。

目前，中美企業(yè)都意識(shí)到了非結(jié)構(gòu)化數(shù)據(jù)分析的重要性，但是苦于市場(chǎng)上幾乎沒(méi)有成熟的解決方案。

Derek Wang博士也表示，排除BAT之外，能夠在內(nèi)部建立非結(jié)構(gòu)化數(shù)據(jù)分析團(tuán)隊(duì)的公司，幾乎可以稱(chēng)得上鳳毛麟角，很多都是交給第三方服務(wù)公司。但問(wèn)題在于，很少有第三方公司可以完全獨(dú)立承擔(dān)非結(jié)構(gòu)化數(shù)據(jù)分析服務(wù)，而且技術(shù)也遠(yuǎn)遠(yuǎn)不能滿(mǎn)足現(xiàn)在企業(yè)的需求。

另外，即使有一些非結(jié)構(gòu)化數(shù)據(jù)分析的工具，由于它們都不是給最終用戶(hù)設(shè)計(jì)的，所以普遍都很難用，需要長(zhǎng)時(shí)間對(duì)員工下進(jìn)行培訓(xùn)，這樣產(chǎn)生的經(jīng)濟(jì)價(jià)值很小。

“CIO們幾乎都沒(méi)有一個(gè)工具，可以來(lái)調(diào)動(dòng)員工分析數(shù)據(jù)的熱情。而讓第三方給他們提供的話，效果也不好?！盌erek Wang博士說(shuō)，“很多時(shí)候很多大數(shù)據(jù)分析工具看起來(lái)賣(mài)相很好，但是很難被大范圍使用，這是企業(yè)的損失?！?

美國(guó)率先實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)分析

盡管企業(yè)對(duì)非結(jié)構(gòu)化數(shù)據(jù)分析有很大的需求，但是這個(gè)市場(chǎng)幾乎是一片空白，而由美國(guó)夏洛特圖像可視化中心的幾個(gè)年輕的科學(xué)家成立的Taste Analytics，看到了這個(gè)領(lǐng)域的巨大潛力，決定用自己的研究成果來(lái)顛覆傳統(tǒng)的數(shù)據(jù)分析服務(wù)。

目前已有6家福布斯全球500強(qiáng)公司以及多家美國(guó)主流企業(yè)都采用了Taste的新型非結(jié)構(gòu)化數(shù)據(jù)分析平臺(tái)The Taste Signals Platform，而且他們的銷(xiāo)售額在以400%的速度增長(zhǎng)。

“Taste Analytics的優(yōu)勢(shì)非常明顯，他們可以對(duì)數(shù)據(jù)、文字以及語(yǔ)音進(jìn)行實(shí)時(shí)分析，結(jié)合了輿情分析、語(yǔ)義分析、人機(jī)互動(dòng)三重機(jī)制，再加上可視化分析結(jié)果和簡(jiǎn)單易用的使用界面，他們不僅能幫助企業(yè)了解新的市場(chǎng)增長(zhǎng)點(diǎn)、做出正確的決策，而且可以充分調(diào)動(dòng)數(shù)據(jù)分析師們的積極性?！睒I(yè)內(nèi)專(zhuān)家表示。

另外，Taste Analytics的服務(wù)適用于各種非結(jié)構(gòu)化數(shù)據(jù)分析場(chǎng)景，只要有聊天記錄、對(duì)話記錄和郵件記錄，他們的服務(wù)就可以和數(shù)據(jù)源直接對(duì)接，非常易用而且安全。

“我們也給中國(guó)企業(yè)提供了非常本地化的服務(wù)。從安全角度來(lái)說(shuō)，如果是企業(yè)內(nèi)部的私有數(shù)據(jù)，我們可以把平臺(tái)放到企業(yè)防火墻內(nèi)或者內(nèi)部云里；如果是外部數(shù)據(jù)，我們的爬蟲(chóng)會(huì)自動(dòng)抓取這些數(shù)據(jù)，”Derek Wang博士說(shuō)，“我們一直希望的就是，讓企業(yè)用最小的付出，得到最好的結(jié)果?！?