大數(shù)據(jù)中的先行產(chǎn)業(yè)_數(shù)據(jù)分析師

對(duì)來(lái)自互聯(lián)網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)中隱含的輿情信息進(jìn)行提煉和分析，正在大數(shù)據(jù)的第一波浪潮中創(chuàng)造出越來(lái)越大的市場(chǎng)空間。而如何利用從互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、移動(dòng)應(yīng)用等創(chuàng)新領(lǐng)域創(chuàng)造的、呈現(xiàn)出爆發(fā)式增長(zhǎng)的海量非結(jié)構(gòu)化數(shù)據(jù)中創(chuàng)造價(jià)值，是當(dāng)前大數(shù)據(jù)行業(yè)最為關(guān)注的熱點(diǎn)話題。利用海量數(shù)據(jù)分析工具和算法對(duì)來(lái)自互聯(lián)網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)中隱含的輿情信息進(jìn)行提煉和分析，從而為政府和企業(yè)管理者的工作提供決策支持，也正在大數(shù)據(jù)的第一波浪潮之中創(chuàng)造出越來(lái)越大的市場(chǎng)空間。

面對(duì)互聯(lián)網(wǎng)上的海量信息，如何有效地發(fā)現(xiàn)和分析互聯(lián)網(wǎng)輿情，是當(dāng)前各類互聯(lián)網(wǎng)信息系統(tǒng)必須面對(duì)的事實(shí)。2013年7月，國(guó)務(wù)院辦公廳公布的《國(guó)務(wù)院關(guān)于加快促進(jìn)信息消費(fèi)擴(kuò)大內(nèi)需的若干意見(jiàn)》中指出了六個(gè)方面，其中一個(gè)方面就是加大信息消費(fèi)產(chǎn)品的供給。大數(shù)據(jù)輿情屬于互聯(lián)網(wǎng)信息服務(wù)產(chǎn)業(yè)，同時(shí)也屬于目前新一代信息技術(shù)和軟件領(lǐng)域的熱門(mén)領(lǐng)域。

而在整個(gè)大數(shù)據(jù)產(chǎn)業(yè)之中，互聯(lián)網(wǎng)輿情監(jiān)測(cè)行業(yè)作為先發(fā)者也正在迎來(lái)巨大的機(jī)遇。有分析數(shù)據(jù)顯示，在中國(guó)輿情監(jiān)測(cè)軟件的市場(chǎng)規(guī)模將很快達(dá)到10億以上，而在未來(lái)幾年之中，輿情監(jiān)測(cè)服務(wù)產(chǎn)業(yè)將會(huì)進(jìn)一步迎來(lái)爆發(fā)式的增長(zhǎng)，整個(gè)市場(chǎng)規(guī)模將達(dá)到100億左右。

大數(shù)據(jù)市場(chǎng)中的引領(lǐng)產(chǎn)業(yè)

對(duì)于所有意欲在大數(shù)據(jù)產(chǎn)業(yè)中有所作為的IT服務(wù)商而言，互聯(lián)網(wǎng)輿情監(jiān)測(cè)服務(wù)的巨大商機(jī)都意味著所有市場(chǎng)的角逐者都會(huì)將其當(dāng)做是不可能忽視的巨大餡餅。誠(chéng)然互聯(lián)網(wǎng)輿情對(duì)信息獲取的“實(shí)時(shí)性、全面性”有更高的要求，因此，互聯(lián)網(wǎng)輿情系統(tǒng)必須能支持大數(shù)據(jù)的輿情處理，才能有效為用戶提供輿情服務(wù)。

位于連云港市的江蘇金鴿網(wǎng)絡(luò)科技有限公司，就是互聯(lián)網(wǎng)輿情監(jiān)測(cè)服務(wù)行業(yè)中的先行者之一。這家成立于1997年的IT服務(wù)商先后通過(guò)了ISO9001：2008質(zhì)量管理體系國(guó)際認(rèn)證和ISO27001：2005信息安全管理體系國(guó)際認(rèn)證。公司軟件開(kāi)發(fā)能力成熟度（CMMI）達(dá)到國(guó)際SEI組織規(guī)定的三級(jí)標(biāo)準(zhǔn)，并從網(wǎng)站建設(shè)、網(wǎng)絡(luò)安全等信息技術(shù)貿(mào)易起步，自主研發(fā)國(guó)內(nèi)互聯(lián)網(wǎng)精準(zhǔn)搜索領(lǐng)域技術(shù)，推出互聯(lián)網(wǎng)信息搜索與監(jiān)測(cè)系統(tǒng)軟件、基于社交網(wǎng)絡(luò)分析的情報(bào)搜集與分析系統(tǒng)、基于波特5力模型的企業(yè)情報(bào)系統(tǒng)、干部動(dòng)態(tài)信息管理系統(tǒng)、面向行業(yè)的垂直搜索引擎、科技創(chuàng)新服務(wù)平臺(tái)等一系列解決方案。

在互聯(lián)網(wǎng)輿情監(jiān)測(cè)服務(wù)行業(yè)之中，江蘇金鴿的商業(yè)模型基本思路是以“基于SaaS模式的互聯(lián)網(wǎng)輿情監(jiān)測(cè)平臺(tái)”為基礎(chǔ)，以縣市級(jí)行政區(qū)域?yàn)榍绬卧?，以客戶關(guān)系管理系統(tǒng)為手段，基于商業(yè)生態(tài)系統(tǒng)理念，整合直接用戶和區(qū)域代理商或功能服務(wù)商等合作伙伴，通過(guò)構(gòu)建獨(dú)特的商業(yè)價(jià)值網(wǎng)絡(luò)，使利益相關(guān)方在既定的規(guī)則和關(guān)系中，均能獲得持續(xù)穩(wěn)定的收益，以期實(shí)現(xiàn)產(chǎn)業(yè)價(jià)值分享和共贏。而江蘇金鴿在此價(jià)值網(wǎng)中將扮演知識(shí)、技術(shù)和解決方案提供商角色。

江蘇金鴿研發(fā)的產(chǎn)品“互聯(lián)網(wǎng)信息搜索與監(jiān)測(cè)系統(tǒng)”，結(jié)合公司基于商業(yè)生態(tài)系統(tǒng)構(gòu)建的創(chuàng)新商業(yè)模式，已經(jīng)在全國(guó)很多地區(qū)進(jìn)行推廣和銷售，除了一些行業(yè)典型客戶如河南和海南省消防、南京市檢察院、連云港市委宣傳部、淮海工學(xué)院、湖南省水文局、連云港港務(wù)局等等以外，還在長(zhǎng)沙、鄭州、深圳、長(zhǎng)春、石家莊、南京、成都等地，與合作伙伴共同建設(shè)有基于SaaS服務(wù)的互聯(lián)網(wǎng)輿情監(jiān)測(cè)服務(wù)平臺(tái)。

對(duì)ISV的“全才”式要求

“在整個(gè)互聯(lián)網(wǎng)輿情分析產(chǎn)業(yè)之中，輿情軟件主要圍繞互聯(lián)網(wǎng)輿情搜索與監(jiān)測(cè)進(jìn)行，雖然一些廠商提出了一些面向不同政府部門(mén)的輿情系統(tǒng)改進(jìn)版本，但幾乎仍是傳統(tǒng)輿情監(jiān)測(cè)的功能，僅僅是界面等有些變化。沒(méi)有體現(xiàn)出行業(yè)互聯(lián)網(wǎng)輿情海量非結(jié)構(gòu)化數(shù)據(jù)處理的特點(diǎn)。”江蘇金鴿公司負(fù)責(zé)人陳宗華表示。

在他看來(lái)，政府不同的職能部門(mén)的輿情監(jiān)控功能應(yīng)當(dāng)有所側(cè)重，比如政府宣傳部門(mén)監(jiān)測(cè)輿情，應(yīng)該是對(duì)本地域所有重大事件進(jìn)行監(jiān)控，而且還有輿情導(dǎo)控的功能，而消防部門(mén)關(guān)注的是本地與消防有關(guān)的輿情，組織部門(mén)側(cè)重的是本地的干部監(jiān)測(cè)等。只有在深入的結(jié)合行業(yè)工作特點(diǎn)的基礎(chǔ)上，才能體現(xiàn)互聯(lián)網(wǎng)輿情處理的優(yōu)勢(shì)。

而要想做到這些，整個(gè)輿情處理系統(tǒng)必須具有很好的架構(gòu)支持，比如在采集目標(biāo)管理和知識(shí)庫(kù)構(gòu)建上都要分公共和行業(yè)管理，而且可進(jìn)行自由擴(kuò)展，監(jiān)測(cè)專題的自動(dòng)生成需結(jié)合行業(yè)特征進(jìn)行。系統(tǒng)的功能應(yīng)該是可配置的，為不同的行業(yè)配置不同的功能模塊。

“因此，面對(duì)大數(shù)據(jù)輿情，系統(tǒng)的發(fā)展方向應(yīng)該是面向行業(yè)的細(xì)分，比如政府版、組織檢察版、消防版、環(huán)保版、教育版等等，而且應(yīng)該和行業(yè)固有工作密切結(jié)合。隨著移動(dòng)終端的普及，不僅僅是給用戶提供瀏覽器或者App方式的手機(jī)客戶端，而是要研發(fā)多元化的輸入模式的搜索、精準(zhǔn)的內(nèi)容返回、個(gè)性化的搜索體驗(yàn)?！标愖谌A說(shuō)。

互聯(lián)網(wǎng)輿情監(jiān)控解決方案的開(kāi)發(fā)，需要ISV在各個(gè)前沿的技術(shù)領(lǐng)域具備一定的能力。在陳宗華看來(lái)，這一行業(yè)中的ISV必須有能力結(jié)合云計(jì)算、大數(shù)據(jù)、社交網(wǎng)絡(luò)分析、移動(dòng)搜索等密切相關(guān)的技術(shù)，這樣研發(fā)出的產(chǎn)品才具有技術(shù)競(jìng)爭(zhēng)力。其中，互聯(lián)網(wǎng)知識(shí)工程是以知識(shí)為基礎(chǔ)構(gòu)建的互聯(lián)網(wǎng)智能信息系統(tǒng)。涉及到知識(shí)獲取、知識(shí)表示和知識(shí)應(yīng)用等技術(shù)。

改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)；開(kāi)發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對(duì)象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語(yǔ)義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。

社會(huì)網(wǎng)絡(luò)分析關(guān)注的焦點(diǎn)是關(guān)系和關(guān)系的模式，涉及到數(shù)據(jù)挖掘中的關(guān)聯(lián)分析，相關(guān)矩陣或差異矩陣的統(tǒng)計(jì)分析，社交網(wǎng)絡(luò)劃分，核心人物識(shí)別，信息擴(kuò)展過(guò)程，圈子話題傾向分析，小世界理論，六度空間分割等方法和技術(shù)。

而智能信息處理是計(jì)算機(jī)科學(xué)中的前沿交叉學(xué)科，是應(yīng)用導(dǎo)向的綜合性學(xué)科，其目標(biāo)是處理海量和復(fù)雜信息，研究新的、先進(jìn)的理論和技術(shù)。以互聯(lián)網(wǎng)應(yīng)用為主要背景的特定領(lǐng)域智能信息處理，包括：大規(guī)模文本處理、多媒體信息檢索與處理、基于Web的知識(shí)挖掘、提煉和集成等。

互聯(lián)網(wǎng)海量信息的高效采集方法，需結(jié)合模板定制采集，更重要的是使用諸多媒體自帶的內(nèi)置搜索功能，靠完全爬取多個(gè)媒體的信息技術(shù)已經(jīng)很難滿足客戶的綜合需要。而監(jiān)測(cè)主題的機(jī)器理解，在監(jiān)測(cè)互聯(lián)網(wǎng)輿情時(shí)，多是以專題的形式定制的，而專題在描述時(shí)有關(guān)鍵詞、短語(yǔ)、規(guī)則（關(guān)鍵詞及與、或關(guān)系）、一段話、若干篇文章，如何支持多種形式的主題描述，如何能自動(dòng)理解用戶對(duì)主題的描述，是輿情主題監(jiān)測(cè)的首頁(yè)一環(huán)。

此外，輿情處理系統(tǒng)在采集、正文提取、排重、分詞、命名實(shí)體識(shí)別、分類、聚類、檢索、簡(jiǎn)報(bào)專報(bào)生成、各類輿情統(tǒng)計(jì)、存儲(chǔ)等環(huán)節(jié)中，需要面對(duì)并行處理問(wèn)題。大數(shù)據(jù)處理的核心問(wèn)題是并行化處理和信息存儲(chǔ)，只有解決好了這些環(huán)節(jié)，才能體現(xiàn)一個(gè)輿情處理系統(tǒng)在大數(shù)據(jù)處理上的優(yōu)勢(shì)。

即便是在各個(gè)技術(shù)領(lǐng)域都做好了準(zhǔn)備，利用大數(shù)據(jù)技術(shù)搭建互聯(lián)網(wǎng)輿情分析系統(tǒng)對(duì)ISV而言同樣意味著重大挑戰(zhàn)。在陳宗華看來(lái)，與用戶具體工作和業(yè)務(wù)流程的結(jié)合，以及輿情處理分析過(guò)程中的安全性，是這一產(chǎn)業(yè)ISV所面臨最為主要的難點(diǎn)和挑戰(zhàn)。

“行業(yè)大數(shù)據(jù)輿情系統(tǒng)開(kāi)發(fā)與用戶工作的結(jié)合，研發(fā)的系統(tǒng)在業(yè)務(wù)領(lǐng)域，工作模式，工作流程，功能設(shè)計(jì)等環(huán)節(jié)都應(yīng)與用戶的工作密切結(jié)合?！彼硎?，“此外，我們公司的互聯(lián)網(wǎng)輿情分析采用先進(jìn)的SaaS模式提供服務(wù)，而在軟件服務(wù)過(guò)程中，輿情安全性、保密性、可追溯性都值得注意?！?/span>

而對(duì)于企業(yè)本身，研發(fā)團(tuán)隊(duì)的培養(yǎng)同樣是進(jìn)軍這一市場(chǎng)所必需的關(guān)注點(diǎn)。大數(shù)據(jù)輿情涉及情報(bào)分析、新聞傳播、計(jì)算語(yǔ)言、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語(yǔ)言理解、社交網(wǎng)絡(luò)分析、網(wǎng)絡(luò)安全、知識(shí)工程、信息檢索等等知識(shí)領(lǐng)域，如何組建一支知識(shí)結(jié)構(gòu)合理、水平高的專業(yè)研發(fā)團(tuán)隊(duì)是一個(gè)輿情軟件研發(fā)公司必須面對(duì)的問(wèn)題。此外，企業(yè)的商業(yè)模式同樣要具有獨(dú)特價(jià)值，才能在這個(gè)新興的產(chǎn)業(yè)市場(chǎng)之中取得較大的核心競(jìng)爭(zhēng)優(yōu)勢(shì)。

打造多維度生態(tài)圈

在基于互聯(lián)網(wǎng)的輿情分析產(chǎn)業(yè)之中，擁有發(fā)展機(jī)遇的不僅僅是分析技術(shù)的提供者。自行開(kāi)發(fā)之外，IT方案商也可以通過(guò)合作的方式，將其他企業(yè)的技術(shù)用于用戶解決方案的部署。從而與提供核心技術(shù)的ISV之間，形成立體的生態(tài)合作關(guān)系。

“在互聯(lián)網(wǎng)輿情分析領(lǐng)域，人民網(wǎng)擁有雄厚的實(shí)力和共識(shí)性的身份，他們旗下的技術(shù)團(tuán)隊(duì)開(kāi)發(fā)了全套基于大數(shù)據(jù)技術(shù)的互聯(lián)網(wǎng)輿情分析系統(tǒng)，并在許多政府和大型國(guó)有企業(yè)的宣傳部門(mén)中使用，我公司也與他們建立了合作關(guān)系，將他們的解決方案在我們的智慧城市等項(xiàng)目中部署?！蹦暇┗梅娇萍加邢薰綜EO陳哲介紹。

在陳哲看來(lái)，傳統(tǒng)行業(yè)包括物流運(yùn)輸?shù)阮I(lǐng)域受到應(yīng)用開(kāi)放程度限制，大數(shù)據(jù)挖掘的需求并不是特別高。而在政府和國(guó)有企業(yè)中，對(duì)輿情的分析和處理投入巨大，在政府輿情監(jiān)控的帶動(dòng)下，一些大型的國(guó)有企業(yè)都參與到輿情監(jiān)測(cè)控制項(xiàng)目的投入中。這方面的非結(jié)構(gòu)化數(shù)據(jù)分析處理解決方案市場(chǎng)發(fā)展前景看好。

而對(duì)于競(jìng)爭(zhēng)力優(yōu)勢(shì)在大數(shù)據(jù)之外領(lǐng)域的企業(yè)而言，要想進(jìn)入這一被看好的市場(chǎng)，采取與其他企業(yè)合作的方式，同樣能夠幫助企業(yè)獲得成功。如陳宗華所言，互聯(lián)網(wǎng)大數(shù)據(jù)輿情分析市場(chǎng)的推廣，離不開(kāi)產(chǎn)業(yè)鏈上下游伙伴之間精誠(chéng)的合作。在生態(tài)圈中，ISV最為主要的任務(wù)是推動(dòng)市場(chǎng)更加創(chuàng)新，用更快的速度復(fù)制應(yīng)用，從而把整個(gè)蛋糕做大。只有應(yīng)用足夠吸引人，后面的發(fā)展才會(huì)順理成章。而將創(chuàng)新的應(yīng)用與用戶個(gè)性化的需求進(jìn)行結(jié)合，讓更多的政府、企業(yè)單位宣傳、市場(chǎng)和業(yè)務(wù)部門(mén)負(fù)責(zé)人接受這一新的技術(shù)，同樣也是貼近用戶的IT方案商最重要的任務(wù)和最核心的業(yè)務(wù)價(jià)值所在。