大數(shù)據(jù)中的先行產(chǎn)業(yè)_數(shù)據(jù)分析師

對來自互聯(lián)網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)中隱含的輿情信息進(jìn)行提煉和分析，正在大數(shù)據(jù)的第一波浪潮中創(chuàng)造出越來越大的市場空間。而如何利用從互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、移動應(yīng)用等創(chuàng)新領(lǐng)域創(chuàng)造的、呈現(xiàn)出爆發(fā)式增長的海量非結(jié)構(gòu)化數(shù)據(jù)中創(chuàng)造價值，是當(dāng)前大數(shù)據(jù)行業(yè)最為關(guān)注的熱點話題。利用海量數(shù)據(jù)分析工具和算法對來自互聯(lián)網(wǎng)的非結(jié)構(gòu)化數(shù)據(jù)中隱含的輿情信息進(jìn)行提煉和分析，從而為政府和企業(yè)管理者的工作提供決策支持，也正在大數(shù)據(jù)的第一波浪潮之中創(chuàng)造出越來越大的市場空間。

面對互聯(lián)網(wǎng)上的海量信息，如何有效地發(fā)現(xiàn)和分析互聯(lián)網(wǎng)輿情，是當(dāng)前各類互聯(lián)網(wǎng)信息系統(tǒng)必須面對的事實。2013年7月，國務(wù)院辦公廳公布的《國務(wù)院關(guān)于加快促進(jìn)信息消費擴(kuò)大內(nèi)需的若干意見》中指出了六個方面，其中一個方面就是加大信息消費產(chǎn)品的供給。大數(shù)據(jù)輿情屬于互聯(lián)網(wǎng)信息服務(wù)產(chǎn)業(yè)，同時也屬于目前新一代信息技術(shù)和軟件領(lǐng)域的熱門領(lǐng)域。

而在整個大數(shù)據(jù)產(chǎn)業(yè)之中，互聯(lián)網(wǎng)輿情監(jiān)測行業(yè)作為先發(fā)者也正在迎來巨大的機遇。有分析數(shù)據(jù)顯示，在中國輿情監(jiān)測軟件的市場規(guī)模將很快達(dá)到10億以上，而在未來幾年之中，輿情監(jiān)測服務(wù)產(chǎn)業(yè)將會進(jìn)一步迎來爆發(fā)式的增長，整個市場規(guī)模將達(dá)到100億左右。

大數(shù)據(jù)市場中的引領(lǐng)產(chǎn)業(yè)

對于所有意欲在大數(shù)據(jù)產(chǎn)業(yè)中有所作為的IT服務(wù)商而言，互聯(lián)網(wǎng)輿情監(jiān)測服務(wù)的巨大商機都意味著所有市場的角逐者都會將其當(dāng)做是不可能忽視的巨大餡餅。誠然互聯(lián)網(wǎng)輿情對信息獲取的“實時性、全面性”有更高的要求，因此，互聯(lián)網(wǎng)輿情系統(tǒng)必須能支持大數(shù)據(jù)的輿情處理，才能有效為用戶提供輿情服務(wù)。

位于連云港市的江蘇金鴿網(wǎng)絡(luò)科技有限公司，就是互聯(lián)網(wǎng)輿情監(jiān)測服務(wù)行業(yè)中的先行者之一。這家成立于1997年的IT服務(wù)商先后通過了ISO9001：2008質(zhì)量管理體系國際認(rèn)證和ISO27001：2005信息安全管理體系國際認(rèn)證。公司軟件開發(fā)能力成熟度（CMMI）達(dá)到國際SEI組織規(guī)定的三級標(biāo)準(zhǔn)，并從網(wǎng)站建設(shè)、網(wǎng)絡(luò)安全等信息技術(shù)貿(mào)易起步，自主研發(fā)國內(nèi)互聯(lián)網(wǎng)精準(zhǔn)搜索領(lǐng)域技術(shù)，推出互聯(lián)網(wǎng)信息搜索與監(jiān)測系統(tǒng)軟件、基于社交網(wǎng)絡(luò)分析的情報搜集與分析系統(tǒng)、基于波特5力模型的企業(yè)情報系統(tǒng)、干部動態(tài)信息管理系統(tǒng)、面向行業(yè)的垂直搜索引擎、科技創(chuàng)新服務(wù)平臺等一系列解決方案。

在互聯(lián)網(wǎng)輿情監(jiān)測服務(wù)行業(yè)之中，江蘇金鴿的商業(yè)模型基本思路是以“基于SaaS模式的互聯(lián)網(wǎng)輿情監(jiān)測平臺”為基礎(chǔ)，以縣市級行政區(qū)域為渠道單元，以客戶關(guān)系管理系統(tǒng)為手段，基于商業(yè)生態(tài)系統(tǒng)理念，整合直接用戶和區(qū)域代理商或功能服務(wù)商等合作伙伴，通過構(gòu)建獨特的商業(yè)價值網(wǎng)絡(luò)，使利益相關(guān)方在既定的規(guī)則和關(guān)系中，均能獲得持續(xù)穩(wěn)定的收益，以期實現(xiàn)產(chǎn)業(yè)價值分享和共贏。而江蘇金鴿在此價值網(wǎng)中將扮演知識、技術(shù)和解決方案提供商角色。

江蘇金鴿研發(fā)的產(chǎn)品“互聯(lián)網(wǎng)信息搜索與監(jiān)測系統(tǒng)”，結(jié)合公司基于商業(yè)生態(tài)系統(tǒng)構(gòu)建的創(chuàng)新商業(yè)模式，已經(jīng)在全國很多地區(qū)進(jìn)行推廣和銷售，除了一些行業(yè)典型客戶如河南和海南省消防、南京市檢察院、連云港市委宣傳部、淮海工學(xué)院、湖南省水文局、連云港港務(wù)局等等以外，還在長沙、鄭州、深圳、長春、石家莊、南京、成都等地，與合作伙伴共同建設(shè)有基于SaaS服務(wù)的互聯(lián)網(wǎng)輿情監(jiān)測服務(wù)平臺。

對ISV的“全才”式要求

“在整個互聯(lián)網(wǎng)輿情分析產(chǎn)業(yè)之中，輿情軟件主要圍繞互聯(lián)網(wǎng)輿情搜索與監(jiān)測進(jìn)行，雖然一些廠商提出了一些面向不同政府部門的輿情系統(tǒng)改進(jìn)版本，但幾乎仍是傳統(tǒng)輿情監(jiān)測的功能，僅僅是界面等有些變化。沒有體現(xiàn)出行業(yè)互聯(lián)網(wǎng)輿情海量非結(jié)構(gòu)化數(shù)據(jù)處理的特點?！苯K金鴿公司負(fù)責(zé)人陳宗華表示。

在他看來，政府不同的職能部門的輿情監(jiān)控功能應(yīng)當(dāng)有所側(cè)重，比如政府宣傳部門監(jiān)測輿情，應(yīng)該是對本地域所有重大事件進(jìn)行監(jiān)控，而且還有輿情導(dǎo)控的功能，而消防部門關(guān)注的是本地與消防有關(guān)的輿情，組織部門側(cè)重的是本地的干部監(jiān)測等。只有在深入的結(jié)合行業(yè)工作特點的基礎(chǔ)上，才能體現(xiàn)互聯(lián)網(wǎng)輿情處理的優(yōu)勢。

而要想做到這些，整個輿情處理系統(tǒng)必須具有很好的架構(gòu)支持，比如在采集目標(biāo)管理和知識庫構(gòu)建上都要分公共和行業(yè)管理，而且可進(jìn)行自由擴(kuò)展，監(jiān)測專題的自動生成需結(jié)合行業(yè)特征進(jìn)行。系統(tǒng)的功能應(yīng)該是可配置的，為不同的行業(yè)配置不同的功能模塊。

“因此，面對大數(shù)據(jù)輿情，系統(tǒng)的發(fā)展方向應(yīng)該是面向行業(yè)的細(xì)分，比如政府版、組織檢察版、消防版、環(huán)保版、教育版等等，而且應(yīng)該和行業(yè)固有工作密切結(jié)合。隨著移動終端的普及，不僅僅是給用戶提供瀏覽器或者App方式的手機客戶端，而是要研發(fā)多元化的輸入模式的搜索、精準(zhǔn)的內(nèi)容返回、個性化的搜索體驗?！标愖谌A說。

互聯(lián)網(wǎng)輿情監(jiān)控解決方案的開發(fā)，需要ISV在各個前沿的技術(shù)領(lǐng)域具備一定的能力。在陳宗華看來，這一行業(yè)中的ISV必須有能力結(jié)合云計算、大數(shù)據(jù)、社交網(wǎng)絡(luò)分析、移動搜索等密切相關(guān)的技術(shù)，這樣研發(fā)出的產(chǎn)品才具有技術(shù)競爭力。其中，互聯(lián)網(wǎng)知識工程是以知識為基礎(chǔ)構(gòu)建的互聯(lián)網(wǎng)智能信息系統(tǒng)。涉及到知識獲取、知識表示和知識應(yīng)用等技術(shù)。

改進(jìn)已有數(shù)據(jù)挖掘和機器學(xué)習(xí)技術(shù)；開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。

社會網(wǎng)絡(luò)分析關(guān)注的焦點是關(guān)系和關(guān)系的模式，涉及到數(shù)據(jù)挖掘中的關(guān)聯(lián)分析，相關(guān)矩陣或差異矩陣的統(tǒng)計分析，社交網(wǎng)絡(luò)劃分，核心人物識別，信息擴(kuò)展過程，圈子話題傾向分析，小世界理論，六度空間分割等方法和技術(shù)。

而智能信息處理是計算機科學(xué)中的前沿交叉學(xué)科，是應(yīng)用導(dǎo)向的綜合性學(xué)科，其目標(biāo)是處理海量和復(fù)雜信息，研究新的、先進(jìn)的理論和技術(shù)。以互聯(lián)網(wǎng)應(yīng)用為主要背景的特定領(lǐng)域智能信息處理，包括：大規(guī)模文本處理、多媒體信息檢索與處理、基于Web的知識挖掘、提煉和集成等。

互聯(lián)網(wǎng)海量信息的高效采集方法，需結(jié)合模板定制采集，更重要的是使用諸多媒體自帶的內(nèi)置搜索功能，靠完全爬取多個媒體的信息技術(shù)已經(jīng)很難滿足客戶的綜合需要。而監(jiān)測主題的機器理解，在監(jiān)測互聯(lián)網(wǎng)輿情時，多是以專題的形式定制的，而專題在描述時有關(guān)鍵詞、短語、規(guī)則（關(guān)鍵詞及與、或關(guān)系）、一段話、若干篇文章，如何支持多種形式的主題描述，如何能自動理解用戶對主題的描述，是輿情主題監(jiān)測的首頁一環(huán)。

此外，輿情處理系統(tǒng)在采集、正文提取、排重、分詞、命名實體識別、分類、聚類、檢索、簡報專報生成、各類輿情統(tǒng)計、存儲等環(huán)節(jié)中，需要面對并行處理問題。大數(shù)據(jù)處理的核心問題是并行化處理和信息存儲，只有解決好了這些環(huán)節(jié)，才能體現(xiàn)一個輿情處理系統(tǒng)在大數(shù)據(jù)處理上的優(yōu)勢。

即便是在各個技術(shù)領(lǐng)域都做好了準(zhǔn)備，利用大數(shù)據(jù)技術(shù)搭建互聯(lián)網(wǎng)輿情分析系統(tǒng)對ISV而言同樣意味著重大挑戰(zhàn)。在陳宗華看來，與用戶具體工作和業(yè)務(wù)流程的結(jié)合，以及輿情處理分析過程中的安全性，是這一產(chǎn)業(yè)ISV所面臨最為主要的難點和挑戰(zhàn)。

“行業(yè)大數(shù)據(jù)輿情系統(tǒng)開發(fā)與用戶工作的結(jié)合，研發(fā)的系統(tǒng)在業(yè)務(wù)領(lǐng)域，工作模式，工作流程，功能設(shè)計等環(huán)節(jié)都應(yīng)與用戶的工作密切結(jié)合?！彼硎?，“此外，我們公司的互聯(lián)網(wǎng)輿情分析采用先進(jìn)的SaaS模式提供服務(wù)，而在軟件服務(wù)過程中，輿情安全性、保密性、可追溯性都值得注意。”

而對于企業(yè)本身，研發(fā)團(tuán)隊的培養(yǎng)同樣是進(jìn)軍這一市場所必需的關(guān)注點。大數(shù)據(jù)輿情涉及情報分析、新聞傳播、計算語言、數(shù)據(jù)挖掘、機器學(xué)習(xí)、自然語言理解、社交網(wǎng)絡(luò)分析、網(wǎng)絡(luò)安全、知識工程、信息檢索等等知識領(lǐng)域，如何組建一支知識結(jié)構(gòu)合理、水平高的專業(yè)研發(fā)團(tuán)隊是一個輿情軟件研發(fā)公司必須面對的問題。此外，企業(yè)的商業(yè)模式同樣要具有獨特價值，才能在這個新興的產(chǎn)業(yè)市場之中取得較大的核心競爭優(yōu)勢。

打造多維度生態(tài)圈

在基于互聯(lián)網(wǎng)的輿情分析產(chǎn)業(yè)之中，擁有發(fā)展機遇的不僅僅是分析技術(shù)的提供者。自行開發(fā)之外，IT方案商也可以通過合作的方式，將其他企業(yè)的技術(shù)用于用戶解決方案的部署。從而與提供核心技術(shù)的ISV之間，形成立體的生態(tài)合作關(guān)系。

“在互聯(lián)網(wǎng)輿情分析領(lǐng)域，人民網(wǎng)擁有雄厚的實力和共識性的身份，他們旗下的技術(shù)團(tuán)隊開發(fā)了全套基于大數(shù)據(jù)技術(shù)的互聯(lián)網(wǎng)輿情分析系統(tǒng)，并在許多政府和大型國有企業(yè)的宣傳部門中使用，我公司也與他們建立了合作關(guān)系，將他們的解決方案在我們的智慧城市等項目中部署。”南京幻方科技有限公司CEO陳哲介紹。

在陳哲看來，傳統(tǒng)行業(yè)包括物流運輸?shù)阮I(lǐng)域受到應(yīng)用開放程度限制，大數(shù)據(jù)挖掘的需求并不是特別高。而在政府和國有企業(yè)中，對輿情的分析和處理投入巨大，在政府輿情監(jiān)控的帶動下，一些大型的國有企業(yè)都參與到輿情監(jiān)測控制項目的投入中。這方面的非結(jié)構(gòu)化數(shù)據(jù)分析處理解決方案市場發(fā)展前景看好。

而對于競爭力優(yōu)勢在大數(shù)據(jù)之外領(lǐng)域的企業(yè)而言，要想進(jìn)入這一被看好的市場，采取與其他企業(yè)合作的方式，同樣能夠幫助企業(yè)獲得成功。如陳宗華所言，互聯(lián)網(wǎng)大數(shù)據(jù)輿情分析市場的推廣，離不開產(chǎn)業(yè)鏈上下游伙伴之間精誠的合作。在生態(tài)圈中，ISV最為主要的任務(wù)是推動市場更加創(chuàng)新，用更快的速度復(fù)制應(yīng)用，從而把整個蛋糕做大。只有應(yīng)用足夠吸引人，后面的發(fā)展才會順理成章。而將創(chuàng)新的應(yīng)用與用戶個性化的需求進(jìn)行結(jié)合，讓更多的政府、企業(yè)單位宣傳、市場和業(yè)務(wù)部門負(fù)責(zé)人接受這一新的技術(shù)，同樣也是貼近用戶的IT方案商最重要的任務(wù)和最核心的業(yè)務(wù)價值所在。