大數(shù)據(jù)的商業(yè)應(yīng)用_數(shù)據(jù)分析師

大數(shù)據(jù)(Big data)的浪潮正在席卷神州大地，但企業(yè)對(duì)如何落地仍然狐疑。2013年8月6日，Splunk公司在北京舉辦了一場(chǎng)“大數(shù)據(jù)如何落地研討會(huì)”，為大數(shù)據(jù)技術(shù)在中國(guó)企業(yè)的落地帶來(lái)了諸多的前沿觀點(diǎn)、可以參考的實(shí)施路徑以及豐富的案例。

　　大數(shù)據(jù)需求強(qiáng)勁

　　在當(dāng)前全球經(jīng)濟(jì)形勢(shì)下行的背景下，中國(guó)的經(jīng)濟(jì)形勢(shì)也不甚樂(lè)觀，但正因?yàn)槿绱?，中?guó)企業(yè)對(duì)挖掘大數(shù)據(jù)價(jià)值的渴求尤為強(qiáng)烈，希望以此提高客戶(hù)體驗(yàn)，促進(jìn)業(yè)務(wù)的增長(zhǎng)。根據(jù)國(guó)內(nèi)市場(chǎng)研究機(jī)構(gòu)計(jì)世資訊的研究，2012年中國(guó)大數(shù)據(jù)市場(chǎng)增長(zhǎng)率為52.4%，市場(chǎng)規(guī)模達(dá)到3.2億元。55%的受訪企業(yè)表示，計(jì)劃在未來(lái)一年內(nèi)部署大數(shù)據(jù)應(yīng)用。

　　隨著大數(shù)據(jù)的發(fā)展，其應(yīng)用場(chǎng)景也越來(lái)越多，涵蓋從用戶(hù)行為分析到安全監(jiān)控、輿情監(jiān)測(cè)等等各方面，計(jì)世資訊計(jì)算機(jī)系統(tǒng)研究部總監(jiān)丁震表示，用戶(hù)不僅利用大數(shù)據(jù)獲取更大的數(shù)據(jù)價(jià)值，還利用它整合內(nèi)部的工作流程，提高效率和可控性。

　　計(jì)世資訊計(jì)算機(jī)系統(tǒng)研究部總監(jiān)丁震

　　在發(fā)展的過(guò)程中，大數(shù)據(jù)的需求已經(jīng)從早期的互聯(lián)網(wǎng)、電商領(lǐng)域轉(zhuǎn)向金融、電信、政府、能源等諸多傳統(tǒng)的行業(yè)。盡管用戶(hù)認(rèn)為大數(shù)據(jù)能夠提高決策和數(shù)據(jù)分析的及時(shí)性，但丁震指出，用戶(hù)實(shí)際應(yīng)用仍十分謹(jǐn)慎，這其中有用戶(hù)認(rèn)識(shí)、案例缺乏、引入新技術(shù)的風(fēng)險(xiǎn)和經(jīng)濟(jì)環(huán)境等原因。

　　大數(shù)據(jù)價(jià)值：從機(jī)器數(shù)據(jù)開(kāi)始

　　針對(duì)中國(guó)用戶(hù)的上述困擾，Splunk帶來(lái)了一個(gè)完整的解決方案。與一些BI(商業(yè)智能)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘廠商的新解決方案著眼點(diǎn)不一樣，Splunk產(chǎn)品營(yíng)銷(xiāo)副總裁Sanjay Mehta認(rèn)為，大數(shù)據(jù)的落地，可以從機(jī)器數(shù)據(jù)著手，通過(guò)Splunk實(shí)時(shí)的“引擎”，將已有的數(shù)據(jù)組織起來(lái)，幫助企業(yè)提高效率，降低成本。

　　Sanjay Mehta負(fù)責(zé)開(kāi)發(fā)與規(guī)劃Splunk以重點(diǎn)市場(chǎng)為目標(biāo)的核心產(chǎn)品策略，并將該公司的業(yè)務(wù)重心引導(dǎo)到了面向大數(shù)據(jù)。當(dāng)前不斷擴(kuò)展的數(shù)據(jù)源主要包括商業(yè)應(yīng)用程序的數(shù)據(jù)、機(jī)器生成的數(shù)據(jù)和人為生成的數(shù)據(jù)，大多數(shù)從BI、數(shù)據(jù)挖掘升級(jí)的大數(shù)據(jù)產(chǎn)品，更多的是關(guān)注商業(yè)應(yīng)用程序的數(shù)據(jù)和認(rèn)為生成的數(shù)據(jù)，機(jī)器數(shù)據(jù)則往往被忽略，但Splunk注意到了這個(gè)層面。

　　Splunk產(chǎn)品營(yíng)銷(xiāo)副總裁Sanjay Mehta

　　Splunk定義的機(jī)器數(shù)據(jù)，包括了文件或者文件目錄、syslog、Windows事件日志、Windows注冊(cè)表、Windows性能指標(biāo)、Unix/Linux日志和指標(biāo)、文件完整性監(jiān)視、配置文件、OPSEC LEA、Cisco設(shè)備日志、IIS日志、Apache日志、WebSphere日志/指標(biāo)和其他數(shù)據(jù)、以及任何其他數(shù)據(jù)。

　　可以說(shuō)，本來(lái)就存在的機(jī)器數(shù)據(jù)是一團(tuán)亂糟糟，且不同種類(lèi)的機(jī)器數(shù)據(jù)相互不能通氣，發(fā)揮的作用非常有限，但通過(guò)整合的大數(shù)據(jù)技術(shù)，對(duì)機(jī)器數(shù)據(jù)的收集、存儲(chǔ)、分析和展現(xiàn)，其結(jié)果在應(yīng)用程序管理、IT運(yùn)維管理、安全及合規(guī)、web情報(bào)、業(yè)務(wù)分析和行業(yè)數(shù)據(jù)等多個(gè)方面，都有廣泛的應(yīng)用價(jià)值。

　　Sanjay Mehta介紹了Splunk的一系列的案例，例如，幫助百事公司實(shí)現(xiàn)了實(shí)時(shí)運(yùn)營(yíng)可視化，百事公司銷(xiāo)售人員使用Splunk手持終端了解銷(xiāo)售狀況，可以看到銷(xiāo)售實(shí)時(shí)數(shù)據(jù)，以確保其銷(xiāo)售工作的效果和效率，所有的數(shù)據(jù)來(lái)源都是通過(guò)基礎(chǔ)架構(gòu)而來(lái)，而非關(guān)系型數(shù)據(jù)庫(kù);幫助salesforce.com實(shí)現(xiàn)全商務(wù)領(lǐng)域運(yùn)營(yíng)情報(bào)，將問(wèn)題解決率提高96%，為其10多萬(wàn)家客戶(hù)提供更好的體驗(yàn)……

　　此外，Sanjay Mehta還分享了Splunk產(chǎn)品用于從電梯運(yùn)行數(shù)據(jù)監(jiān)控中獲得預(yù)測(cè)信息、通過(guò)醫(yī)療設(shè)備更好地了解患者狀況以及分析建筑物感應(yīng)器，以降低能源成本等應(yīng)用場(chǎng)景。

　　國(guó)內(nèi)的上海天旦網(wǎng)絡(luò)(Netis)和北京華夏威科軟件技術(shù)有限公司的代表分別在現(xiàn)場(chǎng)介紹了Splunk大數(shù)據(jù)技術(shù)在不同行業(yè)的應(yīng)用。

　　上海天旦介紹了Splunk在一個(gè)網(wǎng)上支付平臺(tái)的運(yùn)維管理工作的支持。華夏威科Splunk產(chǎn)品經(jīng)理王文雅表示，在國(guó)內(nèi)某大型銀行，通過(guò)單一的Splunk平臺(tái)，跨平臺(tái)收集不同格式的日志，對(duì)每天20G的數(shù)據(jù)進(jìn)行收集、管理、實(shí)時(shí)展示分析，以及建立關(guān)聯(lián)、歷史數(shù)據(jù)比對(duì)等等，大大提高了IT人員對(duì)企業(yè)環(huán)境的可見(jiàn)性。而這一切的工作，Splunk Index Server僅僅需要使用2臺(tái)4個(gè)CPU、4G內(nèi)存的虛擬機(jī)(VM)來(lái)支持。

　　當(dāng)然，Splunk的案例還有很多。截至目前，Splunk的客戶(hù)數(shù)量超過(guò)了5600家，分布在全球90多個(gè)國(guó)家。

　　其中，中移動(dòng)、中電信、招行、交行、廣發(fā)、聯(lián)想、東航、支付寶和國(guó)美在線(xiàn)等是Splunk在中國(guó)地區(qū)的主要客戶(hù)——同樣覆蓋了電信、金融、能源、互聯(lián)網(wǎng)等多個(gè)行業(yè)。

　　憑借技術(shù)積累和服務(wù)經(jīng)驗(yàn)，Splunk在大數(shù)據(jù)的浪潮到來(lái)之際，于2012年4月19日在納斯達(dá)克成功上市，2013財(cái)年收益達(dá)到1989億美元，年復(fù)合增長(zhǎng)率為91%。此前，還曾傳出IBM欲收購(gòu)Splunk的傳聞。

　　Splunk：技術(shù)保證效果

　　Splunk為何能夠適用于如此廣泛的應(yīng)用場(chǎng)景？Splunk高級(jí)銷(xiāo)售工程師崔玥為我們揭秘了Splunk產(chǎn)品背后的技術(shù)特色。

　　Splunk高級(jí)銷(xiāo)售工程師崔玥

　　崔玥表示，Splunk的本質(zhì)是一個(gè)針對(duì)機(jī)器數(shù)據(jù)的搜索引擎，針對(duì)所有IT系統(tǒng)和基礎(chǔ)設(shè)施數(shù)據(jù)，提供數(shù)據(jù)搜索、數(shù)據(jù)報(bào)表和可視化的展現(xiàn)。當(dāng)然，作為一款軟件，它幾分鐘就可以完成下載和安裝，支持各種主流的操作系統(tǒng)平臺(tái)。

　　作為一個(gè)完全整合的大數(shù)據(jù)解決方案，Splunk通用的引擎能夠?qū)⑷魏蔚臋C(jī)器數(shù)據(jù)廣泛地索引，并支持任何格式的數(shù)據(jù)，而無(wú)需進(jìn)行格式轉(zhuǎn)換;實(shí)時(shí)的搜索引擎，帶來(lái)了類(lèi)似于Google的快速搜索結(jié)果;而其自主開(kāi)發(fā)的類(lèi)似于MapReduce的分布式架構(gòu)，為系統(tǒng)的可擴(kuò)展性提供了保證，能夠輕松擴(kuò)展到支持每天新增上百TB的數(shù)據(jù)，配合基于角色的數(shù)據(jù)訪問(wèn)控制，還能夠跨多個(gè)數(shù)據(jù)中心運(yùn)行。

　　由于架構(gòu)設(shè)計(jì)的優(yōu)勢(shì)，Splunk在提供高可擴(kuò)展性、易用性和廣泛適用性的同時(shí)，對(duì)硬件的需求卻幾乎沒(méi)有門(mén)檻，前述的銀行案例可以證明。

　　值得一提的是，通過(guò)Splunk今年6月份發(fā)布的Hunk產(chǎn)品，組織機(jī)構(gòu)還能夠更快速、更簡(jiǎn)單地探索、分析、可視化和分享存儲(chǔ)在Hadoop中的數(shù)據(jù)。