理論和實(shí)踐結(jié)合下 如何從大數(shù)據(jù)中挖掘新商機(jī)？

在大數(shù)據(jù)、云計(jì)算越發(fā)被業(yè)界重視的今天，如何才能用大數(shù)據(jù)(數(shù)據(jù)分析師)幫助企業(yè)實(shí)現(xiàn)價(jià)值?如何才能通過(guò)大數(shù)據(jù)解決方案幫助企業(yè)解決從基礎(chǔ)架構(gòu)遷移到云的新需求?如何為用戶定制適合其行業(yè)應(yīng)用的新智能平臺(tái)？可能是每個(gè)有責(zé)任心的IT企業(yè)所需要解決的新問(wèn)題。而談到這一話題，就必須要談?wù)勡浖x、融合，拋棄硬件設(shè)備的限制，越來(lái)越多的企業(yè)利用大數(shù)據(jù)平臺(tái)采用開放的存儲(chǔ)架構(gòu)，提供存儲(chǔ)的性能、可管理性，而這也是存儲(chǔ)領(lǐng)域發(fā)展的大趨勢(shì)。

于是，2015年，我們看到各大廠商在運(yùn)用云計(jì)算和大數(shù)據(jù)技術(shù)，利用平臺(tái)解決方案創(chuàng)新和維護(hù)這新老客戶，我們也看到，企業(yè)客戶在嘗試著利用廠商提供的平臺(tái)解決方案實(shí)現(xiàn)“用IT創(chuàng)造更多價(jià)值”的神話，“現(xiàn)在有很多計(jì)算平臺(tái)也積累了很多數(shù)據(jù)，但是怎么樣實(shí)現(xiàn)它的價(jià)值在摸索過(guò)程當(dāng)中，用戶在面臨著，包括業(yè)務(wù)層面或者需求層面的新的挑戰(zhàn)。(數(shù)據(jù)分析師培訓(xùn))”

　　直面新挑戰(zhàn)從數(shù)據(jù)中挖掘應(yīng)用

當(dāng)前，許多用戶非常關(guān)注的大數(shù)據(jù)技術(shù)下的幾個(gè)方面：規(guī)模彈性伸縮、業(yè)務(wù)快速上線、資源靈活分配、服務(wù)性能保障、整體運(yùn)營(yíng)維護(hù)等，這些都是廠商利用云計(jì)算、大數(shù)據(jù)技術(shù)將客戶傳統(tǒng)業(yè)務(wù)向云計(jì)算轉(zhuǎn)型過(guò)程中亟待解決的問(wèn)題，同時(shí)也是傳統(tǒng)基礎(chǔ)架構(gòu)中相對(duì)薄弱的環(huán)節(jié)。

而談到如此高深的大數(shù)據(jù)技術(shù)理論和現(xiàn)實(shí)客戶需求問(wèn)題的結(jié)合問(wèn)題，宋懷明有著深刻的理解，實(shí)際上，曙光作為大數(shù)據(jù)處理領(lǐng)域的專家級(jí)企業(yè)，一直在耕耘大數(shù)據(jù)技術(shù)市場(chǎng)的同時(shí)，不停的在創(chuàng)新者數(shù)據(jù)存儲(chǔ)新應(yīng)用。而宋懷明對(duì)于在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理領(lǐng)域的研究，要追溯到2004年，如今，在經(jīng)歷了大數(shù)據(jù)的成型、儲(chǔ)備和研發(fā)階段后的曙光，在大數(shù)據(jù)存儲(chǔ)領(lǐng)域已經(jīng)有了很多成功解決方案和應(yīng)用，今天，曙光的專注點(diǎn)就在于數(shù)據(jù)的存儲(chǔ)和處理。

應(yīng)該說(shuō)，大數(shù)據(jù)的關(guān)鍵點(diǎn)就在于如何挖掘有價(jià)值的數(shù)據(jù)，并合理的利用其價(jià)值。在曙光耕耘大數(shù)據(jù)領(lǐng)域的11年中，可以說(shuō)其一直在從數(shù)據(jù)中找尋真正適用于中國(guó)客戶的需求創(chuàng)新點(diǎn)， 2004年，當(dāng)時(shí)大數(shù)據(jù)還沒(méi)有興起。曙光多是進(jìn)行結(jié)構(gòu)化數(shù)據(jù)的處理，基于無(wú)共享架構(gòu)的MPP數(shù)據(jù)庫(kù)的研發(fā)，直到2007年，Hadoop在中國(guó)興起之后，曙光在2011年成立了Hadoop的研發(fā)團(tuán)隊(duì)，已經(jīng)發(fā)行到第三版，從2013年開始，每年都會(huì)更新一個(gè)版本，也是緊跟社區(qū)的最新技術(shù)。曙光在上面做一些優(yōu)化管理、安全加固等等工作。可以說(shuō)這一階段也是眾多廠商的終極目標(biāo)，應(yīng)用的問(wèn)題，實(shí)際上這一階段要求最高，“現(xiàn)在有很多計(jì)算平臺(tái)也積累了很多數(shù)據(jù)，但是怎么樣實(shí)現(xiàn)它的價(jià)值在摸索過(guò)程當(dāng)中，用戶在面臨著，包括業(yè)務(wù)層面或者需求層面的新的挑戰(zhàn)。” 曙光大數(shù)據(jù)的總工(總經(jīng)理)宋懷明博士如是說(shuō)。

　　理論和實(shí)踐總是有差距

在筆者看來(lái)，從技術(shù)角度而言，曙光對(duì)大數(shù)據(jù)的挖掘和研究，實(shí)力不容置疑，然而研發(fā)能力的提升帶來(lái)的附加成本是不可預(yù)知的。而將技術(shù)轉(zhuǎn)化為生產(chǎn)力，更需要長(zhǎng)期的實(shí)踐。如果傳統(tǒng)企業(yè)也想像互聯(lián)網(wǎng)企業(yè)那樣玩轉(zhuǎn)大數(shù)據(jù)產(chǎn)品，首先要組建與胡兩旺同量級(jí)的研發(fā)和維護(hù)團(tuán)隊(duì)。在選擇產(chǎn)品時(shí)節(jié)省下來(lái)的投資，根本揣不到兜里，只能老老實(shí)實(shí)花在開發(fā)維護(hù)環(huán)節(jié)上。

然而，曙光讓記者看到了一個(gè)不一樣的大數(shù)據(jù)研發(fā)方向。在同宋懷明的對(duì)話中，記者深刻感受到曙光在進(jìn)行大數(shù)據(jù)平臺(tái)的積累和研發(fā)是完全基于應(yīng)用層的，也就是說(shuō)曙光是基于大數(shù)據(jù)產(chǎn)品基本上是基于上層應(yīng)用的研發(fā)。這些產(chǎn)品在今年已經(jīng)在幾個(gè)行業(yè)中進(jìn)行了測(cè)試和數(shù)據(jù)應(yīng)用模擬。例如：廣電傳媒領(lǐng)域，曙光把原有的數(shù)據(jù)庫(kù)系統(tǒng)、機(jī)頂盒的數(shù)據(jù)抓取過(guò)來(lái)，在上面做數(shù)據(jù)結(jié)構(gòu)分析(數(shù)據(jù)分析培訓(xùn))、用戶行為、精準(zhǔn)推薦、智能運(yùn)維等等應(yīng)用。之后，珠江數(shù)碼已經(jīng)成為其重點(diǎn)客戶，目前曙光也正在為其正進(jìn)行二期開發(fā)，預(yù)計(jì)明年1月份產(chǎn)品正式上線。

　　從行業(yè)應(yīng)用中獲取價(jià)值

顯然，市場(chǎng)化和應(yīng)用的普及是促進(jìn)曙光大數(shù)據(jù)存儲(chǔ)發(fā)展的動(dòng)力，只有同廣大的廠商合作，通過(guò)標(biāo)準(zhǔn)的數(shù)據(jù)訪問(wèn)接口支撐多個(gè)行業(yè)應(yīng)用開發(fā)，推動(dòng)行業(yè)應(yīng)用落地。然而，要從技術(shù)中挖掘這樣的需求并不簡(jiǎn)單，在數(shù)據(jù)領(lǐng)域深耕多年的宋懷明也非常清楚這一點(diǎn)，于是，針對(duì)數(shù)據(jù)的探索，曙光鎖定在了Hadoop技術(shù)。Hadoop發(fā)展前期是以離線計(jì)算、批處理計(jì)算為主。從曙光發(fā)展歷史分析，這幾年mapreduce用于日志的處理，hbase用檢索數(shù)據(jù)庫(kù)進(jìn)行查詢，顯然，對(duì)于這一技術(shù)的開發(fā)，曙光已經(jīng)完成從實(shí)驗(yàn)走向生產(chǎn)系統(tǒng)的階段。目前，曙光已經(jīng)有很多實(shí)際落地的案例，而且大的規(guī)模已經(jīng)到PB級(jí)。

從產(chǎn)品端分析，顯然曙光正在打造一套軟件定義一切的超融合計(jì)算。這套解決方案將統(tǒng)一融合資源管理(網(wǎng)絡(luò)，計(jì)算，存儲(chǔ))、統(tǒng)一融合服務(wù)管理(HPC，云計(jì)算，大數(shù)據(jù))、統(tǒng)一融合數(shù)據(jù)管理(調(diào)度，編排，處理)，并將橫跨三大核心產(chǎn)品Gridview高性能計(jì)算操作系統(tǒng)、CloudView云計(jì)算操作系統(tǒng)、XData大數(shù)據(jù)一體機(jī)結(jié)合為一體，針對(duì)不同客戶需求進(jìn)行相應(yīng)的解決方案部署。

技術(shù)的成熟已經(jīng)預(yù)示著曙光大數(shù)據(jù)平臺(tái)成為行業(yè)應(yīng)用的重點(diǎn)，應(yīng)該說(shuō)曙光已經(jīng)在不斷創(chuàng)新中找到了自己的領(lǐng)域，而且針對(duì)不同行業(yè)，曙光的大數(shù)據(jù)存儲(chǔ)也發(fā)揮著不同的作用。據(jù)曙光大數(shù)據(jù)研發(fā)中心經(jīng)理郭慶介紹：“在廣媒行業(yè)，非結(jié)構(gòu)化的文本處理，像Hadoop的SOLR、ES文本檢索的，在很多大型系統(tǒng)里也開始逐步使用。Hadoop的技術(shù)趨勢(shì)逐步由離線處理越來(lái)越往前發(fā)展，包括內(nèi)存計(jì)算、文本檢索、流式計(jì)算，從時(shí)間來(lái)講，延遲會(huì)越來(lái)越短，按照這個(gè)鏈條往前發(fā)展。廣媒的大數(shù)據(jù)，除了這些基礎(chǔ)的運(yùn)維數(shù)據(jù)，還會(huì)采集機(jī)頂盒的收視行為數(shù)據(jù)，會(huì)往應(yīng)用層發(fā)展。底層的技術(shù)可以復(fù)用的，就可以復(fù)用，然后再往上層發(fā)展?！?

　　市場(chǎng)是檢驗(yàn)產(chǎn)品的唯一標(biāo)準(zhǔn)

當(dāng)然，在今天融合存儲(chǔ)和云計(jì)算市場(chǎng)火熱的當(dāng)下，很多IT企業(yè)大數(shù)據(jù)在技術(shù)上的創(chuàng)新優(yōu)勢(shì)也同樣在市場(chǎng)中被熟知，IBM、Oracle、EMC等一系列企業(yè)都相繼推出自己的數(shù)據(jù)平臺(tái)一體機(jī)，曙光如何將自主研發(fā)的大數(shù)據(jù)平臺(tái)拓展到更多市場(chǎng)，確實(shí)需要建立一套客觀的市場(chǎng)戰(zhàn)略。對(duì)比幾家企業(yè)大數(shù)據(jù)平臺(tái)產(chǎn)品，宋懷明也從產(chǎn)品角度結(jié)合其對(duì)客戶需求的分析進(jìn)行了剖析，Oracle的大數(shù)據(jù)一體機(jī)，是共享磁盤的架構(gòu)。對(duì)于數(shù)據(jù)量中等規(guī)?；蛘呤瞧〉氖潜容^適合的但價(jià)格比較昂貴。曙光是用無(wú)共享架構(gòu)，擴(kuò)展性更好，也是更主流的架構(gòu)方式，開源的組件基本上都是沿用無(wú)共享架構(gòu)的方式，價(jià)格便宜。IBM大數(shù)據(jù)一體機(jī)，把應(yīng)用固化的FPGA加速卡上;而曙光利用軟件模塊、硬件模塊融合方式，在存儲(chǔ)和數(shù)據(jù)交換方面做了優(yōu)術(shù)，并未把軟件固化在加速卡上。

顯然，曙光今天已經(jīng)對(duì)大數(shù)據(jù)平臺(tái)，已經(jīng)對(duì)行業(yè)市場(chǎng)有了很深的研究和戰(zhàn)略部署，從XDATA系統(tǒng)道曙光大數(shù)據(jù)存儲(chǔ),從非結(jié)構(gòu)化數(shù)據(jù)處理到大數(shù)據(jù)分析,從自主研發(fā)的解決方案到應(yīng)用到逐漸深入到市場(chǎng)段的應(yīng)用,曙光大數(shù)據(jù)存儲(chǔ)正在有計(jì)劃有規(guī)模的深入到市場(chǎng)，通過(guò)自身對(duì)行業(yè)市場(chǎng)的細(xì)分和精準(zhǔn)把握造就了曙光大數(shù)據(jù)存儲(chǔ)的成功。其正在打造的軟件定義資源利用、軟硬一體化趨近融合的平臺(tái)，從用戶角度出發(fā)，為更多的客戶帶來(lái)解決方案