
大數(shù)據(jù)將助企業(yè)更好實現(xiàn)商業(yè)價值
大數(shù)據(jù)將幫助企業(yè)更好地實現(xiàn)商業(yè)價值,以及通過改善商業(yè)智能來幫助企業(yè)改變組織流程和客戶體驗。
2016年,各行各業(yè)的大數(shù)據(jù)應用開始從空洞的理論變?yōu)榫唧w實踐。因此,很多專家認為2016年才是真正意義上的大數(shù)據(jù)元年。那么,2017年大數(shù)據(jù)發(fā)展趨勢主要集中在哪些方面?為此,本報記者近日采訪了中興飛流信息科技公司CTO鄭龍。
大數(shù)據(jù)時代數(shù)據(jù)處理有三個特點
記者:大數(shù)據(jù)時代,如何從海量數(shù)據(jù)中分析得到需要的數(shù)據(jù),是很多公司的努力方向。在您看來,大數(shù)據(jù)時代數(shù)據(jù)處理的特點是什么?
鄭龍:總體來說大數(shù)據(jù)時代數(shù)據(jù)處理的特點包括三個方面:一是海量實時流數(shù)據(jù)需要高吞吐、低延時處理能力。實時事件、交易、交互數(shù)量每秒以百萬計,由此產(chǎn)生的數(shù)據(jù)兼具海量與實時的特性,自然會給大數(shù)據(jù)處理系統(tǒng)造成巨大的壓力,需要具備強大的并行計算能力,需要同時滿足高吞吐、低延時的特點??梢妼崟r處理是大數(shù)據(jù)發(fā)展的重大趨勢。
二是基于Lambda架構(gòu)的動態(tài)流批混合處理能力。目前市場上流行的流式處理系統(tǒng)有Spark Streaming和Storm。但還是存在計算延時仍然無法保障以及資源調(diào)度低效等缺點。Lambda架構(gòu)整合離線計算和實時計算,融合不可變性(Immunability),是一個能滿足實時大數(shù)據(jù)系統(tǒng)關(guān)鍵特性(如高容錯、低延時和可擴展等)的架構(gòu)。基于Lambda架構(gòu)的統(tǒng)一流批混合處理平臺,可以動態(tài)感知批處理或流處理的優(yōu)先級,使得資源高效調(diào)度成為可能。
三是面向高度數(shù)據(jù)智能需求的大數(shù)據(jù)處理能力。當下業(yè)務(wù)場景除了對實時性要求越來越嚴格,業(yè)務(wù)場景的復雜程度也越來越高,數(shù)據(jù)分析、決策支持將成為大數(shù)據(jù)的重要應用。如今結(jié)合智能計算的大數(shù)據(jù)分析逐漸成為熱點,包括大數(shù)據(jù)與神經(jīng)計算、深度學習、語義計算以及人工智能其他相關(guān)技術(shù)結(jié)合,成為大數(shù)據(jù)分析領(lǐng)域的熱點。
未來大數(shù)據(jù)將從三個方面快速發(fā)展
記者:未來大數(shù)據(jù)的發(fā)展方向是什么?
鄭龍:大數(shù)據(jù)將幫助企業(yè)更好地實現(xiàn)商業(yè)價值,以及通過智能化手段來幫助企業(yè)改變組織流程和客戶體驗。未來大數(shù)據(jù)的發(fā)展方向包括以下幾個方面——
一是機器學習將在圖像識別、預測分析等領(lǐng)域?qū)崿F(xiàn)商業(yè)化。Gartner研究報告稱,機器學習是2017年十大戰(zhàn)略技術(shù)趨勢之一。當今最先進的機器學習和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法,創(chuàng)建出能夠理解、學習、預測、適應,甚至可以自主操作的系統(tǒng)。隨著大數(shù)據(jù)分析能力的不斷提高,很多企業(yè)開始投資機器學習。
二是高吞吐、低延時的實時數(shù)據(jù)處理技術(shù)廣泛運用。典型的實時數(shù)據(jù)將產(chǎn)生于臨床實驗與醫(yī)療設(shè)備、疫情預警、保險欺詐檢測、電信運營商DPI分析及位置定位業(yè)務(wù)、智能電網(wǎng)的生產(chǎn)及勘探設(shè)備、交通行業(yè)路線擁堵及車輛追蹤等領(lǐng)域。鑒于這樣的流數(shù)據(jù)的分布廣,影響大,所以,對于全行業(yè)大數(shù)據(jù)應用都是非常重要的組成。
業(yè)務(wù)需求驅(qū)動高吞吐、低延時的流數(shù)據(jù)處理技術(shù)應運而生,離線計算和實時計算需要在統(tǒng)一框架中予以動態(tài)調(diào)配完美融合,而幸運的是,這樣的技術(shù)已經(jīng)浮出水面,商業(yè)模式也已呼之欲出。
三是物聯(lián)網(wǎng)與大數(shù)據(jù)的結(jié)合愈加緊密。數(shù)十億與互聯(lián)網(wǎng)連接的“物件”將生產(chǎn)大量數(shù)據(jù)。企業(yè)日益期望從這些數(shù)據(jù)中獲得價值,通過發(fā)展大數(shù)據(jù)技術(shù)以便與物聯(lián)網(wǎng)數(shù)據(jù)銜接起來。Forrester報告預計,可提供物聯(lián)網(wǎng)洞察能力分析的第三方供應商在2017年將翻一番。
Yita是基于數(shù)據(jù)流的大數(shù)據(jù)計算引擎
記者:在您看來,什么是數(shù)據(jù)流?
鄭龍:為了提高計算機的并行處理能力,人們一直致力于研發(fā)高度并行的計算模型,在這樣的計算模型中,不僅要考慮數(shù)據(jù)控制類型,更要考慮驅(qū)動方式。
數(shù)據(jù)流跟控制流的區(qū)別可以簡單理解為市場經(jīng)濟和計劃經(jīng)濟的區(qū)別,控制流處理過程中會預先設(shè)定好每一步該干什么,然而在數(shù)據(jù)處理的實際過程中,如果有動態(tài)的變化,就沒有辦法處理和調(diào)整,有點類似于計劃經(jīng)濟。相反,數(shù)據(jù)流更加像市場經(jīng)濟,它只規(guī)定了市場經(jīng)濟的準則,只要有資金、有技術(shù)、有人就開始執(zhí)行。在實際處理過程中,只要有數(shù)據(jù)、計算資源、CPU就可以讓任務(wù)啟動起來。這樣就減少了計算中的控制同步等待,從而實時性更強。
記者:正是看到了數(shù)據(jù)流模型在大數(shù)據(jù)處理方面的優(yōu)勢,中興飛流推出了基于數(shù)據(jù)流模型的Yita大數(shù)據(jù)計算引擎。您能談?wù)刌ita大數(shù)據(jù)計算引擎的具體情況嗎?
鄭龍:目前數(shù)據(jù)流思想在中國的落地正是Yita計算引擎。這個從運算機理上進行創(chuàng)新的計算框架,不僅面對海量高壓數(shù)據(jù)場景處理更加游刃有余,而且使用Lambda架構(gòu)動態(tài)感知處理方式的優(yōu)先級,可以進行流批混合計算,同時有機結(jié)合了機器學習能力、圖計算能力和深度學習能力,最終實現(xiàn)了以Yita計算引擎為核心的大數(shù)據(jù)平臺的智能化。
中國大數(shù)據(jù)企業(yè)需在核心技術(shù)上下功夫
記者:目前在大數(shù)據(jù)領(lǐng)域,我國企業(yè)需要在哪些方面下功夫?
鄭龍:目前我們可以很明顯看到,在系統(tǒng)軟件領(lǐng)域沒有一款產(chǎn)品是純自主研發(fā)的。從技術(shù)角度來說這是一個很嚴重的問題。
中國企業(yè)要拿出核心競爭力,在大數(shù)據(jù)技術(shù)發(fā)展中占據(jù)一席之地,就如通訊業(yè)從3G向4G、5G的發(fā)展進程中,中國企業(yè)不再被牽著鼻子走,而是開始發(fā)出自己的聲音,引領(lǐng)技術(shù)的發(fā)展,這是我國企業(yè)在技術(shù)層面需要重視的事情。
記者:作為大數(shù)據(jù)技術(shù)公司,中興飛流著眼點在什么領(lǐng)域?
鄭龍:作為專業(yè)從事創(chuàng)新大數(shù)據(jù)核心技術(shù)研發(fā)和服務(wù)的高科技軟件企業(yè),中興飛流提供具有核心自主知識產(chǎn)權(quán)的大數(shù)據(jù)技術(shù)及解決方案。核心產(chǎn)品是以數(shù)據(jù)流思想為理論基礎(chǔ)的Yita計算引擎,基于該計算引擎的JDH大數(shù)據(jù)平臺,輔以豐富的算法庫,構(gòu)建了融合hadoop生態(tài)的、面向海量實時和流批混合計算的行業(yè)大數(shù)據(jù)整體解決方案。主要面向電信運營商領(lǐng)域、金融領(lǐng)域和交通、公安等政府領(lǐng)域,持續(xù)創(chuàng)造和提供具有競爭力的產(chǎn)品和應用,實現(xiàn)“數(shù)據(jù)智慧,極速共享”。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03