
大數(shù)據(jù)將助企業(yè)更好實現(xiàn)商業(yè)價值
大數(shù)據(jù)將幫助企業(yè)更好地實現(xiàn)商業(yè)價值,以及通過改善商業(yè)智能來幫助企業(yè)改變組織流程和客戶體驗。
2016年,各行各業(yè)的大數(shù)據(jù)應(yīng)用開始從空洞的理論變?yōu)榫唧w實踐。因此,很多專家認為2016年才是真正意義上的大數(shù)據(jù)元年。那么,2017年大數(shù)據(jù)發(fā)展趨勢主要集中在哪些方面?為此,本報記者近日采訪了中興飛流信息科技公司CTO鄭龍。
大數(shù)據(jù)時代數(shù)據(jù)處理有三個特點
記者:大數(shù)據(jù)時代,如何從海量數(shù)據(jù)中分析得到需要的數(shù)據(jù),是很多公司的努力方向。在您看來,大數(shù)據(jù)時代數(shù)據(jù)處理的特點是什么?
鄭龍:總體來說大數(shù)據(jù)時代數(shù)據(jù)處理的特點包括三個方面:一是海量實時流數(shù)據(jù)需要高吞吐、低延時處理能力。實時事件、交易、交互數(shù)量每秒以百萬計,由此產(chǎn)生的數(shù)據(jù)兼具海量與實時的特性,自然會給大數(shù)據(jù)處理系統(tǒng)造成巨大的壓力,需要具備強大的并行計算能力,需要同時滿足高吞吐、低延時的特點。可見實時處理是大數(shù)據(jù)發(fā)展的重大趨勢。
二是基于Lambda架構(gòu)的動態(tài)流批混合處理能力。目前市場上流行的流式處理系統(tǒng)有Spark Streaming和Storm。但還是存在計算延時仍然無法保障以及資源調(diào)度低效等缺點。Lambda架構(gòu)整合離線計算和實時計算,融合不可變性(Immunability),是一個能滿足實時大數(shù)據(jù)系統(tǒng)關(guān)鍵特性(如高容錯、低延時和可擴展等)的架構(gòu)?;贚ambda架構(gòu)的統(tǒng)一流批混合處理平臺,可以動態(tài)感知批處理或流處理的優(yōu)先級,使得資源高效調(diào)度成為可能。
三是面向高度數(shù)據(jù)智能需求的大數(shù)據(jù)處理能力。當(dāng)下業(yè)務(wù)場景除了對實時性要求越來越嚴格,業(yè)務(wù)場景的復(fù)雜程度也越來越高,數(shù)據(jù)分析、決策支持將成為大數(shù)據(jù)的重要應(yīng)用。如今結(jié)合智能計算的大數(shù)據(jù)分析逐漸成為熱點,包括大數(shù)據(jù)與神經(jīng)計算、深度學(xué)習(xí)、語義計算以及人工智能其他相關(guān)技術(shù)結(jié)合,成為大數(shù)據(jù)分析領(lǐng)域的熱點。
未來大數(shù)據(jù)將從三個方面快速發(fā)展
記者:未來大數(shù)據(jù)的發(fā)展方向是什么?
鄭龍:大數(shù)據(jù)將幫助企業(yè)更好地實現(xiàn)商業(yè)價值,以及通過智能化手段來幫助企業(yè)改變組織流程和客戶體驗。未來大數(shù)據(jù)的發(fā)展方向包括以下幾個方面——
一是機器學(xué)習(xí)將在圖像識別、預(yù)測分析等領(lǐng)域?qū)崿F(xiàn)商業(yè)化。Gartner研究報告稱,機器學(xué)習(xí)是2017年十大戰(zhàn)略技術(shù)趨勢之一。當(dāng)今最先進的機器學(xué)習(xí)和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法,創(chuàng)建出能夠理解、學(xué)習(xí)、預(yù)測、適應(yīng),甚至可以自主操作的系統(tǒng)。隨著大數(shù)據(jù)分析能力的不斷提高,很多企業(yè)開始投資機器學(xué)習(xí)。
二是高吞吐、低延時的實時數(shù)據(jù)處理技術(shù)廣泛運用。典型的實時數(shù)據(jù)將產(chǎn)生于臨床實驗與醫(yī)療設(shè)備、疫情預(yù)警、保險欺詐檢測、電信運營商DPI分析及位置定位業(yè)務(wù)、智能電網(wǎng)的生產(chǎn)及勘探設(shè)備、交通行業(yè)路線擁堵及車輛追蹤等領(lǐng)域。鑒于這樣的流數(shù)據(jù)的分布廣,影響大,所以,對于全行業(yè)大數(shù)據(jù)應(yīng)用都是非常重要的組成。
業(yè)務(wù)需求驅(qū)動高吞吐、低延時的流數(shù)據(jù)處理技術(shù)應(yīng)運而生,離線計算和實時計算需要在統(tǒng)一框架中予以動態(tài)調(diào)配完美融合,而幸運的是,這樣的技術(shù)已經(jīng)浮出水面,商業(yè)模式也已呼之欲出。
三是物聯(lián)網(wǎng)與大數(shù)據(jù)的結(jié)合愈加緊密。數(shù)十億與互聯(lián)網(wǎng)連接的“物件”將生產(chǎn)大量數(shù)據(jù)。企業(yè)日益期望從這些數(shù)據(jù)中獲得價值,通過發(fā)展大數(shù)據(jù)技術(shù)以便與物聯(lián)網(wǎng)數(shù)據(jù)銜接起來。Forrester報告預(yù)計,可提供物聯(lián)網(wǎng)洞察能力分析的第三方供應(yīng)商在2017年將翻一番。
Yita是基于數(shù)據(jù)流的大數(shù)據(jù)計算引擎
記者:在您看來,什么是數(shù)據(jù)流?
鄭龍:為了提高計算機的并行處理能力,人們一直致力于研發(fā)高度并行的計算模型,在這樣的計算模型中,不僅要考慮數(shù)據(jù)控制類型,更要考慮驅(qū)動方式。
數(shù)據(jù)流跟控制流的區(qū)別可以簡單理解為市場經(jīng)濟和計劃經(jīng)濟的區(qū)別,控制流處理過程中會預(yù)先設(shè)定好每一步該干什么,然而在數(shù)據(jù)處理的實際過程中,如果有動態(tài)的變化,就沒有辦法處理和調(diào)整,有點類似于計劃經(jīng)濟。相反,數(shù)據(jù)流更加像市場經(jīng)濟,它只規(guī)定了市場經(jīng)濟的準則,只要有資金、有技術(shù)、有人就開始執(zhí)行。在實際處理過程中,只要有數(shù)據(jù)、計算資源、CPU就可以讓任務(wù)啟動起來。這樣就減少了計算中的控制同步等待,從而實時性更強。
記者:正是看到了數(shù)據(jù)流模型在大數(shù)據(jù)處理方面的優(yōu)勢,中興飛流推出了基于數(shù)據(jù)流模型的Yita大數(shù)據(jù)計算引擎。您能談?wù)刌ita大數(shù)據(jù)計算引擎的具體情況嗎?
鄭龍:目前數(shù)據(jù)流思想在中國的落地正是Yita計算引擎。這個從運算機理上進行創(chuàng)新的計算框架,不僅面對海量高壓數(shù)據(jù)場景處理更加游刃有余,而且使用Lambda架構(gòu)動態(tài)感知處理方式的優(yōu)先級,可以進行流批混合計算,同時有機結(jié)合了機器學(xué)習(xí)能力、圖計算能力和深度學(xué)習(xí)能力,最終實現(xiàn)了以Yita計算引擎為核心的大數(shù)據(jù)平臺的智能化。
中國大數(shù)據(jù)企業(yè)需在核心技術(shù)上下功夫
記者:目前在大數(shù)據(jù)領(lǐng)域,我國企業(yè)需要在哪些方面下功夫?
鄭龍:目前我們可以很明顯看到,在系統(tǒng)軟件領(lǐng)域沒有一款產(chǎn)品是純自主研發(fā)的。從技術(shù)角度來說這是一個很嚴重的問題。
中國企業(yè)要拿出核心競爭力,在大數(shù)據(jù)技術(shù)發(fā)展中占據(jù)一席之地,就如通訊業(yè)從3G向4G、5G的發(fā)展進程中,中國企業(yè)不再被牽著鼻子走,而是開始發(fā)出自己的聲音,引領(lǐng)技術(shù)的發(fā)展,這是我國企業(yè)在技術(shù)層面需要重視的事情。
記者:作為大數(shù)據(jù)技術(shù)公司,中興飛流著眼點在什么領(lǐng)域?
鄭龍:作為專業(yè)從事創(chuàng)新大數(shù)據(jù)核心技術(shù)研發(fā)和服務(wù)的高科技軟件企業(yè),中興飛流提供具有核心自主知識產(chǎn)權(quán)的大數(shù)據(jù)技術(shù)及解決方案。核心產(chǎn)品是以數(shù)據(jù)流思想為理論基礎(chǔ)的Yita計算引擎,基于該計算引擎的JDH大數(shù)據(jù)平臺,輔以豐富的算法庫,構(gòu)建了融合hadoop生態(tài)的、面向海量實時和流批混合計算的行業(yè)大數(shù)據(jù)整體解決方案。主要面向電信運營商領(lǐng)域、金融領(lǐng)域和交通、公安等政府領(lǐng)域,持續(xù)創(chuàng)造和提供具有競爭力的產(chǎn)品和應(yīng)用,實現(xiàn)“數(shù)據(jù)智慧,極速共享”。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11