
大數(shù)據(jù)改變智慧產(chǎn)生方式 企業(yè)IT架構(gòu)需先行應(yīng)變
大數(shù)據(jù)成為業(yè)界最熱門的話題之一,事實(shí)上,幾千年來我們一直在利用數(shù)據(jù),數(shù)據(jù)并不是新概念。但大數(shù)據(jù)的價(jià)值最近幾年才被公眾關(guān)注到,這有著時(shí)代背景的原因。比如說石油,石油在幾千年前就被發(fā)現(xiàn)了,但一直被用作日常生活或戰(zhàn)爭中的燃料,并不是特別重要的戰(zhàn)略物資。在內(nèi)燃機(jī)發(fā)明以后,石油成為最重要的動(dòng)力能源,并在最近的100年中成為戰(zhàn)略物資。
如今,大數(shù)據(jù)也迎來了黃金時(shí)代,隨著云存儲(chǔ)、云計(jì)算技術(shù)的成熟,大數(shù)據(jù)的存儲(chǔ)與處理能力有了技術(shù)條件。企業(yè)可以利用生產(chǎn)系統(tǒng)以及管理系統(tǒng)中產(chǎn)生的大量數(shù)據(jù),一方面對(duì)自己的生產(chǎn)活動(dòng)進(jìn)行更為準(zhǔn)確的預(yù)測與指導(dǎo),從而提高生產(chǎn)活動(dòng)的準(zhǔn)確性;另一方面通過對(duì)大數(shù)據(jù)價(jià)值的挖掘,開發(fā)新的業(yè)務(wù)和服務(wù)。比如谷歌,僅僅通過搜索關(guān)鍵字的歷史數(shù)據(jù),就相當(dāng)準(zhǔn)確地預(yù)測了流感的傳播路徑。在這樣的環(huán)境下,大數(shù)據(jù)才像石油一樣,成為重要的戰(zhàn)略資源。
當(dāng)然,各企業(yè)也都規(guī)劃了自己的大數(shù)據(jù)策略,在2014第四屆大數(shù)據(jù)世界論壇期間,C114采訪了中興通訊中心研究院副院長陳堅(jiān)以及中心研究院總工王德政,分享了中興通訊對(duì)大數(shù)據(jù)發(fā)展趨勢(shì)的看法。
最大的變化是智慧產(chǎn)生方式
就像每個(gè)人心中都有一個(gè)哈姆雷特一樣,每個(gè)人對(duì)大數(shù)據(jù)的定義也各有不同。在陳堅(jiān)看來,大數(shù)據(jù)的價(jià)值就在于透過表象,究其本質(zhì),提升人類活動(dòng)的準(zhǔn)確性,減少傳統(tǒng)方式下的“試錯(cuò)”成本,從而提升效率。
舉個(gè)例子,在發(fā)生重大案件時(shí),可以通過卡口的攝像資料,實(shí)時(shí)生成嫌疑車輛的運(yùn)動(dòng)軌跡與活動(dòng)范圍,提高案件偵破的效率。這些,歸根結(jié)底,都是通過提高人類活動(dòng)的準(zhǔn)確性來提高整個(gè)社會(huì)的生產(chǎn)效率。
王德政表示,中興作為一家擁有幾萬名員工的企業(yè),本身也是大數(shù)據(jù)的擁有者,大數(shù)據(jù)應(yīng)用的案例也是隨處可見。比如,通過員工打卡記錄與網(wǎng)絡(luò)登錄記錄的關(guān)聯(lián)挖掘,發(fā)現(xiàn)工作中的違例現(xiàn)象;通過對(duì)公司內(nèi)部論壇的挖掘分析,加強(qiáng)對(duì)未來技術(shù)的敏感度,防止技術(shù)決策失誤等等。
同時(shí),中興在項(xiàng)目研發(fā)的過程中,產(chǎn)生了大量的項(xiàng)目研發(fā)過程數(shù)據(jù)。在以往傳統(tǒng)的項(xiàng)目管理中,衡量一個(gè)項(xiàng)目執(zhí)行進(jìn)度是否正常,基本上是依賴項(xiàng)目成員的主動(dòng)報(bào)告。但項(xiàng)目成員的主動(dòng)報(bào)告,有時(shí)會(huì)掩蓋項(xiàng)目中實(shí)際的進(jìn)度延誤,以及項(xiàng)目執(zhí)行情況的惡化。近期,中興在考慮針對(duì)項(xiàng)目研發(fā)過程數(shù)據(jù)進(jìn)行建模,通過大數(shù)據(jù)的挖掘分析,對(duì)正在執(zhí)行項(xiàng)目的健康度進(jìn)行評(píng)估,與項(xiàng)目組的主動(dòng)報(bào)告對(duì)照印證,盡早發(fā)現(xiàn)項(xiàng)目執(zhí)行過程中的風(fēng)險(xiǎn)。
陳堅(jiān)認(rèn)為,未來大數(shù)據(jù)挖掘帶來的最大變化是智慧產(chǎn)生方式的變化。在傳統(tǒng)的智慧生成模式中主要依賴人類專家。例如,你我是各自領(lǐng)域的專家,我們通過長時(shí)間的經(jīng)驗(yàn)積累,可以在合理的時(shí)間內(nèi)針對(duì)自己領(lǐng)域內(nèi)的問題給出判斷,這就是一個(gè)典型的智慧生成過程。而大數(shù)據(jù)挖掘帶來的變化就是,大數(shù)據(jù)系統(tǒng)通過數(shù)據(jù)分析挖掘,累積經(jīng)驗(yàn)庫,并生成智慧,以減少對(duì)人類專家的依賴,至少是在數(shù)量上減少對(duì)人類專家的需求量。這樣的情景,將會(huì)蔓延到各行各業(yè),延伸到人類社會(huì)的各個(gè)角落,像文字的普及一樣,將永久性地改變?nèi)祟愃伎紗栴}的方式甚至生活方式,這需要人類提前準(zhǔn)備、適應(yīng)這種變化。
大數(shù)據(jù)是運(yùn)營商的必然選擇
但并不是所有的數(shù)據(jù)都具有價(jià)值,陳堅(jiān)認(rèn)為,一個(gè)高價(jià)值的數(shù)據(jù)集應(yīng)該滿足這樣幾個(gè)特征:首先,這個(gè)數(shù)據(jù)集應(yīng)該與物理世界有較為廣泛的對(duì)應(yīng)關(guān)系,而不是純粹的虛擬數(shù)據(jù);其二,這個(gè)數(shù)據(jù)集不是純粹的靜態(tài)數(shù)據(jù),而應(yīng)該是可以實(shí)時(shí)更新的數(shù)據(jù);其三,如果這個(gè)數(shù)據(jù)集具備物理位置等信息,將具備更大的價(jià)值。
現(xiàn)在運(yùn)營商對(duì)電信數(shù)據(jù)價(jià)值的認(rèn)識(shí)和價(jià)值探索,也越來越深刻。比如,用戶對(duì)服務(wù)質(zhì)量不滿意時(shí),往往只有少數(shù)人會(huì)打客服電話進(jìn)行投訴。不滿意的客戶,很可能在自己的親友圈中散發(fā)大量的負(fù)面情緒。按照傳統(tǒng)的通過客服主動(dòng)大面積撒網(wǎng)去消除這種負(fù)面影響,就需要付出非常高的成本。如果利用收集到的電信系統(tǒng)中的過程信令數(shù)據(jù),并加以分析,有效評(píng)估出客戶體驗(yàn)最差的群體,再對(duì)這些特定客戶群進(jìn)行主動(dòng)關(guān)懷,提高關(guān)懷行為的準(zhǔn)確性,就能夠以較小的代價(jià),主動(dòng)消除這些不滿意客戶所產(chǎn)生的負(fù)面影響。
現(xiàn)在,大數(shù)據(jù)在電信業(yè)的應(yīng)用,一方面用來改進(jìn)網(wǎng)絡(luò)本身,降低維護(hù)成本;另一方面通過分析挖掘開發(fā)新的業(yè)務(wù),增加收入,這些都將成為電信運(yùn)營商的必然選擇。
適應(yīng)需求的IT系統(tǒng)架構(gòu)特點(diǎn)
應(yīng)用的需求,也對(duì)企業(yè)的IT系統(tǒng)架構(gòu)提出了新的要求,比如要滿足海量應(yīng)用、在線計(jì)算。
陳堅(jiān)表示,中興近期推出的DAP平臺(tái)在系統(tǒng)架構(gòu)的設(shè)計(jì)中,采用清晰而標(biāo)準(zhǔn)的系統(tǒng)分層架構(gòu),可以根據(jù)不同行業(yè)的特點(diǎn),方便快捷地引入第三方的軟硬件模塊,保證客戶利益的最大化。DAP平臺(tái)利用云存儲(chǔ)與云計(jì)算的技術(shù),對(duì)海量的數(shù)據(jù)進(jìn)行存儲(chǔ)、挖掘分析,幫助企業(yè)充分開發(fā)數(shù)據(jù)的價(jià)值。
王德政補(bǔ)充說,與其他的系統(tǒng)相比,DAP平臺(tái)有三個(gè)最重要的方面:
首先,DAP采用貨架式架構(gòu),采用企業(yè)總線ESB的技術(shù),可以靈活地對(duì)各個(gè)組件模塊進(jìn)行裁剪與拼裝。滿足“集成”與“被集成”的兩種角色要求。當(dāng)前各個(gè)行業(yè)已有大量的生產(chǎn)系統(tǒng)在線運(yùn)行,完全重構(gòu)這些系統(tǒng)無論從經(jīng)濟(jì)成本上,還是時(shí)間成本,都無法承受。所以,未來的大數(shù)據(jù)系統(tǒng)必然要同時(shí)承擔(dān)兩種角色:既可以作為原有生產(chǎn)系統(tǒng)的一個(gè)子系統(tǒng)被集成,也可以作為主系統(tǒng)去集成原有的生產(chǎn)系統(tǒng)。
中興的DAP貨架式架構(gòu)就可以靈活適應(yīng)各類“集成”與“被集成”的場景,在不影響生產(chǎn)系統(tǒng)穩(wěn)定性的前提下,與原有生產(chǎn)系統(tǒng)無縫集成,引入大數(shù)據(jù)系統(tǒng)。
其次,DAP在數(shù)據(jù)分析挖掘?qū)用娴闹腔凵傻?a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征,可以提高企業(yè)活動(dòng)的準(zhǔn)確性。未來的大數(shù)據(jù)系統(tǒng)能否生成智慧,替代人類專家,是區(qū)分大數(shù)據(jù)系統(tǒng)與傳統(tǒng)IT系統(tǒng)的關(guān)鍵特征。一個(gè)無法生成智慧的系統(tǒng),無論數(shù)據(jù)量有多大,充其量也就是一個(gè)大型的傳統(tǒng)系統(tǒng),而不是大數(shù)據(jù)系統(tǒng)。DAP通過針對(duì)性的挖掘算法改進(jìn),可以做出超越人類專家經(jīng)驗(yàn)與直覺的智慧建議,提升人類活動(dòng)準(zhǔn)確性,提高社會(huì)生產(chǎn)能力。
第三點(diǎn),DAP具備平臺(tái)特性。DAP聚焦在數(shù)據(jù)的存儲(chǔ)、處理時(shí)效、以及挖掘算法,為上層應(yīng)用解決大數(shù)據(jù)應(yīng)用的技術(shù)難點(diǎn)與障礙。上層應(yīng)用可以根據(jù)自身的需求,快速地進(jìn)行定制開發(fā),以很短的時(shí)間周期與研發(fā)成本推出新的大數(shù)據(jù)應(yīng)用。未來,DAP還可以對(duì)第三方開放,支撐第三方的大數(shù)據(jù)業(yè)務(wù)開發(fā)。
根據(jù)他的介紹,目前中興的DAP大數(shù)據(jù)平臺(tái)已經(jīng)承載了電信、金融、政府相關(guān)領(lǐng)域的多個(gè)行業(yè)的大數(shù)據(jù)方案。
封閉研發(fā)很難成功
從技術(shù)的角度來看,陳堅(jiān)認(rèn)為,大數(shù)據(jù)平臺(tái)在各個(gè)行業(yè)中是相似的,可以采用相近的技術(shù)框架與方案,然后針對(duì)不同的應(yīng)用特點(diǎn)做針對(duì)性優(yōu)化。大數(shù)據(jù)應(yīng)用對(duì)于各個(gè)行業(yè)的差異性則是比較大的,需要適應(yīng)行業(yè)應(yīng)用的不同解決方案。
大數(shù)據(jù)作為一個(gè)產(chǎn)業(yè)鏈,任何封閉研發(fā)的嘗試都是很難成功的。陳堅(jiān)說,首先,大數(shù)據(jù)業(yè)務(wù)的實(shí)現(xiàn)天生具備定制化強(qiáng)的特點(diǎn)。所以,無論是電信、金融、還是其他領(lǐng)域,中興通訊作為大數(shù)據(jù)技術(shù)的提供者,都必須與合作伙伴做緊密的配合,才有可能獲得項(xiàng)目的成功。
其次,在大數(shù)據(jù)領(lǐng)域,中興也在參與開源社區(qū)的工作,在為開源社區(qū)做貢獻(xiàn)的同時(shí),同時(shí)利用開源社區(qū)的智慧與資源。
而且,中興通訊通過與北郵等高校的技術(shù)合作,開始做針對(duì)性的技術(shù)預(yù)研,論證未來技術(shù)實(shí)現(xiàn)的可行性。
對(duì)于一個(gè)大數(shù)據(jù)的系統(tǒng),可以將其分成數(shù)據(jù)收集獲取、存儲(chǔ)計(jì)算、建模應(yīng)用這三個(gè)層面。
在數(shù)據(jù)的收集獲取方面,業(yè)主本身就是這些數(shù)據(jù)的擁有者,需要考慮的是大量的對(duì)接、測試、談判等工作,這就需要業(yè)主自身具備較好的數(shù)據(jù)收集、談判能力。作為技術(shù)提供者,中興通訊具備數(shù)據(jù)的接入、清洗等相關(guān)技術(shù),可以協(xié)助業(yè)主做大量的實(shí)際測試與對(duì)接工作。
在數(shù)據(jù)的存儲(chǔ)計(jì)算方面,這往往是技術(shù)提供者最擅長的工作。對(duì)于中興通訊來說,為了適應(yīng)各個(gè)行業(yè)對(duì)大數(shù)據(jù)解決方案的需求,構(gòu)建了公司級(jí)的DAP大數(shù)據(jù)平臺(tái),其所涉及的范疇正是數(shù)據(jù)的存儲(chǔ)計(jì)算相關(guān)的領(lǐng)域。
在數(shù)據(jù)的建模應(yīng)用方面,往往需要業(yè)主與技術(shù)提供者協(xié)作工作,才能取得較好的效果。業(yè)主擁有自己領(lǐng)域的專家,可以整理出本領(lǐng)域的需求,中興的技術(shù)專家就可以根據(jù)這些需求,與業(yè)主進(jìn)行協(xié)作,構(gòu)建數(shù)據(jù)模型,完成新業(yè)務(wù)的開發(fā)。
綜合而言,在構(gòu)建大數(shù)據(jù)系統(tǒng)方案時(shí),業(yè)主與技術(shù)提供者是天生且必須的合作關(guān)系。業(yè)主更擅長于數(shù)據(jù)采集獲取、數(shù)據(jù)建模應(yīng)用相關(guān)的工作,技術(shù)提供者更擅長于數(shù)據(jù)存儲(chǔ)處理、數(shù)據(jù)建模應(yīng)用相關(guān)的工作。
今天,大家都意識(shí)到大數(shù)據(jù)是和自然資源一樣重要的戰(zhàn)略資產(chǎn),隨著應(yīng)用不斷深入社會(huì)各個(gè)角落,大數(shù)據(jù)挖掘有可能會(huì)超越人類專家經(jīng)驗(yàn)與直覺的智慧,勢(shì)必會(huì)催生社會(huì)發(fā)展變革。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10