
大數(shù)據(jù)時(shí)代 如何讓數(shù)據(jù)“資源化”
大數(shù)據(jù)的時(shí)代已經(jīng)到來(lái),并且大數(shù)據(jù)在未來(lái)的時(shí)間內(nèi)將影響著政府、企業(yè)以及個(gè)人的工作與生活,在此環(huán)境下,數(shù)據(jù)將成為與人財(cái)物比肩的資源,面對(duì)如此寶貴的財(cái)富,如何讓大數(shù)據(jù)發(fā)揮大價(jià)值已經(jīng)成為政府、企業(yè)以及信息化廠商急需解決的問(wèn)題,同方在國(guó)內(nèi)率先提出數(shù)據(jù)資源體系的概念,通過(guò)數(shù)據(jù)資源體系讓大數(shù)據(jù)發(fā)揮大價(jià)值。
如何發(fā)揮數(shù)據(jù)的價(jià)值
眾所周知,大數(shù)據(jù)的時(shí)代已經(jīng)到來(lái),在大數(shù)據(jù)時(shí)代,數(shù)據(jù)的存儲(chǔ)也好、數(shù)據(jù)的整合加工、分析挖掘也罷,都是為了使用數(shù)據(jù),讓數(shù)據(jù)發(fā)揮最大價(jià)值,現(xiàn)階段在政府機(jī)關(guān)及企業(yè)中對(duì)數(shù)據(jù)進(jìn)行挖掘分析讓其發(fā)揮最大價(jià)值的方法主要有兩種,一種是信息化程度較高,技術(shù)實(shí)力較強(qiáng)的政府機(jī)關(guān)或企業(yè),通過(guò)自有的技術(shù)讓數(shù)據(jù)發(fā)揮最大的價(jià)值,典型的代表如國(guó)外的沃爾瑪、亞馬遜、谷歌等公司,國(guó)內(nèi)的阿里巴巴、百度等公司,這些公司在數(shù)據(jù)存儲(chǔ)、整合加工、分析挖掘及應(yīng)用方面有業(yè)內(nèi)較好且領(lǐng)先的技術(shù),但是所具有的技術(shù)都是為了滿(mǎn)足自身業(yè)務(wù)發(fā)展的需要而開(kāi)發(fā)設(shè)計(jì),不對(duì)外公布;另一種是采用市場(chǎng)中主流的一些數(shù)據(jù)挖掘工具、數(shù)據(jù)分析工具、商業(yè)智能工具對(duì)已有的數(shù)據(jù)進(jìn)行相關(guān)的挖掘、分析,讓其產(chǎn)生價(jià)值,采用此類(lèi)方法進(jìn)行數(shù)據(jù)整合加工、分析挖掘的用戶(hù),可以達(dá)到初步的數(shù)據(jù)分析要求,但是由于其涉及的數(shù)據(jù)量巨大、數(shù)據(jù)種類(lèi)眾多、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)之間相互獨(dú)立缺少關(guān)聯(lián)關(guān)系、數(shù)據(jù)覆蓋的業(yè)務(wù)面較廣,僅是通過(guò)一些數(shù)據(jù)分析挖掘工具很難讓已有數(shù)據(jù)發(fā)揮其最大價(jià)值。因此,讓大數(shù)據(jù)發(fā)揮最大價(jià)值,不僅要采用數(shù)據(jù)分析挖掘等相關(guān)工具,更重要的是從數(shù)據(jù)的本質(zhì)和數(shù)據(jù)所描述的業(yè)務(wù)出發(fā),規(guī)劃和整理數(shù)據(jù),建立起數(shù)據(jù)之間相互的關(guān)聯(lián)關(guān)系,并體系化對(duì)數(shù)據(jù)進(jìn)行管理,才有可能讓數(shù)據(jù)源源不斷的、最大化的發(fā)揮其價(jià)值。
同方在大數(shù)據(jù)領(lǐng)域率先提出了數(shù)據(jù)資源體系的概念,數(shù)據(jù)資源體系的形成是對(duì)數(shù)據(jù)進(jìn)行規(guī)劃設(shè)計(jì),圍繞用戶(hù)的核心目標(biāo),采用頂層設(shè)計(jì)的方法對(duì)核心目標(biāo)進(jìn)行層層的分解,形成可落實(shí)各層級(jí)目標(biāo)的指標(biāo)體系,并且以指標(biāo)體系為基礎(chǔ),形成可描述業(yè)務(wù)、存儲(chǔ)數(shù)據(jù)、描述數(shù)據(jù)的元數(shù)據(jù)體系,并且以元數(shù)據(jù)體系為指導(dǎo),形成一套即可以滿(mǎn)足用戶(hù)各層級(jí)的應(yīng)用需求,又能夠讓數(shù)據(jù)源源不斷、最大化發(fā)揮價(jià)值的數(shù)據(jù)資源體系。
數(shù)據(jù)資源體系的形成,首先要對(duì)數(shù)據(jù)進(jìn)行資源化,然后將數(shù)據(jù)資源進(jìn)行體系化管理,下面將對(duì)數(shù)據(jù)資源體系的形成進(jìn)行詳細(xì)分析。
如何讓數(shù)據(jù)“資源化”
首先,數(shù)據(jù)是資源,是可以與人、財(cái)、物比肩的資源,更進(jìn)一步數(shù)據(jù)已形成與石油、煤炭等相當(dāng)?shù)膽?zhàn)略資源,與其他資源相同,數(shù)據(jù)也需要采用科學(xué)的方法進(jìn)行開(kāi)采、挖掘才可能發(fā)揮出其應(yīng)有的價(jià)值,與其他資源不同的是,數(shù)據(jù)是可再生、可重復(fù)利用的資源,并且只要通過(guò)科學(xué)的方法和技術(shù)對(duì)數(shù)據(jù)進(jìn)行挖掘,就可以讓數(shù)據(jù)源源不斷的發(fā)揮他的價(jià)值。中國(guó)的信息化產(chǎn)業(yè)經(jīng)過(guò)近幾十年的發(fā)展,在各行業(yè)、各領(lǐng)域已經(jīng)積累了大量的數(shù)據(jù),據(jù)有關(guān)機(jī)構(gòu)調(diào)查,這些已經(jīng)產(chǎn)生的數(shù)據(jù)中95%以上的數(shù)據(jù)都存放在各自的存儲(chǔ)設(shè)備或硬盤(pán)中,自產(chǎn)生之后就沒(méi)有經(jīng)過(guò)任何使用,一直屬于沉睡狀態(tài),因此,這些數(shù)據(jù)也就不產(chǎn)生任何價(jià)值,也就不能稱(chēng)之為資源。對(duì)于此類(lèi)數(shù)據(jù)如不能讓其成為資源,并發(fā)揮價(jià)值,對(duì)于數(shù)據(jù)的擁有者來(lái)說(shuō),數(shù)據(jù)的存儲(chǔ)與維護(hù)將會(huì)無(wú)止境的投入,這些無(wú)價(jià)值的投入將會(huì)給數(shù)據(jù)的擁有者帶來(lái)巨大的負(fù)擔(dān),而這個(gè)負(fù)擔(dān)又不能丟棄,必須由數(shù)據(jù)擁有者來(lái)承擔(dān),因?yàn)檫@些數(shù)據(jù)的擁有者始終認(rèn)為,這些數(shù)據(jù)是其擁有的具有無(wú)限價(jià)值的資源,如何喚醒這些沉睡中的數(shù)據(jù),并讓其真正意義上成為資源是現(xiàn)階段各行業(yè)、各領(lǐng)域的數(shù)據(jù)擁有者都在思考,并力爭(zhēng)解決的問(wèn)題。
對(duì)于以上問(wèn)題的解決,首先需要將沉睡的數(shù)據(jù)喚醒,也就是將數(shù)據(jù)進(jìn)行資源化,讓其真正意義上成為數(shù)據(jù)資源,并將所形成的數(shù)據(jù)資源進(jìn)行體系化管理,最終形成數(shù)據(jù)資源體系。分析以上問(wèn)題,數(shù)據(jù)不能形成資源,不能發(fā)揮其價(jià)值的原因主要有以下兩點(diǎn):
第一、已經(jīng)存在的數(shù)據(jù)相互獨(dú)立,沒(méi)有建立相互的關(guān)聯(lián)關(guān)系,而數(shù)據(jù)價(jià)值的產(chǎn)生往往需要從多維度、多角度分析相關(guān)數(shù)據(jù)才可能會(huì)挖掘出其價(jià)值;
第二、數(shù)據(jù)的存儲(chǔ)與使用缺乏統(tǒng)一的規(guī)劃設(shè)計(jì),已有的數(shù)據(jù)大多數(shù)來(lái)源于是已經(jīng)建立的各類(lèi)業(yè)務(wù)系統(tǒng),而各業(yè)務(wù)系統(tǒng)都是為了滿(mǎn)足各自業(yè)務(wù)板塊的需要而建立,缺乏統(tǒng)一的規(guī)劃和設(shè)計(jì),因此,對(duì)于已有數(shù)據(jù)的存儲(chǔ)和使用以及新生數(shù)據(jù)的存儲(chǔ)和使用缺乏統(tǒng)一的規(guī)劃和設(shè)計(jì)。
因此,將數(shù)據(jù)形成數(shù)據(jù)資源主要需要解決以上兩個(gè)問(wèn)題,對(duì)于數(shù)據(jù)的統(tǒng)一規(guī)劃和設(shè)計(jì)同方采用頂層設(shè)計(jì)的方法,從用戶(hù)的核心目標(biāo)出發(fā),站在全局的角度規(guī)劃和設(shè)計(jì)數(shù)據(jù)采集、存儲(chǔ)、整合加工、分析挖掘及應(yīng)用等方面的標(biāo)準(zhǔn)和規(guī)則,并通過(guò)頂層設(shè)計(jì)的方法將核心目標(biāo)自頂向下進(jìn)行層層分解,分解為一系列具體的工作目標(biāo)和工作任務(wù),層層貫徹實(shí)施,并通過(guò)工作部署、跟蹤、監(jiān)測(cè)、評(píng)價(jià)、調(diào)整、反饋等一系列手段和措施,確保各項(xiàng)工作與核心目標(biāo)保持一致,并且將已經(jīng)產(chǎn)生或以后產(chǎn)生的數(shù)據(jù)規(guī)劃到各層級(jí)目標(biāo)及任務(wù)中,在此過(guò)程中,將納入到規(guī)劃體系內(nèi)的數(shù)據(jù)通過(guò)指標(biāo)和元數(shù)據(jù)的方法進(jìn)行描述,將數(shù)據(jù)分解為“細(xì)粒度的數(shù)據(jù)元素+相對(duì)粗粒度的數(shù)據(jù)集及其組織結(jié)構(gòu)描述”,把數(shù)據(jù)元素(最小的不可再分的信息單元)做為數(shù)據(jù)資源的最小描述與管理單位,基于各種數(shù)據(jù)元素的按需組合形成面向?qū)嶋H業(yè)務(wù)、管理、服務(wù)需要的數(shù)據(jù)集并對(duì)數(shù)據(jù)集的構(gòu)成形式和組織關(guān)系提供統(tǒng)一規(guī)范的描述形式,形成粗粒度的資源管理單元,再把數(shù)據(jù)元素和數(shù)據(jù)集用資源管理的手段和方法組織在一起,實(shí)現(xiàn)數(shù)據(jù)的資源化。
如何讓數(shù)據(jù)資源體系化
數(shù)據(jù)要發(fā)揮價(jià)值,首先是將數(shù)據(jù)形成資源,對(duì)于已經(jīng)形成的數(shù)據(jù)資源只有通過(guò)科學(xué)的技術(shù)和方法進(jìn)行管理和使用才可以不斷的發(fā)揮數(shù)據(jù)資源的價(jià)值,在此過(guò)程中對(duì)于數(shù)據(jù)資源的不斷使用,需要一個(gè)科學(xué)合理的管理和保障體系做支撐,才能讓數(shù)據(jù)資源源源不斷的發(fā)揮最大價(jià)值,因此需要將已形成的數(shù)據(jù)資源進(jìn)行體系化管理,從而形成數(shù)據(jù)資源體系。
讓數(shù)據(jù)資源體系化,首先對(duì)于體系的規(guī)劃設(shè)計(jì)也要采用頂層設(shè)計(jì)的方法,圍繞著組織的核心目標(biāo),將已經(jīng)形成的數(shù)據(jù)資源進(jìn)行規(guī)劃和設(shè)計(jì),將已經(jīng)通過(guò)指標(biāo)與元數(shù)據(jù)描述的數(shù)據(jù)資源按照統(tǒng)一的規(guī)劃設(shè)計(jì)形成指標(biāo)體系,并以指標(biāo)體系為基礎(chǔ)形成元數(shù)據(jù)體系,以指標(biāo)體系、元數(shù)據(jù)體系為指導(dǎo)逐步完成數(shù)據(jù)的采集、整合加工、綜合應(yīng)用、共享發(fā)布、信息服務(wù)與推送等一系列數(shù)據(jù)資源生產(chǎn)的流程,從而將整個(gè)過(guò)程形成一套完整的體系,即數(shù)據(jù)資源體系。
數(shù)據(jù)資源體系讓數(shù)據(jù)發(fā)揮價(jià)值
在形成的數(shù)據(jù)資源體系中,擴(kuò)展是全方位的,指標(biāo)可以通過(guò)擴(kuò)充其屬性來(lái)不斷完善,并可以通過(guò)資源管理手段進(jìn)行擴(kuò)充和增加,以此支持?jǐn)?shù)據(jù)元素級(jí)別的資源增長(zhǎng);而數(shù)據(jù)集更是可以隨時(shí)按需創(chuàng)建,只要數(shù)據(jù)元素足夠全面,針對(duì)每一業(yè)務(wù)需要都可以創(chuàng)建一個(gè)特定的數(shù)據(jù)集來(lái)全面支撐,這樣就可以最大程度的滿(mǎn)足各種不同的數(shù)據(jù)層面需求,從而最大程度發(fā)揮數(shù)據(jù)的價(jià)值。
小結(jié)
大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨,政府機(jī)關(guān)及企事業(yè)單位對(duì)于數(shù)據(jù)價(jià)值挖掘的需求也越來(lái)越多,發(fā)揮數(shù)據(jù)的價(jià)值,不僅僅是使用數(shù)據(jù)分析挖掘工具,更應(yīng)該從對(duì)數(shù)據(jù)的規(guī)劃設(shè)計(jì)做起,通過(guò)數(shù)據(jù)資源體系為數(shù)據(jù)源源不斷發(fā)揮其最大價(jià)值打好最結(jié)實(shí)的基礎(chǔ),最終讓大數(shù)據(jù)發(fā)揮數(shù)據(jù)的最大價(jià)值。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢(xún)效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶(hù)體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類(lèi)分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類(lèi)分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10