
主數(shù)據(jù)與大數(shù)據(jù)的結(jié)合才能提升數(shù)據(jù)效益
當越來越多的企業(yè)采用大數(shù)據(jù)技術(shù)、云計算以及社交媒體來發(fā)現(xiàn)客戶需求、拓展業(yè)務(wù)時,他們需要主數(shù)據(jù)管理(MDM)來追隨這些大趨勢,從數(shù)據(jù)中萃取更大的業(yè)務(wù)價值,進而優(yōu)化品牌管理,拓展市場新渠道,打造企業(yè)核心競爭力。行之有效的主數(shù)據(jù)管理不僅能夠提升企業(yè)的數(shù)據(jù)質(zhì)量,更可以和大數(shù)據(jù)技術(shù)緊密結(jié)合。
主數(shù)據(jù)是企業(yè)核心業(yè)務(wù)實體
主數(shù)據(jù)是企業(yè)運營中擔當著關(guān)鍵角色的核心業(yè)務(wù)實體,它們是系統(tǒng)間的共享數(shù)據(jù)(例如客戶、產(chǎn)品、供應(yīng)商、賬戶和組織部門相關(guān)數(shù)據(jù)),分散地存在于企業(yè)的各業(yè)務(wù)系統(tǒng)中,也是企業(yè)內(nèi)部能夠跨業(yè)務(wù)、跨系統(tǒng)重復(fù)使用的高價值數(shù)據(jù)。需要注意的是,主數(shù)據(jù)并不是企業(yè)內(nèi)所有的業(yè)務(wù)數(shù)據(jù),而是有必要在各個系統(tǒng)間共享的數(shù)據(jù)才是主數(shù)據(jù)。比如大部分的交易數(shù)據(jù)、賬單數(shù)據(jù)等都不是主數(shù)據(jù)。涵蓋資源、產(chǎn)品、事件、客戶、財務(wù)、賬戶、員工、合作伙伴等,用于描述核心業(yè)務(wù)實體的數(shù)據(jù)才是主數(shù)據(jù)。因此,對主數(shù)據(jù)的識別,要把握主數(shù)據(jù)作為業(yè)務(wù)運作核心的本質(zhì)。
其實,在沒有建主數(shù)據(jù)系統(tǒng)的時候,主數(shù)據(jù)就早已存在,只是它存在的形式和存在的地點是不合理的。主數(shù)據(jù)管理可以幫助企業(yè)從分散的業(yè)務(wù)系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù),對這些不同來源、不同格式的數(shù)據(jù)進行集中清洗和匹配,然后以服務(wù)的方式把統(tǒng)一的、完整的、準確的、具有共識性的主數(shù)據(jù),分發(fā)給全企業(yè)范圍內(nèi)需要使用這些數(shù)據(jù)的系統(tǒng)或應(yīng)用。
企業(yè)做主數(shù)據(jù)管理最主要的就是要解決主數(shù)據(jù)在各系統(tǒng)之間的一致性問題,讓企業(yè)擁有統(tǒng)一的主數(shù)據(jù)訪問接口,擁有集中的且內(nèi)容豐富和干凈的數(shù)據(jù)中心,能夠為各業(yè)務(wù)部門提供一致、完整的共享信息平臺,為業(yè)務(wù)流程和經(jīng)營決策提供了一個可靠的支撐載體。當然,主數(shù)據(jù)管理也可以作為一個企業(yè)的數(shù)據(jù)標準,強化對各業(yè)務(wù)系統(tǒng)的共性數(shù)據(jù)實體和模型的管理,避免出現(xiàn)大的業(yè)務(wù)概念不一致,降低應(yīng)用孤島、數(shù)據(jù)孤島出現(xiàn)的幾率,從根本上保證系統(tǒng)之間能實現(xiàn)數(shù)據(jù)的較好共享,增強了各系統(tǒng)在企業(yè)層面的互動,從而提高企業(yè)運營效益,提高數(shù)據(jù)質(zhì)量,更好地為企業(yè)信息集成做好鋪墊。
如果從產(chǎn)品角度來談主數(shù)據(jù),更多是如何去實現(xiàn)產(chǎn)品的創(chuàng)新。我們以制造企業(yè)為例,他們會因一個產(chǎn)品從研發(fā)、生產(chǎn)到市場銷售各個階段命名不一致,造成整個產(chǎn)品信息的不一致。這時候,從管理角度、從產(chǎn)品快速上市角度都會帶來很大的混淆,所以必須確保產(chǎn)品從整個生命周期保持它的信息一致性。同時,也使構(gòu)建新產(chǎn)品的時候更有針對性,清楚哪些市場空白可以填補,哪些可以衍生出新產(chǎn)品,這對于整個企業(yè)的運作都有依據(jù)價值。
主數(shù)據(jù)與大數(shù)據(jù)相得益彰
主數(shù)據(jù)和大數(shù)據(jù)的核心都是數(shù)據(jù),但它們的關(guān)注角度有所不同:大數(shù)據(jù)關(guān)注于數(shù)據(jù)的量和數(shù)據(jù)的類型,而主數(shù)據(jù)則更關(guān)注于數(shù)據(jù)的質(zhì)量。主數(shù)據(jù)和大數(shù)據(jù)的范疇也不是一成不變的,比如在微博上說的一句話是大數(shù)據(jù)范疇,這種社交類信息一般不會納入到主數(shù)據(jù)中,但也有可能隨著時間的推移、技術(shù)的進步以及成本的降低,在不久后歸入到主數(shù)據(jù)范疇內(nèi)。
主數(shù)據(jù)側(cè)重于數(shù)據(jù)的組織,而大數(shù)據(jù)則提供了更多的原材料。舉個例子,現(xiàn)在不管是產(chǎn)品銷售還是服務(wù)推廣,都強調(diào)的一個前提是以客戶為中心,保險公司若要推銷一種保單,會關(guān)注客戶和潛在客戶在這個保單群里的言論,這些都是大數(shù)據(jù),而具體到究竟是哪個客戶發(fā)表的言論則屬于主數(shù)據(jù)的范疇。所以說,企業(yè)要獲得更好數(shù)據(jù)應(yīng)用效果和價值,應(yīng)以主數(shù)據(jù)為中心、為筋脈,通過主數(shù)據(jù)把各類散亂的大數(shù)據(jù)有效串聯(lián)起來。同時,大數(shù)據(jù)也是主數(shù)據(jù)的一個重要補充,兩者的結(jié)合可以達到很好的效果。
主數(shù)據(jù)平臺就像一個八爪魚,它以主數(shù)據(jù)為中心,跟各個內(nèi)、外部系統(tǒng)建立聯(lián)系。主數(shù)據(jù)管理不僅要整合業(yè)務(wù)系統(tǒng)中高價值數(shù)據(jù),還要將外圍更廣泛的數(shù)據(jù)整合到主數(shù)據(jù)周圍來。大數(shù)據(jù)常以非結(jié)構(gòu)化形式存在,甚至不在企業(yè)內(nèi)部,那么如何去結(jié)合呢?Informatica大中國區(qū)首席產(chǎn)品顧問但彬認為,企業(yè)需要一套產(chǎn)品使企業(yè)能夠利用高效、低成本的計算架構(gòu)實現(xiàn):在大數(shù)據(jù)中快速解決個體識別問題,比如客戶識別;在數(shù)據(jù)集分區(qū)不可行的情況下,高效完成大批量數(shù)據(jù),避免重復(fù)化;以更佳的成本效益方式加強社交媒體分析,并將碎片化的個體拼接為完整的個體,以實現(xiàn)有實際意義的交互分析。
現(xiàn)在,人們不用把照片和視頻之類的大數(shù)據(jù)拿到主數(shù)據(jù)平臺上,通過兩個系統(tǒng)的整合依然知道在哪里能找到這個客戶相關(guān)的視頻信息,這種系統(tǒng)集成的需求會越來越廣泛。與以往傳統(tǒng)的只是集成企業(yè)最核心系統(tǒng)不同,會慢慢膨脹得越來越大,內(nèi)容越來越豐富,而且系統(tǒng)之間整合的形式也趨于多樣化,這也是近年來新的發(fā)展趨勢。提升企業(yè)數(shù)據(jù)的整合和管理能力,將數(shù)據(jù)集成擴展到社交媒體數(shù)據(jù)、網(wǎng)絡(luò)日志、傳感器設(shè)備數(shù)據(jù)、文檔、電子郵件、其他無編碼格式的多結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù),能夠顯著減少浪費在垃圾資料的時間,有效降低大數(shù)據(jù)開發(fā)、維護成本。
主數(shù)據(jù)管理是一個持續(xù)建設(shè)的過程
雖然企業(yè)清楚主數(shù)據(jù)的價值,但往往不知從何下手,如何實施。經(jīng)常有客戶手中有一筆錢會突然提出要做主數(shù)據(jù),希望上線一套主數(shù)據(jù)管理系統(tǒng),但卻只給一個月的項目實施時間??梢哉f,這是一個非常不合理的時間安排,一個月可能對客戶需求都了解不透徹,更別提設(shè)計平臺,以及平臺與各業(yè)務(wù)系統(tǒng)的整合問題。
企業(yè)采用主數(shù)據(jù)方案最重要的不是技術(shù)準備,而是業(yè)務(wù)準備,企業(yè)在上馬主數(shù)據(jù)項目時,首先要想清楚項目所要達到的目的、目標和愿景,能給企業(yè)的業(yè)務(wù)帶來什么好處。在擁有業(yè)務(wù)驅(qū)動力后,企業(yè)要做的第二件事就是明確自己的痛點,因為主數(shù)據(jù)問題很難一次性解決,要有優(yōu)先級,分期分批地執(zhí)行。最后,則考慮必須做哪些具體的任務(wù),如何實現(xiàn)主數(shù)據(jù)管理。
主數(shù)據(jù)問題很難一次性解決,因而造成項目復(fù)雜度高、工期長、耗費大的問題,建設(shè)前期對于企業(yè)來說感知不明顯,容易遭到質(zhì)疑。因此建議企業(yè)采取漸進的方式來建設(shè),先基礎(chǔ)、后深化,先局部、后覆蓋,這樣讓企業(yè)逐步感受到主數(shù)據(jù)帶來的益處。第一期項目可以從小規(guī)模入手(比如選擇一個業(yè)務(wù)領(lǐng)域),一個業(yè)務(wù)領(lǐng)域成功會帶動更多業(yè)務(wù)領(lǐng)域參與,前期的成功會成為后續(xù)實施的推升動力。
為保證企業(yè)能夠有條不紊地實施項目,建議企業(yè)根據(jù)規(guī)劃方法論,分階段、分步驟開展工作。但彬告訴記者,目前Informatica MDM產(chǎn)品解決方案把主數(shù)據(jù)生命周期劃分為9個階段:訪、發(fā)現(xiàn)、建模、清洗、識別、解決、關(guān)聯(lián)、治理以及交付。而且這是一個循環(huán)往復(fù)的過程,當有新的主數(shù)據(jù)出現(xiàn)或經(jīng)過幾大階段治理后的主數(shù)據(jù)仍未達到質(zhì)量要求時,主數(shù)據(jù)管理都會進入下一輪循環(huán)。數(shù)據(jù)治理的過程貫穿于整個生命周期,體現(xiàn)了主數(shù)據(jù)對于數(shù)據(jù)質(zhì)量的管控作用。
越來越多中國企業(yè)的CIO們也已經(jīng)看到了主數(shù)據(jù)管理平臺為企業(yè)帶來的管理效率的提升、運營風(fēng)險的降低以及節(jié)省IT成本等效益,并將其逐漸提上企業(yè)信息化建設(shè)的日程。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11