
主數(shù)據(jù)與大數(shù)據(jù)的結合才能提升數(shù)據(jù)效益
當越來越多的企業(yè)采用大數(shù)據(jù)技術、云計算以及社交媒體來發(fā)現(xiàn)客戶需求、拓展業(yè)務時,他們需要主數(shù)據(jù)管理(MDM)來追隨這些大趨勢,從數(shù)據(jù)中萃取更大的業(yè)務價值,進而優(yōu)化品牌管理,拓展市場新渠道,打造企業(yè)核心競爭力。行之有效的主數(shù)據(jù)管理不僅能夠提升企業(yè)的數(shù)據(jù)質量,更可以和大數(shù)據(jù)技術緊密結合。
主數(shù)據(jù)是企業(yè)核心業(yè)務實體
主數(shù)據(jù)是企業(yè)運營中擔當著關鍵角色的核心業(yè)務實體,它們是系統(tǒng)間的共享數(shù)據(jù)(例如客戶、產品、供應商、賬戶和組織部門相關數(shù)據(jù)),分散地存在于企業(yè)的各業(yè)務系統(tǒng)中,也是企業(yè)內部能夠跨業(yè)務、跨系統(tǒng)重復使用的高價值數(shù)據(jù)。需要注意的是,主數(shù)據(jù)并不是企業(yè)內所有的業(yè)務數(shù)據(jù),而是有必要在各個系統(tǒng)間共享的數(shù)據(jù)才是主數(shù)據(jù)。比如大部分的交易數(shù)據(jù)、賬單數(shù)據(jù)等都不是主數(shù)據(jù)。涵蓋資源、產品、事件、客戶、財務、賬戶、員工、合作伙伴等,用于描述核心業(yè)務實體的數(shù)據(jù)才是主數(shù)據(jù)。因此,對主數(shù)據(jù)的識別,要把握主數(shù)據(jù)作為業(yè)務運作核心的本質。
其實,在沒有建主數(shù)據(jù)系統(tǒng)的時候,主數(shù)據(jù)就早已存在,只是它存在的形式和存在的地點是不合理的。主數(shù)據(jù)管理可以幫助企業(yè)從分散的業(yè)務系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù),對這些不同來源、不同格式的數(shù)據(jù)進行集中清洗和匹配,然后以服務的方式把統(tǒng)一的、完整的、準確的、具有共識性的主數(shù)據(jù),分發(fā)給全企業(yè)范圍內需要使用這些數(shù)據(jù)的系統(tǒng)或應用。
企業(yè)做主數(shù)據(jù)管理最主要的就是要解決主數(shù)據(jù)在各系統(tǒng)之間的一致性問題,讓企業(yè)擁有統(tǒng)一的主數(shù)據(jù)訪問接口,擁有集中的且內容豐富和干凈的數(shù)據(jù)中心,能夠為各業(yè)務部門提供一致、完整的共享信息平臺,為業(yè)務流程和經營決策提供了一個可靠的支撐載體。當然,主數(shù)據(jù)管理也可以作為一個企業(yè)的數(shù)據(jù)標準,強化對各業(yè)務系統(tǒng)的共性數(shù)據(jù)實體和模型的管理,避免出現(xiàn)大的業(yè)務概念不一致,降低應用孤島、數(shù)據(jù)孤島出現(xiàn)的幾率,從根本上保證系統(tǒng)之間能實現(xiàn)數(shù)據(jù)的較好共享,增強了各系統(tǒng)在企業(yè)層面的互動,從而提高企業(yè)運營效益,提高數(shù)據(jù)質量,更好地為企業(yè)信息集成做好鋪墊。
如果從產品角度來談主數(shù)據(jù),更多是如何去實現(xiàn)產品的創(chuàng)新。我們以制造企業(yè)為例,他們會因一個產品從研發(fā)、生產到市場銷售各個階段命名不一致,造成整個產品信息的不一致。這時候,從管理角度、從產品快速上市角度都會帶來很大的混淆,所以必須確保產品從整個生命周期保持它的信息一致性。同時,也使構建新產品的時候更有針對性,清楚哪些市場空白可以填補,哪些可以衍生出新產品,這對于整個企業(yè)的運作都有依據(jù)價值。
主數(shù)據(jù)與大數(shù)據(jù)相得益彰
主數(shù)據(jù)和大數(shù)據(jù)的核心都是數(shù)據(jù),但它們的關注角度有所不同:大數(shù)據(jù)關注于數(shù)據(jù)的量和數(shù)據(jù)的類型,而主數(shù)據(jù)則更關注于數(shù)據(jù)的質量。主數(shù)據(jù)和大數(shù)據(jù)的范疇也不是一成不變的,比如在微博上說的一句話是大數(shù)據(jù)范疇,這種社交類信息一般不會納入到主數(shù)據(jù)中,但也有可能隨著時間的推移、技術的進步以及成本的降低,在不久后歸入到主數(shù)據(jù)范疇內。
主數(shù)據(jù)側重于數(shù)據(jù)的組織,而大數(shù)據(jù)則提供了更多的原材料。舉個例子,現(xiàn)在不管是產品銷售還是服務推廣,都強調的一個前提是以客戶為中心,保險公司若要推銷一種保單,會關注客戶和潛在客戶在這個保單群里的言論,這些都是大數(shù)據(jù),而具體到究竟是哪個客戶發(fā)表的言論則屬于主數(shù)據(jù)的范疇。所以說,企業(yè)要獲得更好數(shù)據(jù)應用效果和價值,應以主數(shù)據(jù)為中心、為筋脈,通過主數(shù)據(jù)把各類散亂的大數(shù)據(jù)有效串聯(lián)起來。同時,大數(shù)據(jù)也是主數(shù)據(jù)的一個重要補充,兩者的結合可以達到很好的效果。
主數(shù)據(jù)平臺就像一個八爪魚,它以主數(shù)據(jù)為中心,跟各個內、外部系統(tǒng)建立聯(lián)系。主數(shù)據(jù)管理不僅要整合業(yè)務系統(tǒng)中高價值數(shù)據(jù),還要將外圍更廣泛的數(shù)據(jù)整合到主數(shù)據(jù)周圍來。大數(shù)據(jù)常以非結構化形式存在,甚至不在企業(yè)內部,那么如何去結合呢?Informatica大中國區(qū)首席產品顧問但彬認為,企業(yè)需要一套產品使企業(yè)能夠利用高效、低成本的計算架構實現(xiàn):在大數(shù)據(jù)中快速解決個體識別問題,比如客戶識別;在數(shù)據(jù)集分區(qū)不可行的情況下,高效完成大批量數(shù)據(jù),避免重復化;以更佳的成本效益方式加強社交媒體分析,并將碎片化的個體拼接為完整的個體,以實現(xiàn)有實際意義的交互分析。
現(xiàn)在,人們不用把照片和視頻之類的大數(shù)據(jù)拿到主數(shù)據(jù)平臺上,通過兩個系統(tǒng)的整合依然知道在哪里能找到這個客戶相關的視頻信息,這種系統(tǒng)集成的需求會越來越廣泛。與以往傳統(tǒng)的只是集成企業(yè)最核心系統(tǒng)不同,會慢慢膨脹得越來越大,內容越來越豐富,而且系統(tǒng)之間整合的形式也趨于多樣化,這也是近年來新的發(fā)展趨勢。提升企業(yè)數(shù)據(jù)的整合和管理能力,將數(shù)據(jù)集成擴展到社交媒體數(shù)據(jù)、網絡日志、傳感器設備數(shù)據(jù)、文檔、電子郵件、其他無編碼格式的多結構化或非結構化數(shù)據(jù),能夠顯著減少浪費在垃圾資料的時間,有效降低大數(shù)據(jù)開發(fā)、維護成本。
主數(shù)據(jù)管理是一個持續(xù)建設的過程
雖然企業(yè)清楚主數(shù)據(jù)的價值,但往往不知從何下手,如何實施。經常有客戶手中有一筆錢會突然提出要做主數(shù)據(jù),希望上線一套主數(shù)據(jù)管理系統(tǒng),但卻只給一個月的項目實施時間。可以說,這是一個非常不合理的時間安排,一個月可能對客戶需求都了解不透徹,更別提設計平臺,以及平臺與各業(yè)務系統(tǒng)的整合問題。
企業(yè)采用主數(shù)據(jù)方案最重要的不是技術準備,而是業(yè)務準備,企業(yè)在上馬主數(shù)據(jù)項目時,首先要想清楚項目所要達到的目的、目標和愿景,能給企業(yè)的業(yè)務帶來什么好處。在擁有業(yè)務驅動力后,企業(yè)要做的第二件事就是明確自己的痛點,因為主數(shù)據(jù)問題很難一次性解決,要有優(yōu)先級,分期分批地執(zhí)行。最后,則考慮必須做哪些具體的任務,如何實現(xiàn)主數(shù)據(jù)管理。
主數(shù)據(jù)問題很難一次性解決,因而造成項目復雜度高、工期長、耗費大的問題,建設前期對于企業(yè)來說感知不明顯,容易遭到質疑。因此建議企業(yè)采取漸進的方式來建設,先基礎、后深化,先局部、后覆蓋,這樣讓企業(yè)逐步感受到主數(shù)據(jù)帶來的益處。第一期項目可以從小規(guī)模入手(比如選擇一個業(yè)務領域),一個業(yè)務領域成功會帶動更多業(yè)務領域參與,前期的成功會成為后續(xù)實施的推升動力。
為保證企業(yè)能夠有條不紊地實施項目,建議企業(yè)根據(jù)規(guī)劃方法論,分階段、分步驟開展工作。但彬告訴記者,目前Informatica MDM產品解決方案把主數(shù)據(jù)生命周期劃分為9個階段:訪、發(fā)現(xiàn)、建模、清洗、識別、解決、關聯(lián)、治理以及交付。而且這是一個循環(huán)往復的過程,當有新的主數(shù)據(jù)出現(xiàn)或經過幾大階段治理后的主數(shù)據(jù)仍未達到質量要求時,主數(shù)據(jù)管理都會進入下一輪循環(huán)。數(shù)據(jù)治理的過程貫穿于整個生命周期,體現(xiàn)了主數(shù)據(jù)對于數(shù)據(jù)質量的管控作用。
越來越多中國企業(yè)的CIO們也已經看到了主數(shù)據(jù)管理平臺為企業(yè)帶來的管理效率的提升、運營風險的降低以及節(jié)省IT成本等效益,并將其逐漸提上企業(yè)信息化建設的日程。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛入職場或是在職場正面臨崗位替代、技能更新、人機協(xié)作等焦慮的打工人,想要找到一條破解職場焦慮和升職瓶頸的系統(tǒng)化學習提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價值的煉金術 ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時代的價值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競爭力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價值的橋梁? 在數(shù)據(jù)驅動決策的時代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時代的通行證? 在數(shù)字化浪潮席卷全球的今天,當企業(yè)決策者盯著屏幕上跳動的數(shù)據(jù)曲線尋找增長密碼,當科研人員在 ...
2025-07-17CDA 精益業(yè)務數(shù)據(jù)分析:數(shù)據(jù)驅動業(yè)務增長的實戰(zhàn)方法論 在企業(yè)數(shù)字化轉型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實踐 在 MySQL 數(shù)據(jù)庫表結構設計中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅動決策的 ...
2025-07-15CDA 精益業(yè)務數(shù)據(jù)分析:驅動企業(yè)高效決策的核心引擎? 在數(shù)字經濟時代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關聯(lián)表的 JOIN 實戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學的瑞士軍刀? ? 在數(shù)據(jù)驅動的時代,面對海量、復雜的數(shù)據(jù),如何高效地進行處理、分析和挖掘成為關鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導白皮書) 發(fā)布機構:CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11