
數(shù)據(jù)質(zhì)量構(gòu)建10誤區(qū)
關(guān)于高質(zhì)量信息的價值,已有無數(shù)研究報告做了闡述,企業(yè)質(zhì)量改進(jìn)計劃也迅速躥紅,成為業(yè)界關(guān)注的焦點(diǎn)。 數(shù)據(jù)質(zhì)量改進(jìn)曾經(jīng)是乏味無趣的工作,充斥著企業(yè)的后臺管理系統(tǒng),但如今它是享有最高優(yōu)先級的工作。
不過,值得注意的是,數(shù)據(jù)質(zhì)量改進(jìn)不僅僅是姓名與通訊地址的更正,這個問題的復(fù)雜性與企業(yè)的信息使用量成正比。
有10個誤區(qū)是熱衷于構(gòu)建數(shù)據(jù)質(zhì)量計劃的企業(yè)應(yīng)加以防范的。
1. 使用災(zāi)難性事件作為改進(jìn)數(shù)據(jù)質(zhì)量的驅(qū)動力
奇聞軼事很容易獲得上級管理層的認(rèn)可,因為這些事件為他們提供了一個表現(xiàn)的機(jī)會―即更正其中的數(shù)據(jù),從而成為“英雄”。 由此帶來的問題是,對于數(shù)據(jù)質(zhì)量改進(jìn)的關(guān)注度只能維持到發(fā)生下一次危機(jī)的時刻。 滿足一時之需,只能解決表面問題,無助于根除潛在隱患。
下面的列表將幫助你擬定一個可靠的價值主張,說明數(shù)據(jù)質(zhì)量改進(jìn)如何幫助企業(yè)高效地實現(xiàn)業(yè)務(wù)目標(biāo):
·找出糟糕的數(shù)據(jù)質(zhì)量影響了哪些關(guān)鍵業(yè)務(wù)。
·將具體的成本與數(shù)據(jù)缺陷關(guān)聯(lián)起來,并使用數(shù)據(jù)缺陷發(fā)生頻率的函數(shù)計算總成本。
·使用相關(guān)業(yè)務(wù)術(shù)語量化上述影響。
·評估根除這些數(shù)據(jù)缺陷源頭所需要的成本。
·確定用來對數(shù)據(jù)質(zhì)量實施持續(xù)監(jiān)測與報告的關(guān)鍵度量指標(biāo)。
評估改進(jìn)后數(shù)據(jù)質(zhì)量的投資回報率時需要格外注意,不要把那些只包含運(yùn)營預(yù)算或收益百分比等不確切“行業(yè)數(shù)據(jù)”的商業(yè)案例擺到企業(yè)高管層的面前,他們是不會關(guān)注這樣的商業(yè)案例的。 擬定數(shù)據(jù)質(zhì)量商業(yè)案例需要進(jìn)行認(rèn)真的調(diào)查研究,與業(yè)務(wù)領(lǐng)域?qū)<疫M(jìn)行討論,并且要穩(wěn)健務(wù)實。
2. 把信息質(zhì)量與管理數(shù)據(jù)的人關(guān)聯(lián)
在談?wù)摂?shù)據(jù)時,人們出于習(xí)慣會直接說好或糟糕。因此我們可能會在不經(jīng)意間把“好”或“糟糕”的評價與管理數(shù)據(jù)的人聯(lián)系起來。
當(dāng)你說某個數(shù)據(jù)庫的記錄比較糟糕時,數(shù)據(jù)庫的管理員可能會覺得你是沖著他來的。 因此,數(shù)據(jù)質(zhì)量措施常常遭到抵制―因為數(shù)據(jù)所有者認(rèn)為提供質(zhì)量糟糕的數(shù)據(jù)會讓人覺得他們的個人績效很差。結(jié)果信息被保護(hù)起來。
為了避免此問題,必須消除信息質(zhì)量的人格化特征。 在可用于評估業(yè)務(wù)規(guī)則符合度的聲明中,你要簡明扼要地說明業(yè)務(wù)期望,從而消除數(shù)據(jù)中的價值判斷。 反過來,這個方法提供了對信息有效性進(jìn)行量化的方法,即運(yùn)用意在鼓勵信息開放的相關(guān)業(yè)務(wù)指標(biāo)對信息有效性進(jìn)行量化。
3. 未能打造主動的工作氛圍
如果數(shù)據(jù)危機(jī)發(fā)生在被動的工作氛圍中,引發(fā)錯誤的數(shù)據(jù)先是被找出來、糾正,崩潰的流程又重新啟動,然后每個人都嘆了口氣,從恐慌中放松下來,直到下一次危機(jī)的爆發(fā)。但是,這不是一個合理的流程。原因在于未能將形成一個成熟的、主動應(yīng)對問題的工作氛圍。在主動的工作氛圍里,相關(guān)人員會在信息流的最初階段就度量數(shù)據(jù)質(zhì)量目標(biāo)的符合度,從而在信息缺陷惡化為嚴(yán)重問題前發(fā)現(xiàn)這些缺陷。
以下原則可以幫助企業(yè)將被動的工作氛圍變得主動:第一,確定關(guān)鍵的業(yè)務(wù)數(shù)據(jù)質(zhì)量預(yù)期;第二,清晰確定上述預(yù)期作為業(yè)務(wù)規(guī)則存在的身份;第三, 度量數(shù)據(jù)與所定義業(yè)務(wù)規(guī)則的符合度,從而提供關(guān)鍵數(shù)據(jù)質(zhì)量指標(biāo)。
4. 先采購軟件
雖然數(shù)據(jù)質(zhì)量軟件工具是數(shù)據(jù)質(zhì)量計劃中的關(guān)鍵組成部分,但在采購之前還是應(yīng)該問一下以下問題:采購的動機(jī)是什么?目前的流程是什么?在提高數(shù)據(jù)質(zhì)量計劃有效性方面有什么改進(jìn)潛力?
成功的企業(yè)在獲得數(shù)據(jù)質(zhì)量工具之前都會采取兩項重要措施。 首先,進(jìn)行業(yè)務(wù)需求評估,了解企業(yè)內(nèi)普遍存在的數(shù)據(jù)質(zhì)量問題。團(tuán)隊成員在企業(yè)內(nèi)部收集各種需求和愿望,并根據(jù)所需對這些需求和愿望排定優(yōu)先級,從而反映出業(yè)務(wù)采購需求。其次,為了在采購?fù)瓿珊蟊M快部署資源,成功的企業(yè)制定了所需技術(shù)的使用策略和使用流程。
5. 忽視數(shù)據(jù)
如今,企業(yè)通常都會管理千兆、兆兆規(guī)模的數(shù)據(jù)系統(tǒng),并且數(shù)據(jù)的規(guī)模仍不斷增長。但是,由于缺少全面的數(shù)據(jù)分析,這些組織很難發(fā)現(xiàn)潛在的數(shù)據(jù)質(zhì)量問題。 如果無法了解存在何種問題,改進(jìn)數(shù)據(jù)質(zhì)量又從何說起呢?
為了了解存在的問題,你需要將有效的分析、評估流程與數(shù)據(jù)剖析、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)匹配等工具結(jié)合使用。數(shù)據(jù)剖析工具可以幫助分析師發(fā)現(xiàn)妨礙業(yè)務(wù)目標(biāo)達(dá)成的信息缺陷。
全面的數(shù)據(jù)分析有助于提高數(shù)據(jù)質(zhì)量問題識別的效率,以及制定消除這些問題的規(guī)則。
6. 不了解員工行為
如果不能正確認(rèn)識體系內(nèi)員工的行為,世界上任何技術(shù)都無法消除數(shù)據(jù)質(zhì)量問題。 你可能會遇到以下一些常見問題:
第一,如果沒有上游系統(tǒng)所有人的合作,數(shù)據(jù)倉庫管理員在控制輸入數(shù)據(jù)質(zhì)量方面往往束手無策。 為了滿足數(shù)據(jù)倉庫級別嚴(yán)格的數(shù)據(jù)質(zhì)量需求,需要從上游管理員處獲得額外的資源分配。 不幸的是,上游管理員會認(rèn)為這種強(qiáng)加的需求不合理,因為他們所管理的應(yīng)用并不會從期望的質(zhì)量改進(jìn)中直接獲益。
第二,在一組操作流程中尋找數(shù)據(jù)質(zhì)量缺陷無異于揭發(fā)流程相關(guān)人員的工作低效。大家對于數(shù)據(jù)質(zhì)量評估的自然反應(yīng)就是,掩蓋與個人績效有關(guān)的任何潛在問題,而不是向別人暴露這些問題(以及任何可能的后果)。
第三,由接入呼叫中心員工收集的數(shù)據(jù)可以應(yīng)用于多個應(yīng)用程序。企業(yè)可以將其勞動報酬與工作量以及所收集數(shù)據(jù)的準(zhǔn)確性掛鉤。
了解員工的行為對于構(gòu)建數(shù)據(jù)質(zhì)量計劃具有重要意義。 在潛在問題全面爆發(fā)之前,企業(yè)就應(yīng)當(dāng)采取積極主動的態(tài)度來應(yīng)對這些問題。
7. 未能管理好主參考數(shù)據(jù)
如果企業(yè)未能準(zhǔn)確定義業(yè)務(wù)術(shù)語,數(shù)據(jù)質(zhì)量將會受到影響。在標(biāo)準(zhǔn)化常見業(yè)務(wù)術(shù)語的管理及其相應(yīng)數(shù)據(jù)元素的表示方法中,如果不能保持精確就會引發(fā)問題。
為了避免發(fā)生問題,可以運(yùn)用某個流程來鼓勵專業(yè)領(lǐng)域?qū)<遗c信息架構(gòu)師進(jìn)行結(jié)構(gòu)化合作。 企業(yè)可以從該方法中獲得兩方面的收益。首先,該方法幫助建立了常用術(shù)語庫,澄清了業(yè)務(wù)定義。其次,在它的指導(dǎo)下,建立了在元數(shù)據(jù)框架內(nèi)集中管理這些定義的框架。
因此,你可以在業(yè)務(wù)規(guī)則符合度方面闡明數(shù)據(jù)質(zhì)量預(yù)期。此外,你還可以獲得關(guān)于數(shù)據(jù)質(zhì)量的認(rèn)定斷言,作為企業(yè)知識在企業(yè)元數(shù)據(jù)框架內(nèi)進(jìn)行管理。
8. 將數(shù)據(jù)質(zhì)量工作孤立在IT部門
說到底,數(shù)據(jù)質(zhì)量主要還是與業(yè)務(wù)相關(guān),如果讓IT員工負(fù)責(zé)數(shù)據(jù)質(zhì)量計劃就大錯特錯了。 其結(jié)果就是支持?jǐn)?shù)據(jù)質(zhì)量措施的業(yè)務(wù)案例經(jīng)常充滿大量技術(shù)內(nèi)容,并且強(qiáng)調(diào)要購買工具,而不是推動與業(yè)務(wù)相關(guān)的可度量的質(zhì)量改進(jìn)。
即便是計劃得到批準(zhǔn),過分關(guān)注技術(shù)也會導(dǎo)致業(yè)務(wù)影響方面的評估被忽略掉。 更重要的是,人們會認(rèn)為數(shù)據(jù)質(zhì)量改進(jìn)是一個成本中心而非利潤中心。
所以,企業(yè)要調(diào)整與數(shù)據(jù)質(zhì)量所有權(quán)相關(guān)的思想過程。如果數(shù)據(jù)缺陷反映的是與業(yè)務(wù)預(yù)期不符而產(chǎn)生的業(yè)務(wù)影響,那確認(rèn)這些預(yù)期的規(guī)則應(yīng)該是業(yè)務(wù)客戶制定的。之后IT部門才可以參與部署工具,以確定哪些方面不符合預(yù)期。這樣就制造了IT與業(yè)務(wù)合作的機(jī)會。
9. 沒有儲備適合的專業(yè)人才
制定數(shù)據(jù)質(zhì)量計劃是一項戰(zhàn)略性工作―其成功同時依賴于業(yè)務(wù)和技術(shù)專業(yè)人才。由于數(shù)據(jù)質(zhì)量管理很大程度上,尤其是在企業(yè)級別,其性質(zhì)是建議性的,因此數(shù)據(jù)質(zhì)量計劃的作用就更為復(fù)雜。
不難想見,大家都期望一旦數(shù)據(jù)質(zhì)量計劃啟動,數(shù)據(jù)質(zhì)量就一定會有明顯的改善。流程工具間的緊密結(jié)合使問題更趨復(fù)雜。如果你認(rèn)為數(shù)據(jù)質(zhì)量管理員應(yīng)當(dāng)為一些行動負(fù)責(zé),但是他卻不一定擁有實施這些行動所需的知識或權(quán)限,這就導(dǎo)致了潛在的兩難境地。這讓人不知該從何入手來解決問題。
構(gòu)建數(shù)據(jù)質(zhì)量計劃時,應(yīng)該實施以下措施:
首先,在計劃開始時,招募一些在數(shù)據(jù)質(zhì)量計劃管理方面有經(jīng)驗的專業(yè)人士。這些人能抓住戰(zhàn)術(shù)上取得成功的機(jī)會,從而使計劃獲得戰(zhàn)略上的成功。
其次,邀請外部專家?guī)椭鷨痈倪M(jìn)流程。 這樣做可以讓你的團(tuán)隊明白,你們的問題不是特例,同時可以學(xué)習(xí)他人的最佳實踐。
然后,利用顧問的角色及內(nèi)部流程,將數(shù)據(jù)質(zhì)量改進(jìn)的責(zé)任分?jǐn)偟浆F(xiàn)有的信息管理部門。
最后,不要忘記實施有關(guān)策略和流程的培訓(xùn)―尤其是要培訓(xùn)如何使用所采購的工具。
10. 未能建立企業(yè)數(shù)據(jù)質(zhì)量卓越中心
再開明的企業(yè)都曾犯過的錯誤是,不能抓住最佳實踐并將其移植到企業(yè)的各個層級。對于數(shù)據(jù)質(zhì)量來說,與工具相關(guān)聯(lián)的數(shù)據(jù)如果沒有整合到卓越中心,其負(fù)面影響可能翻倍。
卓越中心是一個負(fù)責(zé)部署企業(yè)數(shù)據(jù)質(zhì)量戰(zhàn)略的組織級工作小組。其職能包括制定指導(dǎo)原則,協(xié)助評估業(yè)務(wù)需求,推薦可采購的工具,創(chuàng)建充分利用這些工具的流程,并提供分享數(shù)據(jù)質(zhì)量改進(jìn)經(jīng)驗的方法。建立卓越中心將帶來以下回報:
第一,標(biāo)準(zhǔn)化解決特定問題所需的方法和工具;第二,在軟硬件采購上實現(xiàn)規(guī)模經(jīng)濟(jì);第三,為數(shù)據(jù)質(zhì)量改進(jìn)提供業(yè)務(wù)模型;第四,將質(zhì)量改進(jìn)計劃所需投資分?jǐn)偟讲煌块T;第五,記錄企業(yè)不同部門的最佳實踐,使每個人從共同的經(jīng)驗中受益;第六,建立開發(fā)數(shù)據(jù)標(biāo)準(zhǔn)的論壇;第七,在工具和方法的使用方面組織專業(yè)培訓(xùn);第八,減少總的項目管理成本。
數(shù)據(jù)質(zhì)量改進(jìn)是結(jié)合了業(yè)務(wù)敏感性、高科技工具和良好定義流程的一個過程。 你也許認(rèn)為自己遇到的問題與眾不同,實際上這些問題與很多其他企業(yè)所遇到的問題很相似。
數(shù)據(jù)質(zhì)量主要還是與業(yè)務(wù)相關(guān),如果讓IT員工負(fù)責(zé)數(shù)據(jù)質(zhì)量計劃就大錯特錯了了,這不會推動與業(yè)務(wù)相關(guān)的可度量的質(zhì)量改進(jìn)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03