為什么數(shù)據(jù)分析計劃總是失敗

強大的數(shù)據(jù)分析是一項數(shù)字業(yè)務(wù)命令式——這一切都始于智能數(shù)據(jù)治理實踐，以及對質(zhì)量和環(huán)境的重視。
　　高管們談?wù)摰拇蠖嗍瞧胀〝?shù)據(jù)的價值，但Navient Solutions公司的企業(yè)數(shù)據(jù)情報總監(jiān)Michele Koch卻可以計算出公司數(shù)據(jù)的實際價值。事實上，Koch可以用實際的美元計算出公司的各種數(shù)據(jù)元素所帶來的收入增加和成本下降。因此，她明白，Navient的數(shù)據(jù)中存在能夠損害其企業(yè)底線的問題。例如，客戶檔案中的關(guān)鍵數(shù)據(jù)字段中的一個錯誤就可能意味著該公司無法以最低的成本處理貸款。
　　“由于這里涉及金錢，因此我們需要一個數(shù)據(jù)質(zhì)量儀表板，用以跟蹤所有的、我們追蹤的、實際的、潛在的價值?！盞och說。
　　另外，首席數(shù)據(jù)管理員兼財務(wù)副總裁Barbara Deemer表示，位于特拉華州威爾明頓的一家資產(chǎn)管理和業(yè)務(wù)處理服務(wù)公司Navient內(nèi)部的一項早期數(shù)據(jù)相關(guān)舉措展露了風(fēng)險。2006年的舉措側(cè)重于提高營銷數(shù)據(jù)質(zhì)量，并產(chǎn)生720萬美元的投資回報率，并從增加貸款量和減少運營支出中獲得回報。
　　Koch說，從那以后，Navient公司的高管們都承諾支持強有力的數(shù)據(jù)治理計劃，這是成功分析工作的關(guān)鍵部分。Navient的治理計劃包括長期公認的最佳實踐，例如標(biāo)準(zhǔn)化數(shù)據(jù)字段的定義和確保干凈的數(shù)據(jù)。它為大約2600個企業(yè)數(shù)據(jù)元素分配所有權(quán)。所有權(quán)屬于數(shù)據(jù)字段最初產(chǎn)生的業(yè)務(wù)領(lǐng)域，要么轉(zhuǎn)到特定數(shù)據(jù)字段是其流程更不可或缺的業(yè)務(wù)領(lǐng)域。
　　該公司還有一個數(shù)據(jù)質(zhì)量計劃，積極監(jiān)測領(lǐng)域的質(zhì)量，以確保不斷滿足高標(biāo)準(zhǔn)。該公司還推出了數(shù)據(jù)治理委員會(2006年)和分析數(shù)據(jù)治理委員會(2017年)，以解決持續(xù)存在的問題或疑慮，在整個企業(yè)做出決策，不斷改進數(shù)據(jù)操作以及數(shù)據(jù)如何為公司的分析工作提供支持。
　　Koch說“數(shù)據(jù)對于我們的商業(yè)計劃和新的商業(yè)機會非常重要，我們希望將重點放在改進支持我們分析程序的數(shù)據(jù)上。”
　　根據(jù)數(shù)據(jù)治理方案公司Erwin和UBM的數(shù)據(jù)治理，大多數(shù)高管都認為以合規(guī)、客戶滿意度和更好的決策為主要驅(qū)動力的數(shù)據(jù)治理是至關(guān)重要的。然而，報告發(fā)現(xiàn)，近40%的響應(yīng)組織沒有單獨的數(shù)據(jù)治理預(yù)算，約46%的組織沒有正式的數(shù)據(jù)治理策略。該項調(diào)查結(jié)果基于包括CIO、CTO、數(shù)據(jù)中心經(jīng)理、IT人員和顧問等在內(nèi)的118個受訪者的問題。
　　鑒于這些數(shù)據(jù)，專家表示，許多企業(yè)數(shù)據(jù)項目中存在弱點并不意外，下面是7個此類問題的數(shù)據(jù)實踐。
　　把數(shù)據(jù)整合在一起，但不是真正的整合
　　數(shù)據(jù)治理專業(yè)組織的通信副總裁Anne Buff說，在當(dāng)今的數(shù)據(jù)和分析領(lǐng)域中，集成是最重要的挑戰(zhàn)之一。
　　誠然，許多組織將所有數(shù)據(jù)集中在一個地方。但在現(xiàn)實中，他們并沒有整合來自多個數(shù)據(jù)源的各個部分。因此，來自一個系統(tǒng)的Bill Smith與其他系統(tǒng)產(chǎn)生的數(shù)據(jù)(以及它完整的變化)都沒有關(guān)系，這給業(yè)務(wù)帶來了多個不完整的定義。
　　共存數(shù)據(jù)與集成該數(shù)據(jù)不同，你必須有一種方法來匹配來自不同來源的記錄，你需要做到當(dāng)這一切都結(jié)合在一起時，它應(yīng)該創(chuàng)造更大的觀點，并且利用一些東西來作為連接點。
　　不同的數(shù)據(jù)集成技術(shù)可以實現(xiàn)這一點，選擇、實現(xiàn)和執(zhí)行正確的工具對于避免過多的手工工作或重復(fù)做相同的工作是至關(guān)重要的。
　　此外，整合正變得越來越重要，因為數(shù)據(jù)科學(xué)家正在尋找數(shù)據(jù)中的模式，以獲得能夠產(chǎn)生突破、競爭優(yōu)勢等方面的洞見。
　　“但是，如果你不能把從前從未合并過的數(shù)據(jù)組合在一起，你就找不到這些模式?！北笨_納州Cary的SAS資訊業(yè)務(wù)解決方案經(jīng)理Anne Buff說到。
　　沒有實現(xiàn)業(yè)務(wù)單位有獨特的需求
　　是的，整合的數(shù)據(jù)對于一個成功的分析程序至關(guān)重要。但一些商業(yè)用戶可能需要不同版本的數(shù)據(jù)。一種形式的數(shù)據(jù)不能滿足整個組織內(nèi)每個人的需求。
　　相反，它需要考慮數(shù)據(jù)供應(yīng)，即提供由業(yè)務(wù)用戶或業(yè)務(wù)部門確定的業(yè)務(wù)案例所需的數(shù)據(jù)。
　　以一家金融機構(gòu)的不同需求為例。雖然一些部門可能需要整合數(shù)據(jù)，但欺詐檢測部門可能希望其數(shù)據(jù)科學(xué)家使用不受約束的數(shù)據(jù)，這樣他們就可以搜索到危險信號。他們可能想在同一個地址搜索某人，使用他們個人身份信息的細微變化來申請多個貸款。
　　“你將會看到類似的數(shù)據(jù)元素，但有一些變量，所以你不想把這些差異弄得太大，把它弄得太干凈，”Anne Buff解釋說。另一方面，她還表示，金融機構(gòu)的營銷部門希望有正確的客戶名稱、地址和合適的目標(biāo)通信。
　　只招聘數(shù)據(jù)科學(xué)家，而不是數(shù)據(jù)工程師
　　隨著公司試圖超越基本商業(yè)智能，以預(yù)測和規(guī)范分析，以及機器學(xué)習(xí)和人工智能，它們需要提高數(shù)據(jù)團隊的專業(yè)水平。這使得數(shù)據(jù)科學(xué)家的地位受到了關(guān)注，另外數(shù)據(jù)工程師也同樣重要，他們需要手機數(shù)據(jù)來完成數(shù)據(jù)科學(xué)家的工作，但到目前為止，這在許多企業(yè)中受到的關(guān)注都較少。
　　Bain & Co.舊金山辦公室的合伙人、高級分析和數(shù)字實踐的領(lǐng)導(dǎo)者Lori Sherer說，這種情況一直在改變。“我們看到，對數(shù)據(jù)工程師的需求增長大約是數(shù)據(jù)科學(xué)家需求增長的兩倍，”Sherer說。
　　美國聯(lián)邦勞工統(tǒng)計局(federal Bureau of Labor Statistics)預(yù)計，未來10年，對數(shù)據(jù)工程師的需求將繼續(xù)快速增長，2016年至2026年，美國經(jīng)濟將增加44,200個職位，平均年薪已達135,800美元。
　　然而，就像許多關(guān)鍵崗位一樣，專家們表示，沒有足夠的數(shù)據(jù)工程師來滿足需求——這使得IT部門現(xiàn)在才剛剛開始招聘或培訓(xùn)招聘崗位。只招聘數(shù)據(jù)科學(xué)家，而不是數(shù)據(jù)工程師。
　　將數(shù)據(jù)保存在初始狀態(tài)，而不是管理它的生命周期
　　在過去的十年中，存儲成本急劇下降，使其能夠更輕松地存儲大量的數(shù)據(jù)，比以前任何時候都要長?？紤]到目前數(shù)據(jù)的容量和速度以及對數(shù)據(jù)的分析需求的增加，這似乎是個好消息。
　　不過，佛羅里達州Apollo Beach咨詢公司Eagle Consulting的聯(lián)合創(chuàng)始人Penny Garbus表示，盡多人都對擁有大量數(shù)據(jù)的價值表示歡迎，這往往都是好事。Garbus說，太多的企業(yè)對數(shù)據(jù)持有的時間太長。她說:“你不僅要為它付費，而且如果它存儲超過10年，那么信息就很可能脫離時代了?！薄拔覀児膭钊藗冊谏厦鎸懽⒚鲿r間表?！?br /> 　　Garbus說，數(shù)據(jù)的截止日期不僅從組織到組織，每個部門都不同。零售公司的庫存部門可能只需要相對較近期的數(shù)據(jù)，而市場營銷可能需要數(shù)年的數(shù)據(jù)來跟蹤趨勢。
　　如果是這樣的話，它需要實現(xiàn)架構(gòu)，將數(shù)據(jù)的正確時間框架交付到正確的位置，以確保每個人的需求得到滿足，并且舊數(shù)據(jù)不會損壞及時的分析程序。
　　正如Garbus指出的那樣，僅僅因為你必須保存(舊數(shù)據(jù))，并不意味著你必須把它放在你的核心環(huán)境中。你只要擁有它就行了。
　　Bain & Co.舊金山辦公室的合伙人、該公司高級分析和數(shù)字實踐的領(lǐng)導(dǎo)者Lori Sherer說，這種情況一直在改變。我們看到，對數(shù)據(jù)工程師的需求增長大約是數(shù)據(jù)科學(xué)家需求增長的兩倍。美國聯(lián)邦勞工統(tǒng)計局(federal Bureau of Labor Statistics)預(yù)計，未來10年，對數(shù)據(jù)工程師的需求將繼續(xù)快速增長，2016年至2026年，美國經(jīng)濟將增加44,200個職位，平均年薪已達135,800美元。
　　然而，就像許多關(guān)鍵崗位一樣，專家們表示，沒有足夠的數(shù)據(jù)工程師來滿足需求——這使得IT部門現(xiàn)在才剛剛開始招聘或培訓(xùn)招聘崗位。
　　專注于量，而不是目標(biāo)相關(guān)性
　　IT咨詢公司Booz Allen Hamilton的高級副總裁Steve Escaravage說:“我們?nèi)栽跇?gòu)建模型，并使用最有效的數(shù)據(jù)進行分析，而不是使用最相關(guān)的數(shù)據(jù)?！?br /> 　　他說，組織經(jīng)常錯誤地認為他們應(yīng)該捕捉并添加越來越多的數(shù)據(jù)集。他們認為“也許有些東西我們沒有找到，而不是懷疑數(shù)據(jù)的正確性”
　　考慮到許多機構(gòu)通過分析大量數(shù)據(jù)來尋找異?，F(xiàn)象來判斷欺詐行為。在一個重要的活動中，領(lǐng)先的機構(gòu)也會分析更有針對性的數(shù)據(jù)集，從而產(chǎn)生更好的結(jié)果。在這種情況下，他們可能會關(guān)注那些產(chǎn)生某種交易的個人或機構(gòu)，這些交易可能預(yù)示著麻煩。或者，醫(yī)療機構(gòu)在分析病人的結(jié)果時，可能會考慮到醫(yī)生在提供病人護理時的輪班時間。
　　Escaravage表示，組織可以從創(chuàng)建一個數(shù)據(jù)愿望清單開始。盡管這一過程從業(yè)務(wù)方面開始，“捕獲它并使其可用的機制，這是CIO、CTO或首席數(shù)據(jù)官的領(lǐng)域?！?br /> 　　提供數(shù)據(jù)，但忽略它來自哪里
　　今天的一個大主題是“分析偏見”，它可以扭曲結(jié)果，甚至產(chǎn)生錯誤的結(jié)論，導(dǎo)致糟糕的商業(yè)決策或結(jié)果。Escaravage說，在企業(yè)分析程序中，產(chǎn)生偏差的問題存在于許多不同的領(lǐng)域，包括如何處理數(shù)據(jù)本身。
　　他說，通常情況下，追蹤數(shù)據(jù)來源的工作做得不夠好。
　　“如果你不知道這一點，它就會影響你的模型的性能，”Escaravage說，他注意到數(shù)據(jù)來源的不可見性，以及數(shù)據(jù)來源如何使得控制偏見變得更加困難。
　　“了解數(shù)據(jù)來自哪里以及發(fā)生了什么，是我們的責(zé)任?！痹跀?shù)據(jù)管理方面有如此多的投資，但也應(yīng)該有一個元數(shù)據(jù)管理解決方案。
　　提供數(shù)據(jù)，但不能幫助用戶理解上下文
　　Escaravage說，它不僅應(yīng)該有一個強大的元數(shù)據(jù)管理程序，它可以跟蹤數(shù)據(jù)的來源，以及它如何在系統(tǒng)中運行，它應(yīng)該為用戶提供對某些歷史的洞察，并為一些通過分析產(chǎn)生的結(jié)果提供上下文。
　　“我們對自己能創(chuàng)造的東西感到非常興奮?！蔽覀冋J為我們有很好的數(shù)據(jù)，特別是沒有被分析的數(shù)據(jù)，我們可以建立一個關(guān)于這些數(shù)據(jù)價值的新型模型?！暗牵M管過去5年的分析方法令人驚訝，但這些技術(shù)的結(jié)果比過去在數(shù)據(jù)挖掘后應(yīng)用業(yè)務(wù)規(guī)則時的解釋要少，而且很容易解釋數(shù)據(jù)?！?br /> 　　Escaravage解釋說，較新的深度學(xué)習(xí)模式提供了見解和可操作的建議。但這些系統(tǒng)通常不會提供對最佳決策有用甚至至關(guān)重要的上下文。例如，它不提供關(guān)于概率的信息和基于數(shù)據(jù)的確定性。
　　Escaravage說，需要更好的用戶界面來提供這種環(huán)境。
　　“技術(shù)問題是人們?nèi)绾闻c這些模型交互。從透明的角度來看，關(guān)注UI/UX是非常重要的。因此，如果有人看到了來自人工智能平臺的推薦，他們能在多大程度上深入了解潛在的數(shù)據(jù)來源，等等?”他說?！癈IO們將不得不問如何在他們的系統(tǒng)中建立這樣的透明度?！?