為什么數(shù)據(jù)分析計(jì)劃總是失敗

強(qiáng)大的數(shù)據(jù)分析是一項(xiàng)數(shù)字業(yè)務(wù)命令式——這一切都始于智能數(shù)據(jù)治理實(shí)踐，以及對(duì)質(zhì)量和環(huán)境的重視。
　　高管們談?wù)摰拇蠖嗍瞧胀〝?shù)據(jù)的價(jià)值，但Navient Solutions公司的企業(yè)數(shù)據(jù)情報(bào)總監(jiān)Michele Koch卻可以計(jì)算出公司數(shù)據(jù)的實(shí)際價(jià)值。事實(shí)上，Koch可以用實(shí)際的美元計(jì)算出公司的各種數(shù)據(jù)元素所帶來的收入增加和成本下降。因此，她明白，Navient的數(shù)據(jù)中存在能夠損害其企業(yè)底線的問題。例如，客戶檔案中的關(guān)鍵數(shù)據(jù)字段中的一個(gè)錯(cuò)誤就可能意味著該公司無法以最低的成本處理貸款。
　　“由于這里涉及金錢，因此我們需要一個(gè)數(shù)據(jù)質(zhì)量儀表板，用以跟蹤所有的、我們追蹤的、實(shí)際的、潛在的價(jià)值?！盞och說。
　　另外，首席數(shù)據(jù)管理員兼財(cái)務(wù)副總裁Barbara Deemer表示，位于特拉華州威爾明頓的一家資產(chǎn)管理和業(yè)務(wù)處理服務(wù)公司Navient內(nèi)部的一項(xiàng)早期數(shù)據(jù)相關(guān)舉措展露了風(fēng)險(xiǎn)。2006年的舉措側(cè)重于提高營(yíng)銷數(shù)據(jù)質(zhì)量，并產(chǎn)生720萬美元的投資回報(bào)率，并從增加貸款量和減少運(yùn)營(yíng)支出中獲得回報(bào)。
　　Koch說，從那以后，Navient公司的高管們都承諾支持強(qiáng)有力的數(shù)據(jù)治理計(jì)劃，這是成功分析工作的關(guān)鍵部分。Navient的治理計(jì)劃包括長(zhǎng)期公認(rèn)的最佳實(shí)踐，例如標(biāo)準(zhǔn)化數(shù)據(jù)字段的定義和確保干凈的數(shù)據(jù)。它為大約2600個(gè)企業(yè)數(shù)據(jù)元素分配所有權(quán)。所有權(quán)屬于數(shù)據(jù)字段最初產(chǎn)生的業(yè)務(wù)領(lǐng)域，要么轉(zhuǎn)到特定數(shù)據(jù)字段是其流程更不可或缺的業(yè)務(wù)領(lǐng)域。
　　該公司還有一個(gè)數(shù)據(jù)質(zhì)量計(jì)劃，積極監(jiān)測(cè)領(lǐng)域的質(zhì)量，以確保不斷滿足高標(biāo)準(zhǔn)。該公司還推出了數(shù)據(jù)治理委員會(huì)(2006年)和分析數(shù)據(jù)治理委員會(huì)(2017年)，以解決持續(xù)存在的問題或疑慮，在整個(gè)企業(yè)做出決策，不斷改進(jìn)數(shù)據(jù)操作以及數(shù)據(jù)如何為公司的分析工作提供支持。
　　Koch說“數(shù)據(jù)對(duì)于我們的商業(yè)計(jì)劃和新的商業(yè)機(jī)會(huì)非常重要，我們希望將重點(diǎn)放在改進(jìn)支持我們分析程序的數(shù)據(jù)上?！?br /> 　　根據(jù)數(shù)據(jù)治理方案公司Erwin和UBM的數(shù)據(jù)治理，大多數(shù)高管都認(rèn)為以合規(guī)、客戶滿意度和更好的決策為主要驅(qū)動(dòng)力的數(shù)據(jù)治理是至關(guān)重要的。然而，報(bào)告發(fā)現(xiàn)，近40%的響應(yīng)組織沒有單獨(dú)的數(shù)據(jù)治理預(yù)算，約46%的組織沒有正式的數(shù)據(jù)治理策略。該項(xiàng)調(diào)查結(jié)果基于包括CIO、CTO、數(shù)據(jù)中心經(jīng)理、IT人員和顧問等在內(nèi)的118個(gè)受訪者的問題。
　　鑒于這些數(shù)據(jù)，專家表示，許多企業(yè)數(shù)據(jù)項(xiàng)目中存在弱點(diǎn)并不意外，下面是7個(gè)此類問題的數(shù)據(jù)實(shí)踐。
　　把數(shù)據(jù)整合在一起，但不是真正的整合
　　數(shù)據(jù)治理專業(yè)組織的通信副總裁Anne Buff說，在當(dāng)今的數(shù)據(jù)和分析領(lǐng)域中，集成是最重要的挑戰(zhàn)之一。
　　誠(chéng)然，許多組織將所有數(shù)據(jù)集中在一個(gè)地方。但在現(xiàn)實(shí)中，他們并沒有整合來自多個(gè)數(shù)據(jù)源的各個(gè)部分。因此，來自一個(gè)系統(tǒng)的Bill Smith與其他系統(tǒng)產(chǎn)生的數(shù)據(jù)(以及它完整的變化)都沒有關(guān)系，這給業(yè)務(wù)帶來了多個(gè)不完整的定義。
　　共存數(shù)據(jù)與集成該數(shù)據(jù)不同，你必須有一種方法來匹配來自不同來源的記錄，你需要做到當(dāng)這一切都結(jié)合在一起時(shí)，它應(yīng)該創(chuàng)造更大的觀點(diǎn)，并且利用一些東西來作為連接點(diǎn)。
　　不同的數(shù)據(jù)集成技術(shù)可以實(shí)現(xiàn)這一點(diǎn)，選擇、實(shí)現(xiàn)和執(zhí)行正確的工具對(duì)于避免過多的手工工作或重復(fù)做相同的工作是至關(guān)重要的。
　　此外，整合正變得越來越重要，因?yàn)閿?shù)據(jù)科學(xué)家正在尋找數(shù)據(jù)中的模式，以獲得能夠產(chǎn)生突破、競(jìng)爭(zhēng)優(yōu)勢(shì)等方面的洞見。
　　“但是，如果你不能把從前從未合并過的數(shù)據(jù)組合在一起，你就找不到這些模式。”北卡羅納州Cary的SAS資訊業(yè)務(wù)解決方案經(jīng)理Anne Buff說到。
　　沒有實(shí)現(xiàn)業(yè)務(wù)單位有獨(dú)特的需求
　　是的，整合的數(shù)據(jù)對(duì)于一個(gè)成功的分析程序至關(guān)重要。但一些商業(yè)用戶可能需要不同版本的數(shù)據(jù)。一種形式的數(shù)據(jù)不能滿足整個(gè)組織內(nèi)每個(gè)人的需求。
　　相反，它需要考慮數(shù)據(jù)供應(yīng)，即提供由業(yè)務(wù)用戶或業(yè)務(wù)部門確定的業(yè)務(wù)案例所需的數(shù)據(jù)。
　　以一家金融機(jī)構(gòu)的不同需求為例。雖然一些部門可能需要整合數(shù)據(jù)，但欺詐檢測(cè)部門可能希望其數(shù)據(jù)科學(xué)家使用不受約束的數(shù)據(jù)，這樣他們就可以搜索到危險(xiǎn)信號(hào)。他們可能想在同一個(gè)地址搜索某人，使用他們個(gè)人身份信息的細(xì)微變化來申請(qǐng)多個(gè)貸款。
　　“你將會(huì)看到類似的數(shù)據(jù)元素，但有一些變量，所以你不想把這些差異弄得太大，把它弄得太干凈，”Anne Buff解釋說。另一方面，她還表示，金融機(jī)構(gòu)的營(yíng)銷部門希望有正確的客戶名稱、地址和合適的目標(biāo)通信。
　　只招聘數(shù)據(jù)科學(xué)家，而不是數(shù)據(jù)工程師
　　隨著公司試圖超越基本商業(yè)智能，以預(yù)測(cè)和規(guī)范分析，以及機(jī)器學(xué)習(xí)和人工智能，它們需要提高數(shù)據(jù)團(tuán)隊(duì)的專業(yè)水平。這使得數(shù)據(jù)科學(xué)家的地位受到了關(guān)注，另外數(shù)據(jù)工程師也同樣重要，他們需要手機(jī)數(shù)據(jù)來完成數(shù)據(jù)科學(xué)家的工作，但到目前為止，這在許多企業(yè)中受到的關(guān)注都較少。
　　Bain & Co.舊金山辦公室的合伙人、高級(jí)分析和數(shù)字實(shí)踐的領(lǐng)導(dǎo)者Lori Sherer說，這種情況一直在改變?！拔覀兛吹剑瑢?duì)數(shù)據(jù)工程師的需求增長(zhǎng)大約是數(shù)據(jù)科學(xué)家需求增長(zhǎng)的兩倍，”Sherer說。
　　美國(guó)聯(lián)邦勞工統(tǒng)計(jì)局(federal Bureau of Labor Statistics)預(yù)計(jì)，未來10年，對(duì)數(shù)據(jù)工程師的需求將繼續(xù)快速增長(zhǎng)，2016年至2026年，美國(guó)經(jīng)濟(jì)將增加44,200個(gè)職位，平均年薪已達(dá)135,800美元。
　　然而，就像許多關(guān)鍵崗位一樣，專家們表示，沒有足夠的數(shù)據(jù)工程師來滿足需求——這使得IT部門現(xiàn)在才剛剛開始招聘或培訓(xùn)招聘崗位。只招聘數(shù)據(jù)科學(xué)家，而不是數(shù)據(jù)工程師。
　　將數(shù)據(jù)保存在初始狀態(tài)，而不是管理它的生命周期
　　在過去的十年中，存儲(chǔ)成本急劇下降，使其能夠更輕松地存儲(chǔ)大量的數(shù)據(jù)，比以前任何時(shí)候都要長(zhǎng)?？紤]到目前數(shù)據(jù)的容量和速度以及對(duì)數(shù)據(jù)的分析需求的增加，這似乎是個(gè)好消息。
　　不過，佛羅里達(dá)州Apollo Beach咨詢公司Eagle Consulting的聯(lián)合創(chuàng)始人Penny Garbus表示，盡多人都對(duì)擁有大量數(shù)據(jù)的價(jià)值表示歡迎，這往往都是好事。Garbus說，太多的企業(yè)對(duì)數(shù)據(jù)持有的時(shí)間太長(zhǎng)。她說:“你不僅要為它付費(fèi)，而且如果它存儲(chǔ)超過10年，那么信息就很可能脫離時(shí)代了?！薄拔覀児膭?lì)人們?cè)谏厦鎸懽⒚鲿r(shí)間表。”
　　Garbus說，數(shù)據(jù)的截止日期不僅從組織到組織，每個(gè)部門都不同。零售公司的庫(kù)存部門可能只需要相對(duì)較近期的數(shù)據(jù)，而市場(chǎng)營(yíng)銷可能需要數(shù)年的數(shù)據(jù)來跟蹤趨勢(shì)。
　　如果是這樣的話，它需要實(shí)現(xiàn)架構(gòu)，將數(shù)據(jù)的正確時(shí)間框架交付到正確的位置，以確保每個(gè)人的需求得到滿足，并且舊數(shù)據(jù)不會(huì)損壞及時(shí)的分析程序。
　　正如Garbus指出的那樣，僅僅因?yàn)槟惚仨毐４?舊數(shù)據(jù))，并不意味著你必須把它放在你的核心環(huán)境中。你只要擁有它就行了。
　　Bain & Co.舊金山辦公室的合伙人、該公司高級(jí)分析和數(shù)字實(shí)踐的領(lǐng)導(dǎo)者Lori Sherer說，這種情況一直在改變。我們看到，對(duì)數(shù)據(jù)工程師的需求增長(zhǎng)大約是數(shù)據(jù)科學(xué)家需求增長(zhǎng)的兩倍。美國(guó)聯(lián)邦勞工統(tǒng)計(jì)局(federal Bureau of Labor Statistics)預(yù)計(jì)，未來10年，對(duì)數(shù)據(jù)工程師的需求將繼續(xù)快速增長(zhǎng)，2016年至2026年，美國(guó)經(jīng)濟(jì)將增加44,200個(gè)職位，平均年薪已達(dá)135,800美元。
　　然而，就像許多關(guān)鍵崗位一樣，專家們表示，沒有足夠的數(shù)據(jù)工程師來滿足需求——這使得IT部門現(xiàn)在才剛剛開始招聘或培訓(xùn)招聘崗位。
　　專注于量，而不是目標(biāo)相關(guān)性
　　IT咨詢公司Booz Allen Hamilton的高級(jí)副總裁Steve Escaravage說:“我們?nèi)栽跇?gòu)建模型，并使用最有效的數(shù)據(jù)進(jìn)行分析，而不是使用最相關(guān)的數(shù)據(jù)?！?br /> 　　他說，組織經(jīng)常錯(cuò)誤地認(rèn)為他們應(yīng)該捕捉并添加越來越多的數(shù)據(jù)集。他們認(rèn)為“也許有些東西我們沒有找到，而不是懷疑數(shù)據(jù)的正確性”
　　考慮到許多機(jī)構(gòu)通過分析大量數(shù)據(jù)來尋找異?，F(xiàn)象來判斷欺詐行為。在一個(gè)重要的活動(dòng)中，領(lǐng)先的機(jī)構(gòu)也會(huì)分析更有針對(duì)性的數(shù)據(jù)集，從而產(chǎn)生更好的結(jié)果。在這種情況下，他們可能會(huì)關(guān)注那些產(chǎn)生某種交易的個(gè)人或機(jī)構(gòu)，這些交易可能預(yù)示著麻煩?；蛘?，醫(yī)療機(jī)構(gòu)在分析病人的結(jié)果時(shí)，可能會(huì)考慮到醫(yī)生在提供病人護(hù)理時(shí)的輪班時(shí)間。
　　Escaravage表示，組織可以從創(chuàng)建一個(gè)數(shù)據(jù)愿望清單開始。盡管這一過程從業(yè)務(wù)方面開始，“捕獲它并使其可用的機(jī)制，這是CIO、CTO或首席數(shù)據(jù)官的領(lǐng)域?！?br /> 　　提供數(shù)據(jù)，但忽略它來自哪里
　　今天的一個(gè)大主題是“分析偏見”，它可以扭曲結(jié)果，甚至產(chǎn)生錯(cuò)誤的結(jié)論，導(dǎo)致糟糕的商業(yè)決策或結(jié)果。Escaravage說，在企業(yè)分析程序中，產(chǎn)生偏差的問題存在于許多不同的領(lǐng)域，包括如何處理數(shù)據(jù)本身。
　　他說，通常情況下，追蹤數(shù)據(jù)來源的工作做得不夠好。
　　“如果你不知道這一點(diǎn)，它就會(huì)影響你的模型的性能，”Escaravage說，他注意到數(shù)據(jù)來源的不可見性，以及數(shù)據(jù)來源如何使得控制偏見變得更加困難。
　　“了解數(shù)據(jù)來自哪里以及發(fā)生了什么，是我們的責(zé)任。”在數(shù)據(jù)管理方面有如此多的投資，但也應(yīng)該有一個(gè)元數(shù)據(jù)管理解決方案。
　　提供數(shù)據(jù)，但不能幫助用戶理解上下文
　　Escaravage說，它不僅應(yīng)該有一個(gè)強(qiáng)大的元數(shù)據(jù)管理程序，它可以跟蹤數(shù)據(jù)的來源，以及它如何在系統(tǒng)中運(yùn)行，它應(yīng)該為用戶提供對(duì)某些歷史的洞察，并為一些通過分析產(chǎn)生的結(jié)果提供上下文。
　　“我們對(duì)自己能創(chuàng)造的東西感到非常興奮?！蔽覀冋J(rèn)為我們有很好的數(shù)據(jù)，特別是沒有被分析的數(shù)據(jù)，我們可以建立一個(gè)關(guān)于這些數(shù)據(jù)價(jià)值的新型模型?！暗牵M管過去5年的分析方法令人驚訝，但這些技術(shù)的結(jié)果比過去在數(shù)據(jù)挖掘后應(yīng)用業(yè)務(wù)規(guī)則時(shí)的解釋要少，而且很容易解釋數(shù)據(jù)。”
　　Escaravage解釋說，較新的深度學(xué)習(xí)模式提供了見解和可操作的建議。但這些系統(tǒng)通常不會(huì)提供對(duì)最佳決策有用甚至至關(guān)重要的上下文。例如，它不提供關(guān)于概率的信息和基于數(shù)據(jù)的確定性。
　　Escaravage說，需要更好的用戶界面來提供這種環(huán)境。
　　“技術(shù)問題是人們?nèi)绾闻c這些模型交互。從透明的角度來看，關(guān)注UI/UX是非常重要的。因此，如果有人看到了來自人工智能平臺(tái)的推薦，他們能在多大程度上深入了解潛在的數(shù)據(jù)來源，等等?”他說。“CIO們將不得不問如何在他們的系統(tǒng)中建立這樣的透明度?！?