如何高效實現(xiàn)數(shù)據(jù)優(yōu)化，提升數(shù)據(jù)分析效能與價值

所謂“工欲善其事，必先利其器”，在數(shù)據(jù)分析大行其道的今天，如何高效實現(xiàn)數(shù)據(jù)優(yōu)化，提升數(shù)據(jù)分析效能與價值，成為企業(yè)IT部門面對的重要課題之一。

小張的麻煩

小張是一家公司的IT部門員工，負責公司信息系統(tǒng)運維管理。今年年初，公司為了實現(xiàn)數(shù)據(jù)化驅(qū)動轉(zhuǎn)型，將數(shù)據(jù)價值最大化，斥資購置并搭建了一套數(shù)據(jù)分析系統(tǒng)，希望能夠從公司各部門產(chǎn)生的大量業(yè)務(wù)數(shù)據(jù)中獲得更大的增長空間。

系統(tǒng)上線之后，小張工作變得愈發(fā)忙碌，除了需要頻繁督促部門人員的業(yè)務(wù)數(shù)據(jù)錄入之外，還要通過系統(tǒng)對業(yè)務(wù)數(shù)據(jù)進行分析整理，查看可能存在的問題和業(yè)務(wù)改進的空間。小張相信，這些數(shù)據(jù)中蘊含著改進業(yè)務(wù)的巨大價值。

然而隨著系統(tǒng)運行，小張發(fā)現(xiàn)，數(shù)據(jù)分析的結(jié)果中，存在一些莫名其妙的問題：

生產(chǎn)流程的平均時長比完成所有流程總共的時間還長；

原材料采購占比最大的省份占比居然只有個位數(shù)；

員工男女比例嚴重失調(diào)；

……

經(jīng)過仔細查找后，小張發(fā)現(xiàn)系統(tǒng)所用到的部分數(shù)據(jù)源中的原始數(shù)據(jù)沒有經(jīng)過充分的準備處理，存在大量無效數(shù)據(jù)甚至垃圾數(shù)據(jù)，導致分析結(jié)果存在巨大的差異，以至于完全無法使用，例如：

生產(chǎn)部門人員忘記錄入流程的結(jié)束時間，導致生產(chǎn)流程時間記錄大大延長；

省份信息錄入名稱不統(tǒng)一，“北京” 、“BJ”、“Beijing” 等信息混錄，被識別為不同省份；

性別信息以數(shù)字1、0錄入，未錄入信息因空值被補記為0，導致女性員工統(tǒng)計數(shù)量大幅增加；

……

小張不得不通過各種方式手動修改這些數(shù)據(jù)，再加上不斷增加的數(shù)據(jù)分析與報表任務(wù)，工作壓力越來越大，小張也被搞得焦頭爛額。

當然，小張遇到的問題只是許多數(shù)據(jù)治理問題的縮影。事實上，在構(gòu)建數(shù)據(jù)分析系統(tǒng)的過程中，IT人員會面臨更多、更復雜的數(shù)據(jù)問題，而這也是企業(yè)構(gòu)建數(shù)據(jù)體系時，不得不面對的重要課題。

(一）“臟”數(shù)據(jù)

對于數(shù)據(jù)分析系統(tǒng)而言，數(shù)據(jù)的錄入往往存在或多或少的不規(guī)范性，如重復記錄，遺漏的空值，明顯不合理的異常數(shù)值、未根據(jù)相應(yīng)指標改變的參考值等情況，這種數(shù)據(jù)一般被稱為“臟數(shù)據(jù)”。 數(shù)據(jù)處理過程中常見的“臟數(shù)據(jù)”主要有以下幾類：

1. 數(shù)據(jù)重復：出現(xiàn)多條相同記錄，且往往出現(xiàn)的復雜情況是記錄不完全重復，例如：兩條記錄，僅有地址信息不同，而其余值完全相同。

2. 關(guān)鍵數(shù)據(jù)缺失：缺失部分數(shù)據(jù)記錄，或記錄里存在空值，或兩種情況并存。如果有空值存在，為了不影響分析準確性，一般或者不將空值納入分析范圍，或者選擇用平均數(shù)、零或等比例隨機數(shù)進行填補進行補值。如小張所在公司的數(shù)據(jù)系統(tǒng)，對于未正常填寫的生產(chǎn)流程完結(jié)時間一律按照夜間24點進行填補，因而產(chǎn)生生產(chǎn)流程超長的情況。

3. 數(shù)據(jù)錯誤：數(shù)據(jù)沒有嚴格按照規(guī)范記錄。這種情況一般包括異常值（超出正常區(qū)間的數(shù)值），格式錯誤（如日期格式錄成字符串）或數(shù)據(jù)不統(tǒng)一（如北京記錄成北京、BJ或Beijing）。

4. 無法關(guān)聯(lián)：數(shù)據(jù)正確，但不可用。這種情況常見于字符串，如地址“北京海淀中關(guān)村”記錄在同一字符串中，無法將“海淀”這一具體城區(qū)級別拆分出來，導致無法分析城區(qū)數(shù)據(jù)。

這些數(shù)據(jù)如果不進行整理就直接進行分析，會對分析的結(jié)果準確性與價值產(chǎn)生很大影響，正如文章開頭小張面對的問題一樣。

在完整的數(shù)據(jù)分析體系中，一個很重要的環(huán)節(jié)叫做“數(shù)據(jù)準備”，其目的就是對“臟數(shù)據(jù)”進行相應(yīng)的“清洗”，減少或避免這些數(shù)據(jù)對分析結(jié)果可能產(chǎn)生的影響，最大化數(shù)據(jù)分析可以提取的數(shù)據(jù)價值。

（二）如何“清洗”數(shù)據(jù)：手洗vs機洗

數(shù)據(jù)準備并非一個新鮮的概念。在IT部門仍然是企業(yè)數(shù)據(jù)分析核心部門的時候，數(shù)據(jù)準備就一直是IT部門最重要的數(shù)據(jù)處理任務(wù)之一。根據(jù)不同的數(shù)據(jù)問題類型，IT人員需要對數(shù)據(jù)系統(tǒng)制定不同類型的處理策略，甚至手動處理部分數(shù)據(jù)。

在傳統(tǒng)數(shù)據(jù)分析系統(tǒng)中，這一工序通常由IT人員通過不同類型的數(shù)據(jù)處理工具，或者編寫大量的SQL加工邏輯完成，繁瑣復雜，耗時耗力。在數(shù)據(jù)分析的整個過程中，數(shù)據(jù)準備有時會占到整體流程時間的70%以上，嚴重降低了IT部門的工作效率。

同時，傳統(tǒng)數(shù)據(jù)分析系統(tǒng)過度依賴IT部門，從數(shù)據(jù)準備到報表生成都要依靠IT部門執(zhí)行，使其迅速成為數(shù)據(jù)分析流程的“瓶頸”。這種通過IT部門“手洗”數(shù)據(jù)的過程，會因為各業(yè)務(wù)部門的大量數(shù)據(jù)業(yè)務(wù)堆積，加劇IT部門的“數(shù)據(jù)瓶頸”效應(yīng)，影響整個數(shù)據(jù)分析流程的進度與企業(yè)對數(shù)據(jù)價值的應(yīng)用效率。

正所謂“工欲善其事，必先利其器”。在數(shù)據(jù)分析的過程中，通過快捷、直觀、可視化的工作流方式，快速完成對數(shù)據(jù)的準備工作，發(fā)現(xiàn)并糾正數(shù)據(jù)問題，保證數(shù)據(jù)的一致性，不僅能夠為企業(yè)節(jié)約人力與時間成本，同時對于提升數(shù)據(jù)分析帶來的價值與強化企業(yè)數(shù)據(jù)驅(qū)動能力，都具有重要的意義。