如何高效實(shí)現(xiàn)數(shù)據(jù)優(yōu)化，提升數(shù)據(jù)分析效能與價(jià)值

所謂“工欲善其事，必先利其器”，在數(shù)據(jù)分析大行其道的今天，如何高效實(shí)現(xiàn)數(shù)據(jù)優(yōu)化，提升數(shù)據(jù)分析效能與價(jià)值，成為企業(yè)IT部門(mén)面對(duì)的重要課題之一。

小張的麻煩

小張是一家公司的IT部門(mén)員工，負(fù)責(zé)公司信息系統(tǒng)運(yùn)維管理。今年年初，公司為了實(shí)現(xiàn)數(shù)據(jù)化驅(qū)動(dòng)轉(zhuǎn)型，將數(shù)據(jù)價(jià)值最大化，斥資購(gòu)置并搭建了一套數(shù)據(jù)分析系統(tǒng)，希望能夠從公司各部門(mén)產(chǎn)生的大量業(yè)務(wù)數(shù)據(jù)中獲得更大的增長(zhǎng)空間。

系統(tǒng)上線之后，小張工作變得愈發(fā)忙碌，除了需要頻繁督促部門(mén)人員的業(yè)務(wù)數(shù)據(jù)錄入之外，還要通過(guò)系統(tǒng)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析整理，查看可能存在的問(wèn)題和業(yè)務(wù)改進(jìn)的空間。小張相信，這些數(shù)據(jù)中蘊(yùn)含著改進(jìn)業(yè)務(wù)的巨大價(jià)值。

然而隨著系統(tǒng)運(yùn)行，小張發(fā)現(xiàn)，數(shù)據(jù)分析的結(jié)果中，存在一些莫名其妙的問(wèn)題：

生產(chǎn)流程的平均時(shí)長(zhǎng)比完成所有流程總共的時(shí)間還長(zhǎng)；

原材料采購(gòu)占比最大的省份占比居然只有個(gè)位數(shù)；

員工男女比例嚴(yán)重失調(diào)；

……

經(jīng)過(guò)仔細(xì)查找后，小張發(fā)現(xiàn)系統(tǒng)所用到的部分?jǐn)?shù)據(jù)源中的原始數(shù)據(jù)沒(méi)有經(jīng)過(guò)充分的準(zhǔn)備處理，存在大量無(wú)效數(shù)據(jù)甚至垃圾數(shù)據(jù)，導(dǎo)致分析結(jié)果存在巨大的差異，以至于完全無(wú)法使用，例如：

生產(chǎn)部門(mén)人員忘記錄入流程的結(jié)束時(shí)間，導(dǎo)致生產(chǎn)流程時(shí)間記錄大大延長(zhǎng)；

省份信息錄入名稱不統(tǒng)一，“北京” 、“BJ”、“Beijing” 等信息混錄，被識(shí)別為不同省份；

性別信息以數(shù)字1、0錄入，未錄入信息因空值被補(bǔ)記為0，導(dǎo)致女性員工統(tǒng)計(jì)數(shù)量大幅增加；

……

小張不得不通過(guò)各種方式手動(dòng)修改這些數(shù)據(jù)，再加上不斷增加的數(shù)據(jù)分析與報(bào)表任務(wù)，工作壓力越來(lái)越大，小張也被搞得焦頭爛額。

當(dāng)然，小張遇到的問(wèn)題只是許多數(shù)據(jù)治理問(wèn)題的縮影。事實(shí)上，在構(gòu)建數(shù)據(jù)分析系統(tǒng)的過(guò)程中，IT人員會(huì)面臨更多、更復(fù)雜的數(shù)據(jù)問(wèn)題，而這也是企業(yè)構(gòu)建數(shù)據(jù)體系時(shí)，不得不面對(duì)的重要課題。

(一）“臟”數(shù)據(jù)

對(duì)于數(shù)據(jù)分析系統(tǒng)而言，數(shù)據(jù)的錄入往往存在或多或少的不規(guī)范性，如重復(fù)記錄，遺漏的空值，明顯不合理的異常數(shù)值、未根據(jù)相應(yīng)指標(biāo)改變的參考值等情況，這種數(shù)據(jù)一般被稱為“臟數(shù)據(jù)”。 數(shù)據(jù)處理過(guò)程中常見(jiàn)的“臟數(shù)據(jù)”主要有以下幾類(lèi)：

1. 數(shù)據(jù)重復(fù)：出現(xiàn)多條相同記錄，且往往出現(xiàn)的復(fù)雜情況是記錄不完全重復(fù)，例如：兩條記錄，僅有地址信息不同，而其余值完全相同。

2. 關(guān)鍵數(shù)據(jù)缺失：缺失部分?jǐn)?shù)據(jù)記錄，或記錄里存在空值，或兩種情況并存。如果有空值存在，為了不影響分析準(zhǔn)確性，一般或者不將空值納入分析范圍，或者選擇用平均數(shù)、零或等比例隨機(jī)數(shù)進(jìn)行填補(bǔ)進(jìn)行補(bǔ)值。如小張所在公司的數(shù)據(jù)系統(tǒng)，對(duì)于未正常填寫(xiě)的生產(chǎn)流程完結(jié)時(shí)間一律按照夜間24點(diǎn)進(jìn)行填補(bǔ)，因而產(chǎn)生生產(chǎn)流程超長(zhǎng)的情況。

3. 數(shù)據(jù)錯(cuò)誤：數(shù)據(jù)沒(méi)有嚴(yán)格按照規(guī)范記錄。這種情況一般包括異常值（超出正常區(qū)間的數(shù)值），格式錯(cuò)誤（如日期格式錄成字符串）或數(shù)據(jù)不統(tǒng)一（如北京記錄成北京、BJ或Beijing）。

4. 無(wú)法關(guān)聯(lián)：數(shù)據(jù)正確，但不可用。這種情況常見(jiàn)于字符串，如地址“北京海淀中關(guān)村”記錄在同一字符串中，無(wú)法將“海淀”這一具體城區(qū)級(jí)別拆分出來(lái)，導(dǎo)致無(wú)法分析城區(qū)數(shù)據(jù)。

這些數(shù)據(jù)如果不進(jìn)行整理就直接進(jìn)行分析，會(huì)對(duì)分析的結(jié)果準(zhǔn)確性與價(jià)值產(chǎn)生很大影響，正如文章開(kāi)頭小張面對(duì)的問(wèn)題一樣。

在完整的數(shù)據(jù)分析體系中，一個(gè)很重要的環(huán)節(jié)叫做“數(shù)據(jù)準(zhǔn)備”，其目的就是對(duì)“臟數(shù)據(jù)”進(jìn)行相應(yīng)的“清洗”，減少或避免這些數(shù)據(jù)對(duì)分析結(jié)果可能產(chǎn)生的影響，最大化數(shù)據(jù)分析可以提取的數(shù)據(jù)價(jià)值。

（二）如何“清洗”數(shù)據(jù)：手洗vs機(jī)洗

數(shù)據(jù)準(zhǔn)備并非一個(gè)新鮮的概念。在IT部門(mén)仍然是企業(yè)數(shù)據(jù)分析核心部門(mén)的時(shí)候，數(shù)據(jù)準(zhǔn)備就一直是IT部門(mén)最重要的數(shù)據(jù)處理任務(wù)之一。根據(jù)不同的數(shù)據(jù)問(wèn)題類(lèi)型，IT人員需要對(duì)數(shù)據(jù)系統(tǒng)制定不同類(lèi)型的處理策略，甚至手動(dòng)處理部分?jǐn)?shù)據(jù)。

在傳統(tǒng)數(shù)據(jù)分析系統(tǒng)中，這一工序通常由IT人員通過(guò)不同類(lèi)型的數(shù)據(jù)處理工具，或者編寫(xiě)大量的SQL加工邏輯完成，繁瑣復(fù)雜，耗時(shí)耗力。在數(shù)據(jù)分析的整個(gè)過(guò)程中，數(shù)據(jù)準(zhǔn)備有時(shí)會(huì)占到整體流程時(shí)間的70%以上，嚴(yán)重降低了IT部門(mén)的工作效率。

同時(shí)，傳統(tǒng)數(shù)據(jù)分析系統(tǒng)過(guò)度依賴IT部門(mén)，從數(shù)據(jù)準(zhǔn)備到報(bào)表生成都要依靠IT部門(mén)執(zhí)行，使其迅速成為數(shù)據(jù)分析流程的“瓶頸”。這種通過(guò)IT部門(mén)“手洗”數(shù)據(jù)的過(guò)程，會(huì)因?yàn)楦鳂I(yè)務(wù)部門(mén)的大量數(shù)據(jù)業(yè)務(wù)堆積，加劇IT部門(mén)的“數(shù)據(jù)瓶頸”效應(yīng)，影響整個(gè)數(shù)據(jù)分析流程的進(jìn)度與企業(yè)對(duì)數(shù)據(jù)價(jià)值的應(yīng)用效率。

正所謂“工欲善其事，必先利其器”。在數(shù)據(jù)分析的過(guò)程中，通過(guò)快捷、直觀、可視化的工作流方式，快速完成對(duì)數(shù)據(jù)的準(zhǔn)備工作，發(fā)現(xiàn)并糾正數(shù)據(jù)問(wèn)題，保證數(shù)據(jù)的一致性，不僅能夠?yàn)槠髽I(yè)節(jié)約人力與時(shí)間成本，同時(shí)對(duì)于提升數(shù)據(jù)分析帶來(lái)的價(jià)值與強(qiáng)化企業(yè)數(shù)據(jù)驅(qū)動(dòng)能力，都具有重要的意義。