入門丨如何從零開始了解數(shù)據(jù)

如今關(guān)于企業(yè)數(shù)字化進(jìn)程，企業(yè)信息化程度以及運(yùn)營(yíng)效率都有了極大的提高，數(shù)據(jù)的內(nèi)容和維度得到了空前的豐富，很多場(chǎng)景或信息都能被數(shù)據(jù)有效、準(zhǔn)確、實(shí)時(shí)地記錄下來(lái)。

本文主要以零售為例，講講當(dāng)要了解一個(gè)企業(yè)的數(shù)據(jù)時(shí)，需要了解什么，如何快速?gòu)摹伴T外漢”到“門兒清”。

一、這個(gè)世界充滿了數(shù)據(jù)

不難想象，我們目前所處的世界處處充滿了數(shù)據(jù)。在日常生活中，我們的一言一行，一舉一動(dòng)，幾乎都已被數(shù)據(jù)記錄下來(lái)，而且越來(lái)越多地被表征。

4G的成熟應(yīng)用以及5G的興起，基站等通信基礎(chǔ)設(shè)施的廣泛布局以及LBS的商業(yè)化，出行或?qū)Ш杰浖òㄙI票、打車、共享單車、地圖導(dǎo)航、汽車傳感器......）的廣泛使用，使得關(guān)于我們每個(gè)人的活動(dòng)軌跡都轉(zhuǎn)為數(shù)據(jù)而被記錄下來(lái)，例如在哪里上班、住在哪里、出行方式、什么時(shí)候出行、經(jīng)過(guò)哪里、在哪里停留、停留多久、什么時(shí)候達(dá)到等等。

隨著新零售的發(fā)展，大數(shù)據(jù)、AI、掃碼支付、圖像識(shí)別、感應(yīng)器等新技術(shù)的應(yīng)用，微信營(yíng)銷、社交營(yíng)銷、社區(qū)營(yíng)銷等新思維的興起，加速了線上線下的融合。無(wú)論人們?cè)诰€上還是在線下購(gòu)物，整個(gè)購(gòu)物鏈條的各環(huán)節(jié)數(shù)據(jù)都會(huì)快速且準(zhǔn)確地被傳輸至系統(tǒng)后臺(tái)。

基于記錄下來(lái)的數(shù)據(jù)，商家或購(gòu)物平臺(tái)會(huì)知道誰(shuí)買、什么時(shí)候買、在哪里買、買什么、買多少、花了多少錢、怎么付款、是否打折或優(yōu)惠等信息。如果你在線上購(gòu)物，你搜索什么關(guān)鍵詞、瀏覽哪些商品、跟商家咨詢什么、商品送到哪里等信息，也會(huì)被商家或購(gòu)物平臺(tái)知道。如果你在線下購(gòu)物，從進(jìn)店到離店，你在店里的一舉一動(dòng)都在安裝店里的攝像頭嚴(yán)密監(jiān)控之下。通過(guò)視頻監(jiān)控和人臉識(shí)別，商家會(huì)馬上知道你是誰(shuí)、新客還是老客、在店里的行走路徑是怎樣的，在哪個(gè)商品區(qū)停留，拿起哪些商品，把哪些商品放進(jìn)購(gòu)物籃等等。

當(dāng)我們?cè)诰W(wǎng)上聊天時(shí)，我們和誰(shuí)聊天、什么時(shí)候聊、聊什么、文字/語(yǔ)音還是視頻，都相應(yīng)地產(chǎn)生了數(shù)據(jù)，也都被記錄了下來(lái)。

同樣地，我們?cè)诖螂娫?、寄快遞、點(diǎn)外賣、跑步健身、去餐廳吃飯、看電影或?yàn)g覽網(wǎng)頁(yè)的時(shí)候，都或多或少以數(shù)據(jù)的形式留下一點(diǎn)兒不可磨滅的痕跡。甚至，當(dāng)你漫步在城市的每一條街道上，遍布城市每個(gè)角落的攝像頭都可能會(huì)捕捉到你的倩影。

總之，科技服務(wù)給我們帶來(lái)生活上的極大便利，但也從我們身上索取了最重要的東西——個(gè)人信息，作為交換。畢竟，天底下從來(lái)就沒(méi)有免費(fèi)的午餐。

盡管被數(shù)據(jù)記錄或表征的事件、行為、場(chǎng)景越來(lái)越多，但仍有很多東西在目前階段甚至未來(lái)很長(zhǎng)一段時(shí)間都無(wú)法用數(shù)據(jù)記錄。例如，人的內(nèi)心想法，只要不表達(dá)出來(lái)，很難用數(shù)據(jù)記錄下來(lái)，這大概也是導(dǎo)致這個(gè)世界充滿不確定性的原因之一吧。

圖1. 數(shù)據(jù)對(duì)業(yè)務(wù)的表征

當(dāng)我們接觸到企業(yè)數(shù)據(jù)的時(shí)候，我們需要清楚這些數(shù)據(jù)是怎么來(lái)的。這些數(shù)據(jù)不會(huì)無(wú)緣無(wú)故地產(chǎn)生，其背后一定對(duì)應(yīng)著某些業(yè)務(wù)場(chǎng)景。

我們深刻感受到，這個(gè)世界充滿了數(shù)據(jù)，數(shù)據(jù)規(guī)模正在不斷呈指數(shù)級(jí)地增長(zhǎng)，數(shù)據(jù)類型也呈現(xiàn)多樣性，從結(jié)構(gòu)化數(shù)據(jù)，到文本、語(yǔ)音、圖像、短視頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。

二、數(shù)據(jù)表達(dá)了什么

真實(shí)（而不是杜撰、模擬、偽造）、可量化、可被記錄的數(shù)據(jù)一定會(huì)反映真實(shí)世界某方面的業(yè)務(wù)場(chǎng)景。真實(shí)業(yè)務(wù)場(chǎng)景的發(fā)生或改變，大多也會(huì)反映在后臺(tái)系統(tǒng)的數(shù)據(jù)中。

但數(shù)據(jù)對(duì)業(yè)務(wù)場(chǎng)景細(xì)節(jié)的表征仍存在一定的信息丟失或者失真。例如，有個(gè)30歲的女性顧客在母嬰店買了兩件嬰兒服飾，但我們并不知道她為什么購(gòu)買，是買給她自己的小孩還是送給親戚朋友，是作為生日禮物送給小孩還是小孩長(zhǎng)身體了需要換衣服，這時(shí)候需要做分析，需要“猜”。

零售是業(yè)務(wù)場(chǎng)景最繁多而且最貼近我們每一個(gè)人日常生活的行業(yè)。當(dāng)談到業(yè)務(wù)與數(shù)據(jù)的關(guān)系時(shí)，不妨以零售方面的例子，幫助我們更好的理解。

炎炎夏日，酷暑難耐，當(dāng)你走進(jìn)公司附近的便利店，使用微信支付，花了3.5元，買了一瓶無(wú)糖330ml摩登罐的可樂(lè)，而且刷會(huì)員卡攢了100積分，而收銀員MM返回給了你一張POS單據(jù)，這時(shí)你所發(fā)生的這一切都已經(jīng)通過(guò)收銀記錄在了數(shù)據(jù)庫(kù)里。更糟糕的是，店里的攝像頭也已經(jīng)把你在店里的一舉一動(dòng)錄了下來(lái)了，轉(zhuǎn)化成為一幀幀圖像數(shù)據(jù)。

這就是業(yè)務(wù)數(shù)據(jù)化。

分析發(fā)現(xiàn)，最近3.5元330ml摩登罐可樂(lè)的銷量比上月增長(zhǎng)20%，而消費(fèi)者中75%是20-35歲的男性，相比之下，300ml塑料瓶裝的可樂(lè)銷量卻下滑40%。店長(zhǎng)權(quán)衡比較之下，認(rèn)為300ml塑料瓶裝可樂(lè)利潤(rùn)低，而330ml摩登罐可樂(lè)目前更受年輕人歡迎，考慮到日漸增長(zhǎng)的租金壓力以及日漸激烈的便利店競(jìng)爭(zhēng)，做了一個(gè)大膽的決定——下架300ml塑料瓶裝可樂(lè)，增加330ml摩登罐可樂(lè)。

這就是數(shù)據(jù)業(yè)務(wù)化，或者數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。

圖2. 業(yè)務(wù)與數(shù)據(jù)的關(guān)系

所以，不要急著去看企業(yè)系統(tǒng)里面的一張張表。當(dāng)脫離業(yè)務(wù)去看數(shù)據(jù)時(shí)，數(shù)據(jù)只是一個(gè)個(gè)冰冷的數(shù)字，沒(méi)有什么意義，也不會(huì)告訴你什么信息。當(dāng)我們?cè)谥至私馄髽I(yè)數(shù)據(jù)前，先讓自己熟悉一下業(yè)務(wù)。

圖3. 了解數(shù)據(jù)的流程

以“面-線-點(diǎn)”的方式熟悉業(yè)務(wù)，較為恰當(dāng)，全面、系統(tǒng)、有效、深入，先是一個(gè)行業(yè)，再到某個(gè)垂直領(lǐng)域，然后是企業(yè)，最后是具體業(yè)務(wù)場(chǎng)景。以下幾種途徑可以幫助你快速熟悉業(yè)務(wù)：

閱讀行業(yè)報(bào)告，包括行業(yè)現(xiàn)狀、整體規(guī)模、發(fā)展模式、使用技術(shù)、商品特點(diǎn)、消費(fèi)者特征、標(biāo)桿企業(yè)、趨勢(shì)預(yù)測(cè)，等；

從公司年報(bào)、經(jīng)營(yíng)分析報(bào)告等文件了解企業(yè)的總體情況；

瀏覽公司官網(wǎng)、公眾號(hào)、官微、網(wǎng)店等，加深和完善對(duì)企業(yè)的了解，同時(shí)可以做一些線上體驗(yàn)及感知；

實(shí)地考察企業(yè)線下網(wǎng)點(diǎn)，體驗(yàn)網(wǎng)點(diǎn)服務(wù)，向一線網(wǎng)點(diǎn)工作人員了解情況。（很多大公司都會(huì)要求總部人員每年至少在一線體驗(yàn)1-2天，避免與業(yè)務(wù)脫節(jié)。）

請(qǐng)教有經(jīng)驗(yàn)且很懂業(yè)務(wù)的老員工。他們不僅熟悉業(yè)務(wù)，而且對(duì)企業(yè)的人和事也很清楚，可以多咨詢他們；

很多業(yè)務(wù)場(chǎng)景常常出現(xiàn)在日常生活之中，保持開放心態(tài)，細(xì)致觀察，所見即所得；

注重平時(shí)積累，多讀書，多體驗(yàn)生活，增加社會(huì)閱歷和經(jīng)驗(yàn)。

對(duì)于沒(méi)有家室的年輕人來(lái)說(shuō)，一罐嬰兒奶粉能喝多久，大多是沒(méi)有概念的；沒(méi)談過(guò)戀愛的男生，大多不會(huì)明白，BB霜、隔離霜是什么，為什么卸妝要用卸妝水、卸妝棉（直接水洗不就好了嗎，省事~~），等等。這些生活常識(shí)，源于日常的不斷積累，當(dāng)你深入研究某個(gè)行業(yè)時(shí)，會(huì)讓你得心應(yīng)手，減少學(xué)習(xí)的時(shí)間成本。

圖4. 熟悉業(yè)務(wù)的途徑

只有當(dāng)我們對(duì)業(yè)務(wù)有個(gè)基本的認(rèn)知之后，我們才知道數(shù)據(jù)表達(dá)了什么。

三、數(shù)據(jù)背后的場(chǎng)景是什么

我們?cè)诹私馄髽I(yè)數(shù)據(jù)時(shí)，面對(duì)的是幾百個(gè)系統(tǒng)以及成千上萬(wàn)張表，不免有人感到手忙腳亂，不知怎么入手。

我們只要順著大體的業(yè)務(wù)邏輯走，基本可以把企業(yè)IT系統(tǒng)的建設(shè)邏輯和關(guān)聯(lián)關(guān)系梳理清晰，有一個(gè)整體面上的認(rèn)知，形成框架思維，避免陷入某個(gè)“信息孤島”。這么做對(duì)數(shù)據(jù)整合是很有必要的，不能把某個(gè)系統(tǒng)割裂開來(lái)單獨(dú)看，系統(tǒng)之間的關(guān)聯(lián)關(guān)系必須清楚。

例如，以會(huì)員為ID搭建基礎(chǔ)數(shù)據(jù)寬表時(shí)，既要對(duì)以人為中心的業(yè)務(wù)流程梳理全面，又要在此基礎(chǔ)上對(duì)每個(gè)業(yè)務(wù)節(jié)點(diǎn)的系統(tǒng)梳理清晰，并明確各系統(tǒng)數(shù)據(jù)之間如何整合與關(guān)聯(lián)，爭(zhēng)取做到全面，避免遺漏某些系統(tǒng)以及相應(yīng)的信息。

圖5. 以人為中心的數(shù)據(jù)整合

零售企業(yè)一般會(huì)有市場(chǎng)、拓展、商品、采購(gòu)、倉(cāng)儲(chǔ)、配送、運(yùn)營(yíng)、門店、客服、IT、行政、人力資源、財(cái)務(wù)、綜合等智能部門。每個(gè)部門都有特定的業(yè)務(wù)活動(dòng)及流程，部門之間也有相互的業(yè)務(wù)往來(lái)，企業(yè)的IT系統(tǒng)也是圍繞這些業(yè)務(wù)活動(dòng)來(lái)建立的。只要是零售企業(yè)，這個(gè)企業(yè)如此，那個(gè)企業(yè)也是如此，業(yè)務(wù)活動(dòng)本質(zhì)上沒(méi)有太多不同，一通百通。只不過(guò)，每個(gè)企業(yè)獨(dú)有的地方需要我們特別關(guān)注。

建議拿一份企業(yè)IT系統(tǒng)架構(gòu)全景圖，花幾天時(shí)間研究研究。

當(dāng)深入了解單個(gè)系統(tǒng)時(shí)，基于我們對(duì)企業(yè)IT系統(tǒng)的整體認(rèn)知，我們除了清楚這個(gè)系統(tǒng)的功能和作用，誰(shuí)在用，也需知道這個(gè)系統(tǒng)在企業(yè)整體系統(tǒng)中的位置，下上游系統(tǒng)都有哪些，數(shù)據(jù)流是如何運(yùn)轉(zhuǎn)的。

IT系統(tǒng)有兩種，業(yè)務(wù)系統(tǒng)和業(yè)務(wù)支持系統(tǒng)。業(yè)務(wù)系統(tǒng)主要是各業(yè)務(wù)線條最原始的數(shù)據(jù)，即“一手?jǐn)?shù)據(jù)”，而業(yè)務(wù)支持系統(tǒng)主要是從業(yè)務(wù)系統(tǒng)提取原始數(shù)據(jù)，清洗、加工、整合、分析后得到的匯總數(shù)據(jù)。

深入研究單個(gè)系統(tǒng)時(shí)，看數(shù)據(jù)字典當(dāng)然是很有必要的。同樣的，先從面上了解，先看看有哪幾類表，有哪方面的數(shù)據(jù)，對(duì)應(yīng)什么業(yè)務(wù)，哪些表可以不用看，哪些表需要重點(diǎn)看。

一般來(lái)說(shuō)，表的命名遵循嚴(yán)格的規(guī)范，從表名上可直觀地判斷出是什么表。因此，可以從表的命名上做一個(gè)快速的辨識(shí)，例如，sys表示系統(tǒng)，pos表訂單，cos表示客服，sms表示短信，item表示商品，等等。

每個(gè)系統(tǒng)都會(huì)有幾百?gòu)埍?，需要快速做一個(gè)過(guò)濾，看看哪些表不用看。例如，sys相關(guān)的表主要是用來(lái)保存系統(tǒng)配置參數(shù)或記錄系統(tǒng)運(yùn)行狀態(tài)的表，一般可以跳過(guò)不看。

經(jīng)過(guò)初步篩選，得到了需要詳細(xì)了解的表。

表一般分為兩種，事實(shí)表和維度表。事實(shí)表記錄、存儲(chǔ)用于度量某一事務(wù)、事件或行為相關(guān)的數(shù)據(jù)或信息，如POS訂單表，而維度表描述某方面?zhèn)€體的屬性或個(gè)體與個(gè)體之間映射關(guān)系，如會(huì)員信息表、商品信息表、品類表、行業(yè)表、區(qū)域表、門店信息表、員工表等。事實(shí)表動(dòng)態(tài)、冗低、數(shù)據(jù)量大，而維度表靜態(tài)、冗余、數(shù)據(jù)量小。

先看事實(shí)表，再看與事實(shí)表相關(guān)的維度表。

采用業(yè)務(wù)聯(lián)想法以及"5W2H"方法論，可幫助我們快速了解單個(gè)表。

例如，去商店購(gòu)物這件事，我們每個(gè)人都親身體驗(yàn)過(guò)整個(gè)流程，從中可拆解出與這件事有關(guān)的幾個(gè)要素信息，即誰(shuí)買、什么時(shí)候買、在哪里買、買什么、買多少、花了多少錢、有沒(méi)有打折、怎么支付等等。這些信息也產(chǎn)生了相應(yīng)的數(shù)據(jù)。

反過(guò)來(lái)，我們也可從數(shù)據(jù)中獲取這些信息，還原出真實(shí)業(yè)務(wù)場(chǎng)景。從事實(shí)表數(shù)據(jù)的字段信息中，可以知道會(huì)員/非會(huì)員（誰(shuí)買）、訂單時(shí)間（什么時(shí)候買）、門店（在哪里買）、購(gòu)買的商品（買什么）、數(shù)量（買多少）、花多少錢（金額）、折扣優(yōu)惠（有無(wú)打折）、支付方式（怎么付款）、收銀員，等等。每個(gè)方面的信息又可結(jié)合維度表，或者融合外部數(shù)據(jù)，延伸得到更多維度的信息。例如，知道什么人買，可進(jìn)一步知道這個(gè)人的基本信息，如性別、年齡、職業(yè)、注冊(cè)時(shí)間等；在哪個(gè)門店購(gòu)買，可進(jìn)一步知道省、市、區(qū)縣以及商圈的信息，還可知道門店是什么類型（如街邊店、商場(chǎng)店）；買了什么商品，結(jié)合商品表，或關(guān)聯(lián)外部數(shù)據(jù)，可知道商品的具體屬性信息。

關(guān)于單個(gè)表，還要弄清楚這些信息：

（1）主鍵，即可以用哪些字段唯一標(biāo)識(shí)一行數(shù)據(jù)；

（2）數(shù)據(jù)更新機(jī)制，看看涉及哪些字段，事實(shí)表和維度表有所不同；

（3）數(shù)據(jù)量大概多少，看看是大表還是小表，量級(jí)多大；

至此，你已經(jīng)了解單個(gè)表及其相應(yīng)的業(yè)務(wù)。不要大意，這時(shí)候你對(duì)業(yè)務(wù)的了解只能打個(gè)及格分！更多更細(xì)的業(yè)務(wù)場(chǎng)景，需要對(duì)具體的數(shù)據(jù)字段進(jìn)行深入研究才知道。別人不會(huì)告訴你太多的細(xì)節(jié)，告訴你也沒(méi)用，因?yàn)闆](méi)有親身體驗(yàn)很快就會(huì)忘。

對(duì)具體字段的了解，僅僅看數(shù)據(jù)字典是不夠的，數(shù)據(jù)長(zhǎng)啥樣也要清楚。

看數(shù)據(jù)時(shí)，要細(xì)心，要敏感。

如果看到有一行數(shù)據(jù)交易時(shí)間為“2018-7-4 9:16”，就要特別注意了，可能需要處理成規(guī)范的時(shí)間格式——“2018-07-04 09:16:00”；

如果看到某字段前面幾行都是同一個(gè)值（如0或空值），就要特別留意這個(gè)字段是否只有一個(gè)值；

如果看到商品數(shù)量為小數(shù)時(shí)，就要結(jié)合商品名稱、品類、單位、規(guī)格等信息，看看買什么商品時(shí)數(shù)量為小數(shù)；

如果結(jié)算金額為0時(shí)，看看商品是不是贈(zèng)品（結(jié)合商品名稱和品類來(lái)確定）；

如果結(jié)算金額為負(fù)時(shí)，再看看數(shù)量是否為負(fù)，還要看一下訂單類型是否為退貨；

如果有個(gè)POS單結(jié)算金額非常大，有幾百萬(wàn)，看看用什么幣種結(jié)算，如果為RMB，則找業(yè)務(wù)人員確認(rèn)，要么錄入錯(cuò)誤，要么有某種特殊業(yè)務(wù)操作。

總之，基于我們對(duì)業(yè)務(wù)的理解和數(shù)據(jù)的敏感性，如果發(fā)現(xiàn)某個(gè)字段數(shù)據(jù)“異?！被虿缓虾跷覀冎皩?duì)業(yè)務(wù)的認(rèn)知，這時(shí)不妨也看看其它字段是否也“異?！保高^(guò)這些字段信息，多想想，其背后的業(yè)務(wù)場(chǎng)景是什么。

如果可以，不妨對(duì)常用的表以及其中的字段諳熟于心，最好能記下來(lái)。

時(shí)間往往過(guò)往地耗費(fèi)在底層數(shù)據(jù)處理階段。而且，數(shù)據(jù)處理過(guò)程中會(huì)出現(xiàn)很多問(wèn)題，這些問(wèn)題大多其實(shí)是由于不懂業(yè)務(wù)和數(shù)據(jù)引起的。

當(dāng)我們對(duì)數(shù)據(jù)越了解時(shí)，數(shù)據(jù)處理就越得心應(yīng)手，越高效。

企業(yè)的原始數(shù)據(jù)有很多坑，永遠(yuǎn)不知道坑在哪里，什么時(shí)候來(lái)，花多長(zhǎng)時(shí)間填坑。了解數(shù)據(jù)時(shí)，多點(diǎn)敏感，多點(diǎn)質(zhì)疑，總不會(huì)錯(cuò)的。