作者 | 數(shù)據(jù)海洋

來(lái)源 | haiyangxinyong

“數(shù)據(jù)質(zhì)量是生命線”，不管是對(duì)數(shù)據(jù)從業(yè)者來(lái)說(shuō)，還是針對(duì)數(shù)據(jù)應(yīng)用者來(lái)說(shuō)，是一樣重要的，所以在SQL語(yǔ)言來(lái)提取數(shù)據(jù)的時(shí)候一定要保證數(shù)據(jù)的準(zhǔn)確性。

日常的數(shù)據(jù)需求來(lái)源于各個(gè)方面，每個(gè)崗位根據(jù)自己的崗位目標(biāo)與定位需要不同的數(shù)據(jù)內(nèi)容與數(shù)據(jù)粒度來(lái)進(jìn)行支持各種業(yè)務(wù)決策。不管這個(gè)數(shù)據(jù)需求是來(lái)源于自己要做的數(shù)據(jù)分析，還是業(yè)務(wù)部門(mén)同事或者你的老板的需求，請(qǐng)讀者在寫(xiě)SQL提取數(shù)據(jù)的時(shí)候牢記“九字箴言”：

“理邏輯、寫(xiě)代碼、看數(shù)據(jù)”！

并且按這個(gè)邏輯順序來(lái)執(zhí)行，是數(shù)據(jù)工作很好的習(xí)慣，從而保證數(shù)據(jù)的準(zhǔn)確性。

01 理邏輯

1. 理解清楚需求

收到的業(yè)務(wù)需求要解決什么問(wèn)題，誰(shuí)提出來(lái)的，業(yè)務(wù)需求的描述內(nèi)容是什么？往往業(yè)務(wù)需求包括我們自己作為業(yè)務(wù)人員給數(shù)據(jù)團(tuán)隊(duì)人員提需求的時(shí)候，總會(huì)很粗的說(shuō)要提取什么數(shù)據(jù)內(nèi)容。但對(duì)于需求中很重要的二個(gè)部分沒(méi)有進(jìn)行描述：

① 數(shù)據(jù)要解決什么問(wèn)題。

② 數(shù)據(jù)具體的內(nèi)容以及具體內(nèi)容業(yè)務(wù)定義。

所以收到需求的時(shí)候，不管你是在業(yè)務(wù)團(tuán)隊(duì)還是在數(shù)據(jù)團(tuán)隊(duì)，先花時(shí)間去理解這個(gè)數(shù)據(jù)需求，然后對(duì)業(yè)務(wù)需求做上你理解的相關(guān)說(shuō)明。如果你在理解業(yè)務(wù)需求中，有很多不明白或者覺(jué)得不夠清楚就記錄下來(lái)，然后統(tǒng)一與需求提出人員一起當(dāng)面進(jìn)行溝通。

例如：需要看某段時(shí)間內(nèi)，會(huì)員的購(gòu)買(mǎi)金額。這個(gè)購(gòu)買(mǎi)金額是如何計(jì)劃的，假設(shè)在一個(gè)電商中，一個(gè)用戶(hù)購(gòu)買(mǎi)商品產(chǎn)生訂單，在進(jìn)行支付時(shí)間，訂單商品金額可能會(huì)有多個(gè)內(nèi)容。

舉個(gè)具體例子，某個(gè)訂單一共有10件商品，288元，在用戶(hù)支付時(shí)候：

① 該會(huì)員使用了一張優(yōu)惠券滿(mǎn)100減20

② 該會(huì)員還使用在自己的積分支付抵扣了50元

在用戶(hù)收到商品的時(shí)候，該會(huì)員退貨了一件商品30元。【先不考慮退貨后要扣除相應(yīng)的優(yōu)惠券金額，所以該會(huì)員退貨30元，需要扣除相應(yīng)比例優(yōu)惠金額，最終退還給她的要小于30元。】

在這種場(chǎng)景下，要統(tǒng)計(jì)的金額是：

A. 訂單商品金額288元

B. 還是扣除退貨后的258元

C. 還是扣除優(yōu)惠券、積分后的218元

D. 還是上述條件都要扣除188元；

如果你對(duì)業(yè)務(wù)比較熟悉，根據(jù)業(yè)務(wù)部門(mén)的需求以及你理解的目的做出相應(yīng)的建議，然后在數(shù)據(jù)結(jié)果中進(jìn)行備注。但是還是需要與業(yè)務(wù)需求人進(jìn)行口徑明確。

作者在工作中碰到過(guò)這個(gè)案例的時(shí)候，我和業(yè)務(wù)需求溝通的時(shí)候，我給他的建議是：我把會(huì)員的訂單金額，我也統(tǒng)計(jì)好幾個(gè)衍生的字段：優(yōu)惠占比、退貨占比，這也是會(huì)員購(gòu)物行為要關(guān)注的重要行為，你可以根據(jù)這二個(gè)比例，再對(duì)會(huì)員進(jìn)行價(jià)值分層后，再根據(jù)這二個(gè)指標(biāo)來(lái)分析：會(huì)員的優(yōu)惠特征，以及退貨特征。這樣可以通過(guò)這二個(gè)占比指標(biāo)，進(jìn)一步細(xì)分會(huì)員。例如：占比比較高的會(huì)員，如果數(shù)量達(dá)到一定規(guī)模，從而可以進(jìn)一步制定更有針對(duì)性的策略。

1. 把業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)需求

在寫(xiě)SQL代碼之前應(yīng)該進(jìn)行二步的操作：

①明確需求的業(yè)務(wù)內(nèi)容。就是要提取哪些數(shù)據(jù)指標(biāo)，以及要哪些維度。然后需要把對(duì)應(yīng)的數(shù)據(jù)指標(biāo)與維度進(jìn)行業(yè)務(wù)角度進(jìn)行內(nèi)容定義明確。【可以進(jìn)一步思考，每個(gè)數(shù)據(jù)指標(biāo)可以用來(lái)衡量業(yè)務(wù)什么內(nèi)容?！?/span>

② 把明確的業(yè)務(wù)定義轉(zhuǎn)化為對(duì)應(yīng)要提取數(shù)據(jù)指標(biāo)，根據(jù)數(shù)據(jù)指標(biāo)定義明確用什么樣的邏輯來(lái)統(tǒng)計(jì)出相應(yīng)的數(shù)據(jù)指標(biāo)。

02寫(xiě)代碼

在需求邏輯理完以后。

1. 需要明確“數(shù)據(jù)原材料”在哪。梳理一下各個(gè)要提取的數(shù)據(jù)指標(biāo)需要的哪些表？哪些表中的哪些字段？對(duì)相關(guān)字段要進(jìn)行哪些邏輯處理。

2. 開(kāi)始寫(xiě)SQL代碼。SQL代碼盡量按代碼規(guī)范來(lái)進(jìn)行；在不影響代碼美觀的情況下，盡量詳細(xì)進(jìn)行相關(guān)的需求內(nèi)容、代碼行、字段進(jìn)行備注說(shuō)明。

在寫(xiě)完代碼后，養(yǎng)成一個(gè)習(xí)慣。花點(diǎn)時(shí)間去閱讀一下寫(xiě)完的代碼，像在 dbeaver的客戶(hù)端中，因?yàn)閷?duì)語(yǔ)法的相關(guān)格式會(huì)高亮，所以稍微花時(shí)間就很容易檢查出錯(cuò)誤。

如果在企業(yè)的實(shí)際工作環(huán)境中，像一般代碼如果沒(méi)有注意的話，例如：時(shí)間范圍，表關(guān)聯(lián)產(chǎn)生迪卡爾積等很容易導(dǎo)致公司的整個(gè)數(shù)據(jù)庫(kù)“卡住”的，或者一段代碼的數(shù)據(jù)庫(kù)跑半天還沒(méi)有出來(lái)，但沒(méi)有及時(shí)關(guān)閉。從而嚴(yán)重影響了公司其它同事或者相關(guān)數(shù)據(jù)應(yīng)用的效率。

這些情況，我在工作中經(jīng)常發(fā)生。所以我曾經(jīng)在團(tuán)隊(duì)做個(gè)要求，新人或者業(yè)務(wù)部門(mén)的分析師必須有一個(gè)“師傅”，當(dāng)他們寫(xiě)比較復(fù)雜的SQL的時(shí)間，師傅們需要幫助查看一下。

關(guān)于SQL代碼的錯(cuò)誤:

1. 語(yǔ)法錯(cuò)誤。語(yǔ)法錯(cuò)誤SQL會(huì)執(zhí)行不下去，所以這是必須要看錯(cuò)誤在哪些地方。

2. 邏輯錯(cuò)誤。是指SQL程序沒(méi)有報(bào)錯(cuò)，而且順利的執(zhí)行下去了。但是可能SQL語(yǔ)言跑出來(lái)的結(jié)果不是你想的，也就是跑出來(lái)的數(shù)據(jù)是錯(cuò)誤的。邏輯錯(cuò)誤形式：

① 沒(méi)有跑出數(shù)據(jù)。這種和語(yǔ)法錯(cuò)誤很容易發(fā)現(xiàn)。例如：會(huì)員表中的ID直接與訂單表中的ID關(guān)聯(lián)，沒(méi)有報(bào)錯(cuò)。但是關(guān)聯(lián)不上沒(méi)有數(shù)據(jù)。從而需要檢查代碼是哪出問(wèn)題。

② 有跑出數(shù)據(jù)。這種情況往往不用心的話，很難發(fā)現(xiàn)。例如：在過(guò)濾條件的時(shí)候，對(duì)時(shí)間的過(guò)濾可以缺少幾天，或者需要相關(guān)過(guò)濾的值沒(méi)有過(guò)濾；在統(tǒng)計(jì)會(huì)員數(shù)的時(shí)候，沒(méi)有進(jìn)行去重。這些因?yàn)閟ql語(yǔ)言代碼順利執(zhí)行，所以可能不會(huì)引起去足夠的重視去對(duì)代碼進(jìn)行檢查。

03看數(shù)據(jù)

在SQL沒(méi)有報(bào)語(yǔ)法錯(cuò)誤，跑完后有數(shù)據(jù)的情況下。千萬(wàn)避免數(shù)據(jù)提取后，語(yǔ)法不報(bào)錯(cuò)，就直接數(shù)據(jù)復(fù)制到EXCEL，然后發(fā)給相關(guān)的同事或者領(lǐng)導(dǎo)。這樣做非常不專(zhuān)業(yè)：如果出現(xiàn)數(shù)據(jù)錯(cuò)誤非常容易導(dǎo)致決定失誤或者明顯的數(shù)據(jù)錯(cuò)誤或者異常會(huì)讓同事或者領(lǐng)導(dǎo)懷疑你的能力與做事態(tài)度，這在職場(chǎng)中很要命的哦！

所以一定要檢查一下，你提取的數(shù)據(jù)。對(duì)數(shù)據(jù)進(jìn)行相關(guān)查看，例如：看一下各個(gè)字段的最大最小值，看一下數(shù)據(jù)的記錄數(shù)，對(duì)一些數(shù)據(jù)指標(biāo)進(jìn)行簡(jiǎn)單的比率計(jì)算?！具@些內(nèi)容放在excel上，相信花個(gè)10分鐘足夠?！拷Y(jié)合你自己的基本的業(yè)務(wù)常識(shí)，就可以對(duì)提取的數(shù)據(jù)是否有明顯錯(cuò)誤或者可能存在錯(cuò)誤進(jìn)行判斷。

再根據(jù)明顯錯(cuò)誤的內(nèi)容或者異常的數(shù)據(jù)指標(biāo)，回到代碼中去檢查是否問(wèn)題。例如：在一個(gè)提取過(guò)去某段時(shí)間每周會(huì)員數(shù)的需求中，當(dāng)提取出來(lái)的數(shù)據(jù)發(fā)現(xiàn)有2周的會(huì)員數(shù)據(jù)明顯偏高。當(dāng)你檢查代碼沒(méi)有問(wèn)題，如果你對(duì)業(yè)務(wù)不熟悉可能問(wèn)一下之前的老同事這個(gè)數(shù)據(jù)是否正常，也許他會(huì)告訴是正常的，去年做了活動(dòng)或者去年在這個(gè)時(shí)間點(diǎn)有疑似被刷單的了導(dǎo)致會(huì)員數(shù)增長(zhǎng)異常。

當(dāng)你把這個(gè)數(shù)據(jù)發(fā)給相關(guān)同事的時(shí)候，你會(huì)把這個(gè)情況備注說(shuō)明在excel或者相關(guān)文檔中。

假設(shè)一下，如果你提取的數(shù)據(jù)，經(jīng)過(guò)上述流程和相關(guān)的檢查，在發(fā)給同事中再把相關(guān)數(shù)據(jù)指標(biāo)、數(shù)據(jù)提取的范圍和內(nèi)容進(jìn)行說(shuō)明，對(duì)明顯的數(shù)據(jù)異常你也做了備注說(shuō)明。你同事收到這樣一份數(shù)據(jù)是一個(gè)“什么樣的心情呢？”。

04 總結(jié)

數(shù)據(jù)工作是一個(gè)非常非常嚴(yán)謹(jǐn)?shù)墓ぷ髁?xí)慣和態(tài)度，這樣用SQL代碼統(tǒng)計(jì)出來(lái)的數(shù)據(jù)才不會(huì)是“有質(zhì)量問(wèn)題”的“產(chǎn)品”。有質(zhì)量問(wèn)題的產(chǎn)品會(huì)導(dǎo)致非常嚴(yán)重的后果，如果你數(shù)據(jù)出現(xiàn)錯(cuò)誤，從而基于數(shù)據(jù)做出的決策有可能是“災(zāi)難性”的。

例如：你統(tǒng)計(jì)新會(huì)員數(shù)，如果你數(shù)據(jù)沒(méi)有去重，可能會(huì)導(dǎo)致結(jié)果說(shuō)某段時(shí)間廣告投入效果很好，應(yīng)該持續(xù)加大。所以嚴(yán)格按照上述的步驟來(lái)執(zhí)行，才能讓你分析的數(shù)據(jù)質(zhì)量好，你的部門(mén)同事或者老板會(huì)對(duì)你的“專(zhuān)業(yè)性”給出非常高的贊揚(yáng)。