數(shù)據(jù)建模那點(diǎn)事兒

今天要說(shuō)內(nèi)容是建模。為啥我作為一個(gè)數(shù)學(xué)能力并不強(qiáng)的人要在這獻(xiàn)丑講建模的事呢？其實(shí)我的目的很簡(jiǎn)單，就是為了告訴大家一個(gè)事實(shí)：數(shù)據(jù)分析中的建模，并沒(méi)有想象中那么高深莫測(cè)，人人都有機(jī)會(huì)做出自己的模型。

第一部分：數(shù)據(jù)建模理論和邏輯

一、從數(shù)據(jù)分析的定義開(kāi)始

維基百科對(duì)數(shù)據(jù)分析的定義如下：

Analysis of data is a process of inspecting, cleaning, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision making. Data analysis has multiple facets and approaches, encompassing diverse techniques under a variety of names, in different business, science, and social science domains.
（來(lái)源：Data analysis）

簡(jiǎn)單翻譯：數(shù)據(jù)分析是一個(gè)包含數(shù)據(jù)檢驗(yàn)、數(shù)據(jù)清洗、數(shù)據(jù)重構(gòu)，以及數(shù)據(jù)建模的過(guò)程，目的在于發(fā)現(xiàn)有用的信息，有建設(shè)性的結(jié)論，輔助決策的制定。數(shù)據(jù)分析有多種形式和方法，涵蓋了多種技術(shù)，應(yīng)用于商業(yè)、科學(xué)、社會(huì)學(xué)等多個(gè)不同的領(lǐng)域。

和上篇文章中我畫(huà)的圖對(duì)比一下：

我在上篇文章中為了讓初學(xué)者更容易走通全流程，簡(jiǎn)化了數(shù)據(jù)清洗的過(guò)程，實(shí)際上數(shù)據(jù)清洗絕非一次完成，“檢驗(yàn)-清洗-檢驗(yàn)”的過(guò)程可能會(huì)重復(fù)數(shù)次乃至數(shù)十次。

而建模呢？再次引用維基上對(duì)數(shù)據(jù)建模的定義：

Data modeling is a process used to define and analyze data requirements needed to support the business processes within the scope of corresponding information systems in organizations. Therefore, the process of data modeling involves professional data modelers working closely with business stakeholders, as well as potential users of the information system.（來(lái)源：Data modeling）
簡(jiǎn)單翻譯：數(shù)據(jù)建模是一個(gè)用于定義和分析在組織的信息系統(tǒng)的范圍內(nèi)支持商業(yè)流程所需的數(shù)據(jù)要求的過(guò)程。因此，數(shù)據(jù)建模的過(guò)程需要專(zhuān)業(yè)建模師與商業(yè)人員和信息系統(tǒng)潛在用戶(hù)的緊密合作。這段話的定義更偏向信息系統(tǒng)和商業(yè)數(shù)據(jù)建模，我之所以在此引用這段話，是為了明確接下來(lái)的討論內(nèi)容主要方向是商業(yè)數(shù)據(jù)分析和建模，至于科學(xué)研究方向的數(shù)據(jù)建模，不在這篇文章的討論范圍以?xún)?nèi)。

請(qǐng)注意上邊這段話中的一個(gè)核心：支持商業(yè)流程。商業(yè)數(shù)據(jù)建模，乃至商業(yè)數(shù)據(jù)分析，其最終目的都是要支持某種商業(yè)流程，要么優(yōu)化原有流程，提高各部分效率；要么重構(gòu)原有流程，減少步驟；要么告訴決策者，哪些流程改造方向是錯(cuò)誤的，以避免走錯(cuò)路。最終的目標(biāo)，一定是提升效率。但在不同的情況下，提升效率的方式也是不同的，因此在每個(gè)模型建立時(shí)，都需要確定其解決的具體目標(biāo)問(wèn)題。

再往前走一步，數(shù)學(xué)—主要是統(tǒng)計(jì)學(xué)，在建模的過(guò)程中又扮演什么樣的角色呢？繼續(xù)引用維基：

Mathematical formulas or models called algorithms may be applied to the data to identify relationships among the variables, such as correlation or causation. In general terms, models may be developed to evaluate a particular variable in the data based on other variable(s) in the data, with some residual error depending on model accuracy (i.e., Data = Model + Error)（來(lái)源：Data modeling）

簡(jiǎn)單翻譯：數(shù)學(xué)公式或模型稱(chēng)為算法，可應(yīng)用于數(shù)據(jù)以確定變量之間的關(guān)系，如相關(guān)性或因果關(guān)系。在一般情況下，模型開(kāi)發(fā)出來(lái)后用于評(píng)估一個(gè)特定的變量與數(shù)據(jù)中其他其他變量的關(guān)系，根據(jù)模型的準(zhǔn)確性不同，這些關(guān)系中會(huì)包含殘差（即，數(shù)據(jù)=模型+錯(cuò)誤）

這段描述很明確，統(tǒng)計(jì)學(xué)在數(shù)據(jù)建模的過(guò)程中，主要用于幫助我們找出變量之間的關(guān)系，并對(duì)這種關(guān)系進(jìn)行定量的描述，輸出可用于數(shù)據(jù)集的算法。一個(gè)好的數(shù)據(jù)模型，需要通過(guò)多次的測(cè)試和優(yōu)化迭代來(lái)完成。

綜上，給出一個(gè)我認(rèn)為的“數(shù)據(jù)建模”定義：數(shù)據(jù)集+商業(yè)目標(biāo)+算法+優(yōu)化迭代= 數(shù)據(jù)建模。定義中的每一部分都必不可少。

二、數(shù)據(jù)模型的建立過(guò)程

照例，先上流程圖：

上圖的流程顏色對(duì)應(yīng)數(shù)據(jù)分析全流程，為了方便大家閱讀，我把全流程圖再貼一次：

接下來(lái)，我重點(diǎn)解讀明黃色（淺黃？）部分的內(nèi)容：

• 選擇變量與重構(gòu)變量

在進(jìn)行建模之前，首先要考慮的是使用哪些變量來(lái)建立模型，需要從業(yè)務(wù)邏輯和數(shù)據(jù)邏輯兩個(gè)方面來(lái)考慮：

業(yè)務(wù)邏輯：變量基于收集到的數(shù)據(jù)，而數(shù)據(jù)在收集時(shí)，會(huì)產(chǎn)生與業(yè)務(wù)層面相關(guān)的邏輯，比如在汽車(chē)參數(shù)中，一旦我們定義了“家用轎車(chē)”這個(gè)類(lèi)別，那么無(wú)論什么品牌什么車(chē)型，“輪胎數(shù)量（不計(jì)備胎）”這個(gè)變量就有99%以上幾率為4……當(dāng)然在接下來(lái)的建模中，我們不會(huì)選擇這個(gè)變量。這一類(lèi)情況是業(yè)務(wù)知識(shí)來(lái)告訴我們哪些變量可以選擇，哪些不能選擇。

數(shù)據(jù)邏輯：通常從數(shù)據(jù)的完整性、集中度、是否與其他變量強(qiáng)相關(guān)（甚至有因果關(guān)系）等角度來(lái)考慮，比如某個(gè)變量在業(yè)務(wù)上很有價(jià)值，但缺失率達(dá)到90%，或者一個(gè)非布爾值變量卻集中于兩個(gè)值，那么這個(gè)時(shí)候我們就要考慮，加入這個(gè)變量是否對(duì)后續(xù)分析有價(jià)值。

我個(gè)人認(rèn)為，在選擇變量時(shí)，業(yè)務(wù)邏輯應(yīng)該優(yōu)先于數(shù)據(jù)邏輯，蓋因業(yè)務(wù)邏輯是從實(shí)際情況中自然產(chǎn)生，而建模的結(jié)果也要反饋到實(shí)際中去，因此選擇變量時(shí)，業(yè)務(wù)邏輯重要程度相對(duì)更高。

而在變量本身不適合直接拿來(lái)建模時(shí)，例如調(diào)查問(wèn)卷中的滿意度，是漢字的“不滿意”“一般”“滿意”，那么需要將其重構(gòu)成“1”（對(duì)應(yīng)不滿意）“2”（對(duì)應(yīng)一般）“3”（對(duì)應(yīng)滿意）的數(shù)字形式，便于后續(xù)建模使用。

除這種重構(gòu)方式之外，將變量進(jìn)行單獨(dú)計(jì)算（如取均值）和組合計(jì)算（如A*B）也是常用的重構(gòu)方法。其他的重構(gòu)方法還有很多種，在此不一一闡述。

• 選擇算法

我們?cè)诮r(shí)，目標(biāo)是解決商業(yè)問(wèn)題，而不是為了建模而建模，故此我們需要選擇適合的算法。常用建模算法包括相關(guān)、聚類(lèi)、分類(lèi)（決策樹(shù)）、時(shí)間序列、回歸、神經(jīng)網(wǎng)絡(luò)等。

以對(duì)消費(fèi)者的建模為例，舉一些場(chǎng)景下的常用算法對(duì)應(yīng)：

劃分消費(fèi)者群體：聚類(lèi)，分類(lèi)；

購(gòu)物籃分析：相關(guān)，聚類(lèi)；

購(gòu)買(mǎi)額預(yù)測(cè)：回歸，時(shí)間序列；

滿意度調(diào)查：回歸，聚類(lèi)，分類(lèi)；

等等。

確定算法后，要再看一下變量是否滿足算法要求，如果不滿足，回到選擇/重構(gòu)變量，再來(lái)一遍吧。如果滿足，進(jìn)入下一步。

• 設(shè)定參數(shù)

算法選定后，需要用數(shù)據(jù)分析工具進(jìn)行建模。針對(duì)不同的模型，需要調(diào)整參數(shù)，例如聚類(lèi)模型中的K-means算法，需要給出希望聚成的類(lèi)別數(shù)量，更進(jìn)一步需要給出的起始的聚類(lèi)中心和迭代次數(shù)上限。

這些參數(shù)在后續(xù)測(cè)試中會(huì)經(jīng)過(guò)多次調(diào)整，很少有一次測(cè)試成功的情況，因此請(qǐng)做好心理準(zhǔn)備。

• 加載算法與測(cè)試結(jié)果

算法跑完之后，要根據(jù)算法的輸出結(jié)果來(lái)確定該算法是否能夠解決問(wèn)題，比如K-means的結(jié)果不好，那么考慮換成系統(tǒng)聚類(lèi)算法來(lái)解決?；蛘呋貧w模型輸出的結(jié)果不滿足需求，考慮用時(shí)間序列來(lái)做。

如果不需要換算法，那么就測(cè)試一下算法輸出的結(jié)果是否有提升空間，比如聚類(lèi)算法中指定聚類(lèi)結(jié)果包含4類(lèi)人群，但發(fā)現(xiàn)其中的兩類(lèi)特征很接近，或者某一類(lèi)人群沒(méi)有明顯特征，那么可以調(diào)整參數(shù)后再試。

在不斷的調(diào)整參數(shù)，優(yōu)化模型過(guò)程中，模型的解釋能力和實(shí)用性會(huì)不斷的提升。當(dāng)你認(rèn)為模型已經(jīng)能夠滿足目標(biāo)需求了，那就可以輸出結(jié)果了。一個(gè)報(bào)告，一些規(guī)則，一段代碼，都可能成為模型的輸出。在輸出之后，還有最后一步：接收業(yè)務(wù)人員的反饋，看看模型是否解決了他們的問(wèn)題，如果沒(méi)有，回到第一步，再來(lái)一次吧少年……

以上，就是建模的一般過(guò)程。如果你有些地方覺(jué)得比較生澀，難以理解，也沒(méi)有關(guān)系。下一篇專(zhuān)欄中，我將向你們介紹一個(gè)具體的數(shù)據(jù)模型，我會(huì)對(duì)建模的過(guò)程一步步進(jìn)行拆解，力求簡(jiǎn)明易懂。

第二部分：數(shù)據(jù)建模的應(yīng)用