數(shù)據(jù)建模那點事兒

今天要說內(nèi)容是建模。為啥我作為一個數(shù)學(xué)能力并不強的人要在這獻丑講建模的事呢？其實我的目的很簡單，就是為了告訴大家一個事實：數(shù)據(jù)分析中的建模，并沒有想象中那么高深莫測，人人都有機會做出自己的模型。

第一部分：數(shù)據(jù)建模理論和邏輯

一、從數(shù)據(jù)分析的定義開始

維基百科對數(shù)據(jù)分析的定義如下：

Analysis of data is a process of inspecting, cleaning, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision making. Data analysis has multiple facets and approaches, encompassing diverse techniques under a variety of names, in different business, science, and social science domains.
（來源：Data analysis）

簡單翻譯：數(shù)據(jù)分析是一個包含數(shù)據(jù)檢驗、數(shù)據(jù)清洗、數(shù)據(jù)重構(gòu)，以及數(shù)據(jù)建模的過程，目的在于發(fā)現(xiàn)有用的信息，有建設(shè)性的結(jié)論，輔助決策的制定。數(shù)據(jù)分析有多種形式和方法，涵蓋了多種技術(shù)，應(yīng)用于商業(yè)、科學(xué)、社會學(xué)等多個不同的領(lǐng)域。

和上篇文章中我畫的圖對比一下：

我在上篇文章中為了讓初學(xué)者更容易走通全流程，簡化了數(shù)據(jù)清洗的過程，實際上數(shù)據(jù)清洗絕非一次完成，“檢驗-清洗-檢驗”的過程可能會重復(fù)數(shù)次乃至數(shù)十次。

而建模呢？再次引用維基上對數(shù)據(jù)建模的定義：

Data modeling is a process used to define and analyze data requirements needed to support the business processes within the scope of corresponding information systems in organizations. Therefore, the process of data modeling involves professional data modelers working closely with business stakeholders, as well as potential users of the information system.（來源：Data modeling）
簡單翻譯：數(shù)據(jù)建模是一個用于定義和分析在組織的信息系統(tǒng)的范圍內(nèi)支持商業(yè)流程所需的數(shù)據(jù)要求的過程。因此，數(shù)據(jù)建模的過程需要專業(yè)建模師與商業(yè)人員和信息系統(tǒng)潛在用戶的緊密合作。這段話的定義更偏向信息系統(tǒng)和商業(yè)數(shù)據(jù)建模，我之所以在此引用這段話，是為了明確接下來的討論內(nèi)容主要方向是商業(yè)數(shù)據(jù)分析和建模，至于科學(xué)研究方向的數(shù)據(jù)建模，不在這篇文章的討論范圍以內(nèi)。

請注意上邊這段話中的一個核心：支持商業(yè)流程。商業(yè)數(shù)據(jù)建模，乃至商業(yè)數(shù)據(jù)分析，其最終目的都是要支持某種商業(yè)流程，要么優(yōu)化原有流程，提高各部分效率；要么重構(gòu)原有流程，減少步驟；要么告訴決策者，哪些流程改造方向是錯誤的，以避免走錯路。最終的目標(biāo)，一定是提升效率。但在不同的情況下，提升效率的方式也是不同的，因此在每個模型建立時，都需要確定其解決的具體目標(biāo)問題。

再往前走一步，數(shù)學(xué)—主要是統(tǒng)計學(xué)，在建模的過程中又扮演什么樣的角色呢？繼續(xù)引用維基：

Mathematical formulas or models called algorithms may be applied to the data to identify relationships among the variables, such as correlation or causation. In general terms, models may be developed to evaluate a particular variable in the data based on other variable(s) in the data, with some residual error depending on model accuracy (i.e., Data = Model + Error)（來源：Data modeling）

簡單翻譯：數(shù)學(xué)公式或模型稱為算法，可應(yīng)用于數(shù)據(jù)以確定變量之間的關(guān)系，如相關(guān)性或因果關(guān)系。在一般情況下，模型開發(fā)出來后用于評估一個特定的變量與數(shù)據(jù)中其他其他變量的關(guān)系，根據(jù)模型的準(zhǔn)確性不同，這些關(guān)系中會包含殘差（即，數(shù)據(jù)=模型+錯誤）

這段描述很明確，統(tǒng)計學(xué)在數(shù)據(jù)建模的過程中，主要用于幫助我們找出變量之間的關(guān)系，并對這種關(guān)系進行定量的描述，輸出可用于數(shù)據(jù)集的算法。一個好的數(shù)據(jù)模型，需要通過多次的測試和優(yōu)化迭代來完成。

綜上，給出一個我認(rèn)為的“數(shù)據(jù)建模”定義：數(shù)據(jù)集+商業(yè)目標(biāo)+算法+優(yōu)化迭代= 數(shù)據(jù)建模。定義中的每一部分都必不可少。

二、數(shù)據(jù)模型的建立過程

照例，先上流程圖：

上圖的流程顏色對應(yīng)數(shù)據(jù)分析全流程，為了方便大家閱讀，我把全流程圖再貼一次：

接下來，我重點解讀明黃色（淺黃？）部分的內(nèi)容：

• 選擇變量與重構(gòu)變量

在進行建模之前，首先要考慮的是使用哪些變量來建立模型，需要從業(yè)務(wù)邏輯和數(shù)據(jù)邏輯兩個方面來考慮：

業(yè)務(wù)邏輯：變量基于收集到的數(shù)據(jù)，而數(shù)據(jù)在收集時，會產(chǎn)生與業(yè)務(wù)層面相關(guān)的邏輯，比如在汽車參數(shù)中，一旦我們定義了“家用轎車”這個類別，那么無論什么品牌什么車型，“輪胎數(shù)量（不計備胎）”這個變量就有99%以上幾率為4……當(dāng)然在接下來的建模中，我們不會選擇這個變量。這一類情況是業(yè)務(wù)知識來告訴我們哪些變量可以選擇，哪些不能選擇。

數(shù)據(jù)邏輯：通常從數(shù)據(jù)的完整性、集中度、是否與其他變量強相關(guān)（甚至有因果關(guān)系）等角度來考慮，比如某個變量在業(yè)務(wù)上很有價值，但缺失率達(dá)到90%，或者一個非布爾值變量卻集中于兩個值，那么這個時候我們就要考慮，加入這個變量是否對后續(xù)分析有價值。

我個人認(rèn)為，在選擇變量時，業(yè)務(wù)邏輯應(yīng)該優(yōu)先于數(shù)據(jù)邏輯，蓋因業(yè)務(wù)邏輯是從實際情況中自然產(chǎn)生，而建模的結(jié)果也要反饋到實際中去，因此選擇變量時，業(yè)務(wù)邏輯重要程度相對更高。

而在變量本身不適合直接拿來建模時，例如調(diào)查問卷中的滿意度，是漢字的“不滿意”“一般”“滿意”，那么需要將其重構(gòu)成“1”（對應(yīng)不滿意）“2”（對應(yīng)一般）“3”（對應(yīng)滿意）的數(shù)字形式，便于后續(xù)建模使用。

除這種重構(gòu)方式之外，將變量進行單獨計算（如取均值）和組合計算（如A*B）也是常用的重構(gòu)方法。其他的重構(gòu)方法還有很多種，在此不一一闡述。

• 選擇算法

我們在建模時，目標(biāo)是解決商業(yè)問題，而不是為了建模而建模，故此我們需要選擇適合的算法。常用建模算法包括相關(guān)、聚類、分類（決策樹）、時間序列、回歸、神經(jīng)網(wǎng)絡(luò)等。

以對消費者的建模為例，舉一些場景下的常用算法對應(yīng)：

劃分消費者群體：聚類，分類；

購物籃分析：相關(guān)，聚類；

購買額預(yù)測：回歸，時間序列；

滿意度調(diào)查：回歸，聚類，分類；

等等。

確定算法后，要再看一下變量是否滿足算法要求，如果不滿足，回到選擇/重構(gòu)變量，再來一遍吧。如果滿足，進入下一步。

• 設(shè)定參數(shù)

算法選定后，需要用數(shù)據(jù)分析工具進行建模。針對不同的模型，需要調(diào)整參數(shù)，例如聚類模型中的K-means算法，需要給出希望聚成的類別數(shù)量，更進一步需要給出的起始的聚類中心和迭代次數(shù)上限。

這些參數(shù)在后續(xù)測試中會經(jīng)過多次調(diào)整，很少有一次測試成功的情況，因此請做好心理準(zhǔn)備。

• 加載算法與測試結(jié)果

算法跑完之后，要根據(jù)算法的輸出結(jié)果來確定該算法是否能夠解決問題，比如K-means的結(jié)果不好，那么考慮換成系統(tǒng)聚類算法來解決。或者回歸模型輸出的結(jié)果不滿足需求，考慮用時間序列來做。

如果不需要換算法，那么就測試一下算法輸出的結(jié)果是否有提升空間，比如聚類算法中指定聚類結(jié)果包含4類人群，但發(fā)現(xiàn)其中的兩類特征很接近，或者某一類人群沒有明顯特征，那么可以調(diào)整參數(shù)后再試。

在不斷的調(diào)整參數(shù)，優(yōu)化模型過程中，模型的解釋能力和實用性會不斷的提升。當(dāng)你認(rèn)為模型已經(jīng)能夠滿足目標(biāo)需求了，那就可以輸出結(jié)果了。一個報告，一些規(guī)則，一段代碼，都可能成為模型的輸出。在輸出之后，還有最后一步：接收業(yè)務(wù)人員的反饋，看看模型是否解決了他們的問題，如果沒有，回到第一步，再來一次吧少年……

以上，就是建模的一般過程。如果你有些地方覺得比較生澀，難以理解，也沒有關(guān)系。下一篇專欄中，我將向你們介紹一個具體的數(shù)據(jù)模型，我會對建模的過程一步步進行拆解，力求簡明易懂。

第二部分：數(shù)據(jù)建模的應(yīng)用