數(shù)據(jù)挖掘系列篇之DM解決幾類問題

宋代禪宗大師青原行思提出參禪的三重境界：“參禪之初，看山是山，看水是水；禪有悟時，看山不是山，看水不是水；禪中徹悟，看山仍然山，看水仍然是水。”

數(shù)據(jù)挖掘也是這樣，初學(xué)數(shù)據(jù)挖掘的時候比較迷茫，看到山還是山，看到數(shù)據(jù)也只是表現(xiàn)的數(shù)據(jù)，流離于表面形態(tài)。行進(jìn)之時，初悟一二，在了解了數(shù)據(jù)挖掘的基本技能和工具，在實(shí)踐中做過幾個案例，解決了不少問題之后能夠?qū)?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘有一些自己的經(jīng)驗(yàn)理解，能夠看穿數(shù)據(jù)背后表露的一些現(xiàn)象和本質(zhì)。而在歷經(jīng)無數(shù)case之后，遇到各種荊棘坎坷，又明白了數(shù)據(jù)的真諦，又要跳出數(shù)據(jù)的角度，面前的這座山還是原來的山，只是變得厚重了而已。

北美發(fā)達(dá)的商業(yè)交易市場，已不再是傳統(tǒng)股票經(jīng)紀(jì)人每天看財(cái)報(bào)，分析股指，買賣兩三支股票就能高枕無憂的年頭了。T+0的交易模式允許交易方在同一天買入和賣出，于是就產(chǎn)生了自動交易機(jī)，每秒鐘執(zhí)行上百萬次的買賣交易，而這些交易的決策，完全是由機(jī)器智能實(shí)現(xiàn)的。因?yàn)榻灰坠P數(shù)的增多，每筆交易的利潤并不需要很大，整體也能產(chǎn)生巨大的盈利。甚至有公司利用紐約證交所到太平洋對岸的結(jié)算中心2ms的信息傳輸延遲，賺取了大量收入，這些高頻交易，跟傳統(tǒng)的金融分析已經(jīng)間隔漸遠(yuǎn)，大數(shù)據(jù)技術(shù)成為重中之重。當(dāng)美國一大批商學(xué)院在向信息界尋求力量，而中國的商學(xué)院尚處于學(xué)習(xí)美國以往模式，學(xué)生只懂現(xiàn)象不懂技術(shù)，此番培養(yǎng)的金融人才，必將很難適應(yīng)市場，這是熊老師提出對國內(nèi)“金融熱”的大大擔(dān)憂。而計(jì)算機(jī)行業(yè)，若有數(shù)據(jù)挖掘背景，將會有巨大的發(fā)展空間，不僅僅在金融界。

之前數(shù)云的段勇通過一本《深入淺出談數(shù)據(jù)挖掘》講述了數(shù)據(jù)挖掘主要解決分類、聚類、關(guān)聯(lián)、預(yù)測這四類問題，介紹的角度也更多的是結(jié)合電信方面的案例。而現(xiàn)在隨著電商、互聯(lián)網(wǎng)金融的發(fā)展，這類問題的應(yīng)用豐富了很多，但從本質(zhì)角度來說還是分類、聚類、關(guān)聯(lián)、預(yù)測等問題，其中分類問題應(yīng)用的更多，特別是0/1問題。

今天計(jì)劃的是通過數(shù)據(jù)挖掘解決的幾類問題，重點(diǎn)介紹下電商和互聯(lián)網(wǎng)金融的常見應(yīng)用，而像關(guān)聯(lián)、分類、聚類、預(yù)測這些基本的概念稍微一帶而過，如果有什么不清楚的，可以私下再探討具體的概念、定義、區(qū)別，以及圍繞關(guān)聯(lián)、聚類、分類、預(yù)測使用的哪些算法會重點(diǎn)介紹下，計(jì)劃的是后面會通過python、r、sas、MATLAB再介紹下具體怎么用的。

1.分類VS預(yù)測

從人出生開始就遇到分類問題的學(xué)習(xí)，比如常問的電影里的那人是好人還是壞人，你是男性還是女性，我體重65kg是輕還是重，我的成績是優(yōu)/良/中/差，這些都屬于分類的問題。結(jié)合我們具體的數(shù)據(jù)挖掘應(yīng)用場景，常遇到：電商中你會不會買這個商品，你有沒有看我這條廣告，你算不算我的價(jià)值客戶；互聯(lián)網(wǎng)金融中這支股票算好還是壞，風(fēng)險(xiǎn)評估是高還是低，適合長期持有還是短期操作等。

還有一點(diǎn)，就是它和預(yù)測問題的區(qū)別。預(yù)測問題常見解決的是連續(xù)值預(yù)測，比如預(yù)測你25歲結(jié)婚，而不是25歲會不會結(jié)婚。預(yù)測你月底30號來充值話費(fèi)，而非你月底會不會來充值話費(fèi)。本身分類也是預(yù)測的一部分，算法層面應(yīng)用會有些區(qū)別。

常見的分類主要是用LR、RF、GBDT、bayes等，預(yù)測方面回歸分析、最小二乘法、時間序列等。

分類常見的為0/1問題的解決，所以LR、bayes這方面有一定的優(yōu)勢，會計(jì)算出分類結(jié)果的probability，具體實(shí)際在推哪些人群的時候可以自定義相應(yīng)的probability和conclusion。

引用一段段勇老師分享的，可能很多人已經(jīng)在關(guān)心數(shù)據(jù)挖掘方法是怎么預(yù)測P（X=1）這個問題的了，其實(shí)并不難。解決這類問題的一個大前提就是通過歷史數(shù)據(jù)的收集，已經(jīng)明確知道了某些用戶的分類結(jié)果，如已經(jīng)收集到了10000個用戶的分類結(jié)果，其中7000個是屬于“1”這類；3000個屬于“0”這類。伴隨著收集到分類結(jié)果的同時，還收集了這10000個用戶的若干特征（指標(biāo)、變量）。這樣的數(shù)據(jù)集一般在數(shù)據(jù)挖掘中被稱為訓(xùn)練集，顧名思義，分類預(yù)測的規(guī)則就是通過這個數(shù)據(jù)集訓(xùn)練出來的。訓(xùn)練的大概思路是這樣的：對所有已經(jīng)收集到的特征/變量分別進(jìn)行分析，尋找與目標(biāo)0/1變量相關(guān)的特征/變量，然后歸納出P（X=1）與篩選出來的相關(guān)特征/變量之間的關(guān)系（不同方法歸納出來的關(guān)系的表達(dá)方式是各不相同的，如回歸的方法是通過函數(shù)關(guān)系式，決策樹方法是通過規(guī)則集）。

看到上面這個解釋，相信大家應(yīng)該知道分類問題的基本情況，在分類問題算法上，重點(diǎn)會遇到兩個注意點(diǎn)：feature selection & instance selection。這個會直接影響你在做分類算法上的max drawdown和accuracy ratio。而之前也有不少同學(xué)問道說怎么去選擇feature和instance，其實(shí)這個取決于兩點(diǎn)，1.你有哪些數(shù)據(jù)；2.經(jīng)驗(yàn)判斷。

舉個例子，case為判斷這個用戶會不會使用交罰業(yè)務(wù)？

step1：find out接觸交罰業(yè)務(wù)的歷史用戶，其中1定義為使用過，0定義為未使用；

step2：feature selection，選擇和交罰相關(guān)的特征，比如你有沒有車、經(jīng)常自駕游、短期中期長期去過多少地方、有沒有經(jīng)常加油、平時駕駛速度等等。

step3：train model，evaluate the model。

step4：實(shí)測。

具體步驟大家可以拿python調(diào)下LR包應(yīng)用下。

2.聚類

聚類主要解決的是在“物以類聚、人以群分”，比如以收入分群，高富帥VS矮丑窮；比如按職場分群，職場精英VS職場小白等等。

聚類的方法層出不窮，基于用戶間彼此距離的長短來對用戶進(jìn)行聚類劃分的方法依然是當(dāng)前最流行的方法。大致的思路是這樣的：首先確定選擇哪些指標(biāo)對用戶進(jìn)行聚類；然后在選擇的指標(biāo)上計(jì)算用戶彼此間的距離，距離的計(jì)算公式很多，最常用的就是直線距離（把選擇的指標(biāo)當(dāng)作維度、用戶在每個指標(biāo)下都有相應(yīng)的取值，可以看作多維空間中的一個點(diǎn)，用戶彼此間的距離就可理解為兩者之間的直線距離。）；最后聚類方法把彼此距離比較短的用戶聚為一類，類與類之間的距離相對比較長。

常用的算法k-means、分層、FCM等。

3.關(guān)聯(lián)

關(guān)聯(lián)主要是在做用戶場景推薦更多，結(jié)合他買過什么產(chǎn)品給他推薦相關(guān)聯(lián)的產(chǎn)品。

涉及到的指標(biāo)有三個：支持度support、置信度confidence、提升度lift。

假設(shè)有10000個人購買了產(chǎn)品，其中購買A產(chǎn)品的人是1000個，購買B產(chǎn)品的人是2000個，AB同時購買的人是800個。支持度指的是關(guān)聯(lián)的產(chǎn)品（假定A產(chǎn)品和B產(chǎn)品關(guān)聯(lián)）同時購買的人數(shù)占總?cè)藬?shù)的比例，即800/10000=8%，有8%的用戶同時購買了A和B兩個產(chǎn)品；置信度指的是在購買了一個產(chǎn)品之后購買另外一個產(chǎn)品的可能性，例如購買了A產(chǎn)品之后購買B產(chǎn)品的可信度=800/1000=80%，即80%的用戶在購買了A產(chǎn)品之后會購買B產(chǎn)品；提升度就是在購買A產(chǎn)品這個條件下購買B產(chǎn)品的可能性與沒有這個條件下購買B產(chǎn)品的可能性之比，沒有任何條件下購買B產(chǎn)品可能性=2000/10000=20%，那么提升度=80%/20%=4。

常用到得算法apriori、FP-growth等。