
數(shù)據(jù)挖掘系列關(guān)聯(lián)規(guī)則評價
前面我們討論的關(guān)聯(lián)規(guī)則都是用支持度和自信度來評價的,如果一個規(guī)則的自信度高,我們就說它是一條強規(guī)則,但是自信度和支持度有時候并不能度量規(guī)則的實際意義和業(yè)務(wù)關(guān)注的興趣點。
一個誤導(dǎo)我們的強規(guī)則
看這樣一個例子,我們分析一個購物籃數(shù)據(jù)中購買游戲光碟和購買影片光碟之間的關(guān)聯(lián)關(guān)系。交易數(shù)據(jù)集共有10,000條記錄,其中購買6000條包含游戲光碟,7500條包含影片光碟,4000條既包含游戲光碟又包含影片光碟。數(shù)據(jù)集如下表所示:
買游戲 | 不買游戲 | 行總計 | |
買影片 | 4000 | 3500 | 7500 |
不買影片 | 2000 | 500 | 2500 |
列總計 | 6000 | 4000 | 10000 |
假設(shè)我們設(shè)置得最小支持度為30%,最小自信度為60%。從上面的表中,可以得到:support(買游戲光碟—>買影片光碟)=4000/10000=40%,confidence(買游戲光碟—>買影片光碟)=4000/7500*100%=66%(寫錯了,應(yīng)該是4000/6000)。這條規(guī)則的支持度和自信度都滿足要求,因此我們很興奮,我們找到了一條強規(guī)則,于是我們建議超市把影片光碟和游戲光碟放在一起,可以提高銷量。
可是我們想想,一個喜歡的玩游戲的人會有時間看影片么,這個規(guī)則是不是有問題,事實上這條規(guī)則誤導(dǎo)了我們。在整個數(shù)據(jù)集中買影片光碟的概率p(買影片)=7500/10000=75%,而買游戲的人也買影片的概率只有66%,66%<75%恰恰說明了買游戲光碟抑制了影片光碟的購買,也就是說買了游戲光碟的人更傾向于不買影片光碟,這才是符合現(xiàn)實的。
從上面的例子我們看到,支持度和自信度并不能過成功濾掉那些我們不感興趣的規(guī)則,因此我們需要一些新的評價標準,下面介紹六中評價標準:相關(guān)性系數(shù),卡方指數(shù),全自信度、最大自信度、Kulc、cosine距離。
相關(guān)性系數(shù)lift
從上面游戲和影片的例子中,我們可以看到游戲和影片不是正相關(guān)的,因此用相關(guān)性度量關(guān)聯(lián)規(guī)則可以過濾這樣的規(guī)則,對于規(guī)則A—>B或者B—>A,lift(A,B)=P(A交B)/(P(A)*P(B)),如果lift(A,B)>1表示A、B呈正相關(guān),lift(A,B)<1表示A、B呈負相關(guān),lift(A,B)=1表示A、B不相關(guān)(獨立)。實際運用中,正相關(guān)和負相關(guān)都是我們需要關(guān)注的,而獨立往往是我們不需要的,兩個商品都沒有相互影響也就是不是強規(guī)則,lift(A,B)等于1的情形也很少,一般只要接近于1我們就認為是獨立了。
注意相關(guān)系數(shù)只能確定相關(guān)性,相關(guān)不是因果,所以A—>B或者B—>A兩個規(guī)則的相關(guān)系數(shù)是一樣的,另外lift(A,B)=P(A交B)/(P(A)*P(B))=P(A)*P(B|A)/(P(A)*P(B))=P(B|A)/P(B)=confidence(A—>B)/support(B)=confidence(B—>A)/support(A)。
卡方系數(shù)
卡方分布是數(shù)理統(tǒng)計中的一個重要分布,利用卡方系數(shù)我們可以確定兩個變量是否相關(guān)??ǚ较禂?shù)的定義:
公式中的observed表示數(shù)據(jù)的實際值,expected表示期望值,不理解沒關(guān)系,我們看一個例子就明白了。
買游戲 | 不買游戲 | 行總計 | |
買影片 | 4000(4500) | 3500(3000) | 7500 |
不買影片 | 2000(1500) | 500(1000) | 2500 |
列總計 | 6000 | 4000 | 10000 |
上面表格的括號中表示的是期望值,(買影片,買游戲)的期望值E=6000*(7500/10000)=4500,總體記錄中有75%的人買影片,而買游戲的有6000人,于是我們期望這6000人中有75%(即4500)的人買影片。其他三個值可以類似計算得到?,F(xiàn)在我們計算一下,買游戲與買影片的卡方系數(shù):
卡方系數(shù)X=(4000-4500)^2/4500+(3500-3000)^2/3000+(2000-1500)^2/1500+(500-1000)^2/1000=555.6。
卡方系數(shù)需要查表才能確定值的意義,基于置信水平和自由度(r-1)*(c-1)=(行數(shù)-1)*(列數(shù)-1)=1,查表得到自信度為(1-0.001)的值為6.63,555.6大于6.63,因此拒絕A、B獨立的假設(shè),即認為A、B是相關(guān)的,而expected(買影片,買游戲)=4500>4000,因此認為A、B呈負相關(guān)。這里需要一定的概率統(tǒng)計知識。如果覺得不好理解,可以用其他的評價標準。
全自信度
全自信度all_confidence的定義如下:all_confidence(A,B)=P(A交B)/max{P(A),P(B)}
=min{P(B|A),P(A|B)}
=min{confidence(A—>B),confidence(B—>A)}
對于前面的例子,all_confidence(買游戲,買影片)=min{confidence(買游戲—>買影片),confidence(買影片—>買游戲)}=min{66%,53.3%}=53.3%??梢钥闯鋈孕哦炔皇橐粋€好的衡量標準。
最大自信度
最大自信度則與全自信度相反,求的不是最小的支持度而是最大的支持度,max_confidence(A,B)=max{confidence(A—>B),confidence(B—>A)},不過感覺最大自信度不太實用。
Kulc
Kulc系數(shù)就是對兩個自信度做一個平均處理:kulc(A,B)=(confidence(A—>B)+confidence(B—>A))/2。,kulc系數(shù)是一個很好的度量標準,稍后的對比我們會看到。
cosine(A,B)
cosine(A,B)=P(A交B)/sqrt(P(A)*P(B))=sqrt(P(A|B)*P(B|A))=sqrt(confidence(A—>B)*confidence(B—>A))
七個評價準則的比較
這里有這么多的評價標準,究竟哪些好,哪些能夠準確反應(yīng)事實,我們來看一組對比。
milk | milk | 行總計 | |
coffee | MC | MC | C |
coffee | MC | MC | C |
列總計 | M | M | total |
上表中,M表示購買了牛奶、C表示購買了咖啡,M表示不購買牛奶,C表示不購買咖啡,下面來看6個不同的數(shù)據(jù)集,各個度量標準的值
數(shù)據(jù)
|
MC | MC | MC | MC | total | C->M自信度 | M->C自信度 | 卡方 | lift | all_conf | max_conf | Kulc | cosine |
D1 | 10000 | 1000 | 1000 | 100000 | 112000 | 0.91 | 0.91 | 90557 | 9.26 | 0.91 | 0.91 | 0.91 | 0.91 |
D2 | 10000 | 1000 | 1000 | 100 | 12100 | 0.91 | 0.91 | 0 | 1.00 | 0.91 | 0.91 | 0.91 | 0.91 |
D3 | 100 | 1000 | 1000 | 100000 | 102100 | 0.09 | 0.09 | 670 | 8.44 | 0.09 | 0.09 | 0.09 | 0.09 |
D4 | 1000 | 1000 | 1000 | 100000 | 103000 | 0.50 | 0.50 | 24740 | 25.75 | 0.50 | 0.50 | 0.50 | 0.50 |
D5 | 1000 | 100 | 10000 | 100000 | 111100 | 0.91 | 0.09 | 8173 | 9.18 | 0.09 | 0.91 | 0.50 | 0.29 |
D6 | 1000 | 10 | 100000 | 100000 | 201010 | 0.99 | 0.01 | 965 | 1.97 | 0.01 | 0.99 | 0.50 | 0.10 |
我們先來看前面四個數(shù)據(jù)集D1-D4,從后面四列可以看出,D1,D2中milk與coffee是正相關(guān)的,而D3是負相關(guān),D4中是不相關(guān)的,大家可能覺得,D2的lift約等于1應(yīng)該是不相關(guān)的,事實上對比D1你會發(fā)現(xiàn),lift受MC的影響很大,而實際上我們買牛奶和咖啡的相關(guān)性不應(yīng)該取決于不買牛奶和咖啡的交易記錄,這正是lift和卡方的劣勢,容易受到數(shù)據(jù)記錄大小的影響。而全自信度、最大自信度、Kulc、cosine與MC無關(guān),它們不受數(shù)據(jù)記錄大小影響??ǚ胶蚻ift還把D3判別為正相關(guān),而實際上他們應(yīng)該是負相關(guān),M=100+1000=1100,如果這1100中有超過550的購買coffee那么就認為是正相關(guān),而我們看到MC=100<550,可以認為是負相關(guān)的。
上面我們分析了全自信度、最大自信度、Kulc、cosine與空值無關(guān),但這幾個中哪一個更好呢?我們看后面四個數(shù)據(jù)集D4-D6,all_conf與cosine得出相同的結(jié)果,即D4中milk與coffee是獨立的,D5、D6是負相關(guān)的,D5中support(C-->M)=0.91而support(M-->C)=0.09,這樣的關(guān)系,簡單的認為是負相關(guān)或者正相關(guān)都不妥,Kulc做平均處理倒很好,平滑后認為它們是無關(guān)的,我們再引入一個不平衡因子IR(imbalance ratio):
IR(A,B)=|sup(a)-sup(B)|/(sup(A)-sup(B)-sup(A交B))(注:應(yīng)為(sup(A)+sup(B)-sup(A交B))
D4總IR(C,M)=0,非常平衡,D5中IR(C,M)=0.89,不平衡,而D6中IR(C,M)=0.99極度不平衡,我們應(yīng)該看到Kulc值雖然相同但是平衡度不一樣,在實際中應(yīng)該意識到不平衡的可能,根據(jù)業(yè)務(wù)作出判斷,因此這里我們認為Kulc結(jié)合不平衡因子的是較好的評價方法。
另外weka中還使用 Conviction和Leverage。Conviction(A,B) = P(A)P(B)/P(AB), Leverage(A,B) = P(A交B)-P(A)P(B),Leverage是不受空值影響,而Conviction是受空值影響的。
總結(jié)
本文介紹了9個關(guān)聯(lián)規(guī)則評價的準則,其中全自信度、最大自信度、Kulc、cosine,Leverage是不受空值影響的,這在處理大數(shù)據(jù)集是優(yōu)勢更加明顯,因為大數(shù)據(jù)中想MC這樣的空記錄更多,根據(jù)分析我們推薦使用kulc準則和不平衡因子結(jié)合的方法。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03