來(lái)源：AI入門(mén)學(xué)習(xí)

作者：小伍哥

一、基礎(chǔ)概念

1、算法概述

關(guān)聯(lián)規(guī)則挖掘可以讓我們從數(shù)據(jù)集中發(fā)現(xiàn)項(xiàng)與項(xiàng)（item 與 item）之間的關(guān)系，它在我們的生活中有很多應(yīng)用場(chǎng)景，“購(gòu)物籃分析”就是一個(gè)常見(jiàn)的場(chǎng)景，這個(gè)場(chǎng)景可以從消費(fèi)者交易記錄中發(fā)掘商品與商品之間的關(guān)聯(lián)關(guān)系，進(jìn)而通過(guò)商品捆綁銷(xiāo)售或者相關(guān)推薦的方式帶來(lái)更多的銷(xiāo)售量。所以說(shuō)，關(guān)聯(lián)規(guī)則挖掘是個(gè)非常有用的技術(shù)。

關(guān)聯(lián)規(guī)則是反映一個(gè)事物與其他事物之間的相互依存性和關(guān)聯(lián)性，常用于實(shí)體商店或在線電商的推薦系統(tǒng)：通過(guò)對(duì)顧客的購(gòu)買(mǎi)記錄數(shù)據(jù)庫(kù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘，最終目的是發(fā)現(xiàn)顧客群體的購(gòu)買(mǎi)習(xí)慣的內(nèi)在共性，例如購(gòu)買(mǎi)產(chǎn)品A的同時(shí)也連帶購(gòu)買(mǎi)產(chǎn)品B的概率，根據(jù)挖掘結(jié)果，調(diào)整貨架的布局陳列、設(shè)計(jì)促銷(xiāo)組合方案，實(shí)現(xiàn)銷(xiāo)量的提升，最經(jīng)典的應(yīng)用案例莫過(guò)于<啤酒和尿布>。

關(guān)聯(lián)分析又稱關(guān)聯(lián)挖掘，就是在交易數(shù)據(jù)、關(guān)系數(shù)據(jù)或其他信息載體中，查找存在于項(xiàng)目集合或?qū)ο蠹现g的頻繁模式、關(guān)聯(lián)、相關(guān)性或因果結(jié)構(gòu)。能從大量數(shù)據(jù)中發(fā)現(xiàn)項(xiàng)集之間有趣的關(guān)聯(lián)和相關(guān)聯(lián)系。關(guān)聯(lián)分析的一個(gè)典型例子是購(gòu)物籃分析。該過(guò)程通過(guò)發(fā)現(xiàn)顧客放人其購(gòu)物籃中的不同商品之間的聯(lián)系，分析顧客的購(gòu)買(mǎi)習(xí)慣。通過(guò)了解哪些商品頻繁地被顧客同時(shí)購(gòu)買(mǎi)，這種關(guān)聯(lián)的發(fā)現(xiàn)可以幫助零售商制定營(yíng)銷(xiāo)策略。其他的應(yīng)用還包括價(jià)目表設(shè)計(jì)、商品促銷(xiāo)、商品的排放和基于購(gòu)買(mǎi)模式的顧客劃分。

可從數(shù)據(jù)庫(kù)中關(guān)聯(lián)分析出形如“由于某些事件的發(fā)生而引起另外一些事件的發(fā)生”之類(lèi)的規(guī)則。如“67%的顧客在購(gòu)買(mǎi)啤酒的同時(shí)也會(huì)購(gòu)買(mǎi)尿布”，因此通過(guò)合理的啤酒和尿布的貨架擺放或捆綁銷(xiāo)售可提高超市的服務(wù)質(zhì)量和效益。又如“C語(yǔ)言課程優(yōu)秀的同學(xué)，在學(xué)習(xí)‘數(shù)據(jù)結(jié)構(gòu)’時(shí)為優(yōu)秀的可能性達(dá)88%”，那么就可以通過(guò)強(qiáng)化“C語(yǔ)言”的學(xué)習(xí)來(lái)提高教學(xué)效果。

2、應(yīng)用場(chǎng)景

01）互聯(lián)網(wǎng)推薦

個(gè)性化推薦：在界面上給用戶推薦相關(guān)商品

組合優(yōu)惠券：給購(gòu)買(mǎi)過(guò)得用戶發(fā)放同時(shí)購(gòu)買(mǎi)組合內(nèi)商品的優(yōu)惠券

捆綁銷(xiāo)售：將相關(guān)商品組合起來(lái)銷(xiāo)售

02）線下店鋪分析

商品配置分析：哪些商品可以一起購(gòu)買(mǎi),關(guān)聯(lián)商品如何陳列/促銷(xiāo)

客戶需求分析：分析顧客的購(gòu)買(mǎi)習(xí)慣/顧客購(gòu)買(mǎi)商品的時(shí)間/地點(diǎn)等

3）金融保險(xiǎn)

經(jīng)由購(gòu)物籃分析能夠設(shè)計(jì)不同的服務(wù)組合以擴(kuò)大利潤(rùn)；能藉由購(gòu)物籃分析偵測(cè)出可能不尋常的投保組合并作預(yù)防。

4）風(fēng)控領(lǐng)域

分析同時(shí)行動(dòng)的賬號(hào)、尋找有效的策略組合

3、幾個(gè)概念

關(guān)聯(lián)規(guī)則三個(gè)核心概念：支持度、置信度、提升度，用最經(jīng)典的啤酒-尿不濕給大家舉例說(shuō)明這三個(gè)概念，以下是幾名客戶購(gòu)買(mǎi)的商品列表：

01）支持度

支持度 (Support)：指某個(gè)商品組合出現(xiàn)的次數(shù)與總次數(shù)之間的比例。

在這個(gè)例子中，我們可以看到“牛奶”出現(xiàn)了 4 次，那么這 5 筆訂單中“牛奶”的支持度就是 4/5=0.8。

同樣“牛奶 + 面包”出現(xiàn)了 3 次，那么這 5 筆訂單中“牛奶 + 面包”的支持度就是 3/5=0.6

這樣理解起來(lái)是不是非常簡(jiǎn)單了呢，大家可以動(dòng)動(dòng)手計(jì)算下 '尿不濕+啤酒'的支持度是多少

02）置信度

置信度 (Confidence)：指的就是當(dāng)你購(gòu)買(mǎi)了商品 A，會(huì)有多大的概率購(gòu)買(mǎi)商品 B

置信度（牛奶→啤酒）= 3/4=0.75，代表如果你購(gòu)買(mǎi)了牛奶，有多大的概率會(huì)購(gòu)買(mǎi)啤酒

置信度（啤酒→牛奶）= 3/4=0.75，代表如果你購(gòu)買(mǎi)了啤酒，有多大的概率會(huì)購(gòu)買(mǎi)牛奶？

置信度（啤酒→尿不濕）= 4/4=1.0，代表如果你購(gòu)買(mǎi)了啤酒，有多大的概率會(huì)買(mǎi)尿不濕

由上面的例子可以看出，置信度是個(gè)條件概念，就是說(shuō)在 A 發(fā)生的情況下，B 發(fā)生的概率是多少。

03）提升度

提升度 (Lift)：我們?cè)谧?a href='/map/shangpintuijian/' style='color:#000;font-size:inherit;'>商品推薦或者策略的時(shí)候，重點(diǎn)考慮的是提升度，因?yàn)樘嵘却淼氖巧唐?A 的出現(xiàn)，對(duì)商品 B 的出現(xiàn)概率提升的程度。

提升度 (A→B) = 置信度 (A→B)/ 支持度 (B)

所以提升度有三種可能：

提升度 (A→B)>1：代表有提升；

提升度 (A→B)=1：代表有沒(méi)有提升，也沒(méi)有下降；

提升度 (A→B)<1：代表有下降。

提升度 (啤酒→尿不濕) =置信度 (啤酒→尿不濕）/支持度 (尿不濕)=1.0/0.8=1.25

可見(jiàn)啤酒對(duì)尿不濕是有提升的，提升度為1.25，其實(shí)可以簡(jiǎn)單理解為：在全集的情況下，尿不濕的概率為0.8，

而在包含啤酒這個(gè)子集中，尿不濕的概率為1，因此，子集的限定，提高了尿不濕的概率。

04）頻繁項(xiàng)集

頻繁項(xiàng)集(frequent itemset) ：就是支持度大于等于最小支持度 (Min Support) 閾值的項(xiàng)集，

所以小于最小值支持度的項(xiàng)目就是非頻繁項(xiàng)集，而大于等于最小支持度的的項(xiàng)集就是頻繁項(xiàng)集。項(xiàng)集可以是單個(gè)商品，也可以是組合

Apriori算法核心思想：

某個(gè)項(xiàng)集是頻繁的，那么它的所有子集也是頻繁的。

{Milk, Bread, Coke} is frequent → {Milk, Coke} is frequent

如果一個(gè)項(xiàng)集是 非頻繁項(xiàng)集，那么它的所有超集也是非頻繁項(xiàng)集

{Battery} is infrequent → {Milk, Battery} is infrequent

如圖所示，我們發(fā)現(xiàn){A,B}這個(gè)項(xiàng)集是非頻繁的，那么{A,B}這個(gè)項(xiàng)集的超集，{A,B,C},{A,B,D}等等也都是非頻繁的，這些就都可以忽略不去計(jì)算。

運(yùn)用Apriori算法的思想，我們就能去掉很多非頻繁的項(xiàng)集，大大簡(jiǎn)化計(jì)算量。

二、算法介紹

這里用的是Python舉例，用的包是apriori，當(dāng)然R語(yǔ)言等其他語(yǔ)言，也有對(duì)應(yīng)的算法包，原來(lái)都是一樣的。

#包安裝 pip install efficient-apriori #加載包 from efficient_apriori import apriori # 

構(gòu)造數(shù)據(jù)集 data = [('牛奶','面包','尿不濕','啤酒','榴蓮'),
        ('可樂(lè)','面包','尿不濕','啤酒','牛仔褲'),
        ('牛奶','尿不濕','啤酒','雞蛋','咖啡'),
        ('面包','牛奶','尿不濕','啤酒','睡衣'),
        ('面包','牛奶','尿不濕','可樂(lè)','雞翅')] #挖掘頻繁項(xiàng)集和頻繁規(guī)則 itemsets, rules = 

apriori(data, min_support=0.6,  min_confidence=1) #頻繁項(xiàng)集 print(itemsets)
{1: {('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}, 2: {('啤酒', '尿不濕'): 4,

 ('啤酒', '牛奶'): 3, ('啤酒', '面包'): 3, ('尿不濕', '牛奶'): 4, ('尿不濕', '面包'): 4,

 ('牛奶', '面包'): 3}, 3: {('啤酒', '尿不濕', '牛奶'): 3, ('啤酒', '尿不濕', '面包'): 3, 

('尿不濕', '牛奶', '面包'): 3}}
itemsets[1] #滿足條件的一元組合 {('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}
itemsets[2]#滿足條件的二元組合 {('啤酒', '尿不濕'): 4,('啤酒', '牛奶'): 3,('啤酒', '面包'): 

3,('尿不濕', '牛奶'): 4,('尿不濕', '面包'): 4,('牛奶', '面包'): 3}
itemsets[3]#滿足條件的三元組合 {('啤酒', '尿不濕', '牛奶'): 3, ('啤酒', '尿不濕', '面包'): 

3, ('尿不濕', '牛奶', '面包'): 3} #頻繁規(guī)則 print(rules)
[{啤酒} -> {尿不濕}, {牛奶} -> {尿不濕}, {面包} -> {尿不濕}, {啤酒, 牛奶} -> 

{尿不濕}, {啤酒, 面包} -> {尿不濕}, {牛奶, 面包} -> {尿不濕}]

三、挖掘?qū)嵗?

每個(gè)導(dǎo)演都有自己的偏好、比如周星馳有星女郎，張藝謀有謀女郎，且鞏俐經(jīng)常在張藝謀的電影里面出現(xiàn)，因此，每個(gè)導(dǎo)演對(duì)演員的選擇都有一定的偏愛(ài)，我們以寧浩導(dǎo)演為例，分析下選擇演員的一些偏好，沒(méi)有找到公開(kāi)的數(shù)據(jù)集，自己手動(dòng)扒了一部分，大概如下，有些實(shí)在有點(diǎn)多，于是簡(jiǎn)化下進(jìn)行分析

可以看到，我們一共扒了9部電影，計(jì)算的時(shí)候，支持度的時(shí)候，總數(shù)就是9.

#把電影數(shù)據(jù)轉(zhuǎn)換成列表 data = [['葛優(yōu)','黃渤','范偉','鄧超','沈騰','張占義','

王寶強(qiáng)','徐崢','閆妮','馬麗'],
['黃渤','張譯','韓昊霖','杜江','葛優(yōu)','劉昊然','宋佳','王千源','任素汐','吳京'],
['郭濤','劉樺','連晉','黃渤','徐崢','優(yōu)恵','羅蘭','王迅'],
['黃渤','舒淇','王寶強(qiáng)','張藝興','于和偉','王迅','李勤勤','李又麟','寧浩','管虎','梁靜','

徐崢','陳德森','張磊'],
['黃渤','沈騰','湯姆·派福瑞','馬修·莫里森','徐崢','于和偉','雷佳音','劉樺','鄧飛','

蔡明凱','王戈','凱特·納爾遜','王硯偉','呲路'],
['徐崢','黃渤','余男','多布杰','王雙寶','巴多','楊新鳴','郭虹','陶虹','黃精一','趙虎','王輝'],
['黃渤','戎祥','九孔','徐崢','王雙寶','巴多','董立范','高捷','馬少驊','王迅','劉剛','

WorapojThuantanon','趙奔','李麒麟','姜志剛','王鷺','寧浩'],
['黃渤','徐崢','袁泉','周冬雨','陶慧','岳小軍','沈騰','張儷','馬蘇','劉美含','王硯輝','焦俊艷','郭濤'],
['雷佳音','陶虹','程媛媛','山崎敬一','郭濤','范偉','孫淳','劉樺','黃渤','岳小軍','傅亨','王文','楊新鳴']]

#算法應(yīng)用 itemsets, rules = apriori(data, min_support=0.5,  min_confidence=1) print(itemsets)
{1: {('徐崢',): 7, ('黃渤',): 9}, 2: {('徐崢', '黃渤'): 7}} print(rules)
[{徐崢} -> {黃渤}]

通過(guò)上述分析可以看出：

在寧浩的電影中，用的最多的是黃渤和徐崢，黃渤9次，支持度100%，徐崢7次，支持度78%，('徐崢', '黃渤') 同時(shí)出現(xiàn)7次，置信度為100%，看來(lái)有徐崢，必有黃渤，真是寧浩必請(qǐng)的黃金搭檔。

當(dāng)然，這個(gè)數(shù)據(jù)量比較小，基本上肉眼也能看出來(lái)，這里只是提供一個(gè)分析案例，鞏固下基礎(chǔ)知識(shí)，大規(guī)模的數(shù)據(jù)，人眼無(wú)法直接感知的時(shí)候，算法的挖掘與發(fā)現(xiàn)，就顯得特別有意義了。