非一般的數(shù)據(jù)挖掘機(jī):關(guān)聯(lián)規(guī)則法

機(jī)器學(xué)習(xí)中的許多數(shù)據(jù)挖掘"數(shù)據(jù)分析師" 方法主要是針對(duì)數(shù)值型數(shù)據(jù)的，算法也很偏向數(shù)理方法（例如支持向量機(jī)）。而分類數(shù)據(jù)（非數(shù)值型數(shù)據(jù)），其本質(zhì)不過(guò)是簡(jiǎn)單的計(jì)數(shù)，針對(duì)這類數(shù)據(jù)的一個(gè)簡(jiǎn)單實(shí) 用的方法就是關(guān)聯(lián)規(guī)則挖掘法，谷歌的MapReduce也為這類算法提供了很好的軟件構(gòu)架。下面我們就來(lái)討論一下應(yīng)用關(guān)聯(lián)規(guī)則法的有趣實(shí)例。

關(guān) 聯(lián)規(guī)則法的核心在于研究一些經(jīng)常相伴發(fā)生的事件之間的關(guān)系，特別是當(dāng)他們同時(shí)發(fā)生的頻率遠(yuǎn)遠(yuǎn)超出預(yù)期時(shí)。它最早被用于超市銷售，因此又被稱為市場(chǎng)購(gòu)物籃分 析法。舉一個(gè)數(shù)據(jù)挖掘教科書(shū)中的關(guān)于啤酒和尿布關(guān)聯(lián)性的經(jīng)典案例－去超市買(mǎi)啤酒的男人同時(shí)也經(jīng)常買(mǎi)尿布。假如超市銷售量有如下數(shù)據(jù)：

總銷售量：600000

尿布銷售量：7500（1.25%）

啤酒銷售量：60000（10%）

尿布和啤酒共同銷售量：6000（1%）

如 果啤酒和尿布之間沒(méi)有關(guān)聯(lián)的話（即他們之間是統(tǒng)計(jì)上獨(dú)立的），那么按照啤酒在總銷售量中的比例來(lái)計(jì)算，我們預(yù)計(jì)只有10%的尿布購(gòu)買(mǎi)者也會(huì)買(mǎi)啤酒。但實(shí)際 情況卻是80%（＝6000/7500）的尿布購(gòu)買(mǎi)者都購(gòu)買(mǎi)了啤酒，是我們預(yù)計(jì)的8倍。這個(gè)值在關(guān)聯(lián)規(guī)則法中被稱作電梯值（Lift），即事件X和Y實(shí)際 同時(shí)發(fā)生的頻率和預(yù)期同時(shí)發(fā)生的頻率之間的比例（Lift=P(x,y)/[P(x)P(y)]）。如果事件X和Y相互獨(dú)立，那么 P(x,y)=P(x)P(y),相應(yīng)的電梯值即為1。而如果X和Y是互斥事件，則會(huì)產(chǎn)生小于1 的電梯值。在這個(gè)案例中，關(guān)聯(lián)規(guī)則的結(jié)論就是尿布購(gòu)買(mǎi)者也會(huì)購(gòu)買(mǎi)啤酒的電梯值是8。

以 上是一個(gè)假設(shè)的案例，如此高的電梯值在實(shí)際生活中非常罕見(jiàn)，但也絕非不可能。2004年佛羅里達(dá)州經(jīng)歷了一系列颶風(fēng)。第一場(chǎng)颶風(fēng)之后，沃爾瑪利用了他們大 量的銷售數(shù)據(jù)來(lái)研究顧客在颶風(fēng)來(lái)臨之前會(huì)買(mǎi)什么。他們發(fā)現(xiàn)一個(gè)商品的銷售量是平時(shí)的7倍，這個(gè)電梯值在現(xiàn)實(shí)生活中非常高的。這個(gè)商品既不是瓶裝水，也不是 電池，啤酒，手電筒，發(fā)電機(jī)等等，而是草莓果醬吐司餅干！吐司餅干之所以在颶風(fēng)來(lái)臨之前銷量大增也許是因?yàn)樗恍枰浔４?，不需要烹飪，而且?dú)立包裝， 保質(zhì)期很長(zhǎng)，同時(shí)本來(lái)大家也都很喜歡它。

盡管這個(gè)發(fā)現(xiàn)有些出乎意料，但是沃爾瑪利用關(guān)聯(lián)規(guī)則的分析補(bǔ)貨了大量的草莓吐司餅干，創(chuàng)造了一個(gè)雙贏的結(jié)果－沃爾瑪大大增加了銷量，顧客買(mǎi)到了滿意的商品。 還有一個(gè)大型電子商品零售店也成功地利用關(guān)聯(lián)規(guī)則法增加了商品銷量。商家"數(shù)據(jù)分析師"根據(jù)零售數(shù)據(jù)，發(fā)現(xiàn)許多購(gòu)買(mǎi)播放器和錄影機(jī)的顧客會(huì)在3-4個(gè)月后購(gòu)買(mǎi)攝影機(jī)。于是利用這個(gè)關(guān)系，商家會(huì)給所有購(gòu)買(mǎi)播放器或者錄影機(jī)的顧客幾個(gè)月后郵寄攝影機(jī)折扣券，由此來(lái)吸引更多顧客購(gòu)買(mǎi)攝影機(jī)。

除 了商業(yè)營(yíng)銷，關(guān)聯(lián)規(guī)則法在科學(xué)研究上也有很多應(yīng)用。喬治梅森大學(xué)的一位地質(zhì)信息教授利用關(guān)聯(lián)規(guī)則研究了颶風(fēng)的內(nèi)部風(fēng)速，風(fēng)眼氣壓，風(fēng)切變，降雨量，方向和 速度等等因素和颶風(fēng)最終等級(jí)之間的關(guān)系，最后成功建立了新的模型可以更精確地預(yù)測(cè)颶風(fēng)的等級(jí)。還有一位在美國(guó)國(guó)家航天中心實(shí)習(xí)的高中生利用關(guān)聯(lián)規(guī)則法研究 了太陽(yáng)風(fēng)暴之后太陽(yáng)高能粒子到達(dá)地球的時(shí)間關(guān)系。他利用衛(wèi)星收集到的太陽(yáng)風(fēng)暴之后太陽(yáng)和地球磁場(chǎng)的一些特征因素?cái)?shù)據(jù)，探究了兩者之間關(guān)系隨時(shí)間的變化，即 在太陽(yáng)風(fēng)暴一小時(shí)，兩小時(shí)，三小時(shí)，四小時(shí)后，地球磁場(chǎng)的活躍度變化。結(jié)果發(fā)現(xiàn)在太陽(yáng)風(fēng)暴后2-3小時(shí)左右地球磁場(chǎng)最活躍，即太陽(yáng)高能粒子到達(dá)地球的時(shí) 間。

以 上這些例子向我們展示了在做大數(shù)據(jù)挖掘時(shí)兩個(gè)重要方法： 研究非數(shù)值型數(shù)據(jù)時(shí)，我們?cè)谕诰蛞蚬P(guān)系之前，可關(guān)注事件之間的關(guān)聯(lián)性； 如果數(shù)據(jù)在隨時(shí)間變化，注意事件之間的關(guān)聯(lián)是否會(huì)在某個(gè)時(shí)間點(diǎn)達(dá)到最強(qiáng)?，F(xiàn)今越來(lái)越多的數(shù)據(jù)被大量收集，科技平臺(tái)也越來(lái)越發(fā)達(dá)，許多事物之間意想不到的關(guān) 聯(lián)正等待我們發(fā)現(xiàn)。那么就讓我們從計(jì)數(shù)開(kāi)始吧！數(shù)據(jù)分析師培訓(xùn)