非一般的數(shù)據(jù)挖掘機(jī):關(guān)聯(lián)規(guī)則法

機(jī)器學(xué)習(xí)中的許多數(shù)據(jù)挖掘"數(shù)據(jù)分析師" 方法主要是針對數(shù)值型數(shù)據(jù)的，算法也很偏向數(shù)理方法（例如支持向量機(jī)）。而分類數(shù)據(jù)（非數(shù)值型數(shù)據(jù)），其本質(zhì)不過是簡單的計數(shù)，針對這類數(shù)據(jù)的一個簡單實(shí) 用的方法就是關(guān)聯(lián)規(guī)則挖掘法，谷歌的MapReduce也為這類算法提供了很好的軟件構(gòu)架。下面我們就來討論一下應(yīng)用關(guān)聯(lián)規(guī)則法的有趣實(shí)例。

關(guān) 聯(lián)規(guī)則法的核心在于研究一些經(jīng)常相伴發(fā)生的事件之間的關(guān)系，特別是當(dāng)他們同時發(fā)生的頻率遠(yuǎn)遠(yuǎn)超出預(yù)期時。它最早被用于超市銷售，因此又被稱為市場購物籃分 析法。舉一個數(shù)據(jù)挖掘教科書中的關(guān)于啤酒和尿布關(guān)聯(lián)性的經(jīng)典案例－去超市買啤酒的男人同時也經(jīng)常買尿布。假如超市銷售量有如下數(shù)據(jù)：

總銷售量：600000

尿布銷售量：7500（1.25%）

啤酒銷售量：60000（10%）

尿布和啤酒共同銷售量：6000（1%）

如 果啤酒和尿布之間沒有關(guān)聯(lián)的話（即他們之間是統(tǒng)計上獨(dú)立的），那么按照啤酒在總銷售量中的比例來計算，我們預(yù)計只有10%的尿布購買者也會買啤酒。但實(shí)際 情況卻是80%（＝6000/7500）的尿布購買者都購買了啤酒，是我們預(yù)計的8倍。這個值在關(guān)聯(lián)規(guī)則法中被稱作電梯值（Lift），即事件X和Y實(shí)際 同時發(fā)生的頻率和預(yù)期同時發(fā)生的頻率之間的比例（Lift=P(x,y)/[P(x)P(y)]）。如果事件X和Y相互獨(dú)立，那么 P(x,y)=P(x)P(y),相應(yīng)的電梯值即為1。而如果X和Y是互斥事件，則會產(chǎn)生小于1 的電梯值。在這個案例中，關(guān)聯(lián)規(guī)則的結(jié)論就是尿布購買者也會購買啤酒的電梯值是8。

以 上是一個假設(shè)的案例，如此高的電梯值在實(shí)際生活中非常罕見，但也絕非不可能。2004年佛羅里達(dá)州經(jīng)歷了一系列颶風(fēng)。第一場颶風(fēng)之后，沃爾瑪利用了他們大 量的銷售數(shù)據(jù)來研究顧客在颶風(fēng)來臨之前會買什么。他們發(fā)現(xiàn)一個商品的銷售量是平時的7倍，這個電梯值在現(xiàn)實(shí)生活中非常高的。這個商品既不是瓶裝水，也不是 電池，啤酒，手電筒，發(fā)電機(jī)等等，而是草莓果醬吐司餅干！吐司餅干之所以在颶風(fēng)來臨之前銷量大增也許是因?yàn)樗恍枰浔４?，不需要烹飪，而且?dú)立包裝， 保質(zhì)期很長，同時本來大家也都很喜歡它。

盡管這個發(fā)現(xiàn)有些出乎意料，但是沃爾瑪利用關(guān)聯(lián)規(guī)則的分析補(bǔ)貨了大量的草莓吐司餅干，創(chuàng)造了一個雙贏的結(jié)果－沃爾瑪大大增加了銷量，顧客買到了滿意的商品。 還有一個大型電子商品零售店也成功地利用關(guān)聯(lián)規(guī)則法增加了商品銷量。商家"數(shù)據(jù)分析師"根據(jù)零售數(shù)據(jù)，發(fā)現(xiàn)許多購買播放器和錄影機(jī)的顧客會在3-4個月后購買攝影機(jī)。于是利用這個關(guān)系，商家會給所有購買播放器或者錄影機(jī)的顧客幾個月后郵寄攝影機(jī)折扣券，由此來吸引更多顧客購買攝影機(jī)。

除 了商業(yè)營銷，關(guān)聯(lián)規(guī)則法在科學(xué)研究上也有很多應(yīng)用。喬治梅森大學(xué)的一位地質(zhì)信息教授利用關(guān)聯(lián)規(guī)則研究了颶風(fēng)的內(nèi)部風(fēng)速，風(fēng)眼氣壓，風(fēng)切變，降雨量，方向和 速度等等因素和颶風(fēng)最終等級之間的關(guān)系，最后成功建立了新的模型可以更精確地預(yù)測颶風(fēng)的等級。還有一位在美國國家航天中心實(shí)習(xí)的高中生利用關(guān)聯(lián)規(guī)則法研究 了太陽風(fēng)暴之后太陽高能粒子到達(dá)地球的時間關(guān)系。他利用衛(wèi)星收集到的太陽風(fēng)暴之后太陽和地球磁場的一些特征因素數(shù)據(jù)，探究了兩者之間關(guān)系隨時間的變化，即 在太陽風(fēng)暴一小時，兩小時，三小時，四小時后，地球磁場的活躍度變化。結(jié)果發(fā)現(xiàn)在太陽風(fēng)暴后2-3小時左右地球磁場最活躍，即太陽高能粒子到達(dá)地球的時 間。

以 上這些例子向我們展示了在做大數(shù)據(jù)挖掘時兩個重要方法： 研究非數(shù)值型數(shù)據(jù)時，我們在挖掘因果關(guān)系之前，可關(guān)注事件之間的關(guān)聯(lián)性； 如果數(shù)據(jù)在隨時間變化，注意事件之間的關(guān)聯(lián)是否會在某個時間點(diǎn)達(dá)到最強(qiáng)。現(xiàn)今越來越多的數(shù)據(jù)被大量收集，科技平臺也越來越發(fā)達(dá)，許多事物之間意想不到的關(guān) 聯(lián)正等待我們發(fā)現(xiàn)。那么就讓我們從計數(shù)開始吧！數(shù)據(jù)分析師培訓(xùn)