基于矩陣分解的隱因子模型

推薦系統(tǒng)是現(xiàn)今廣泛運(yùn)用的一種數(shù)據(jù)分析方法。常見的如，“你關(guān)注的人也關(guān)注他”，“喜歡這個物品的用戶還喜歡。?！薄澳阋苍S會喜歡”等等。

常見的推薦系統(tǒng)分為基于內(nèi)容的推薦與基于歷史記錄的推薦。

基于內(nèi)容的推薦，關(guān)鍵在于提取到有用的用戶，物品信息，以此為特征向量來進(jìn)行分類，回歸。

基于歷史記錄的推薦，記錄用戶的評分，點(diǎn)擊，收藏等等行為，以此來判斷。

基于內(nèi)容的推薦對于用戶物品的信息收集度要求比較高，而許多情況下很難得到那么多的有用信息。而基于歷史記錄的方法，則利用一些常見的歷史記錄，相比與基于內(nèi)容的方法，數(shù)據(jù)的收集比較容易。

協(xié)同過濾廣泛運(yùn)用在推薦系統(tǒng)中。一般的方式是通過相似性度量，得到相似的用戶集合，或者相似的物品集合，然后據(jù)此來進(jìn)行推薦。

Amazon的圖書推薦系統(tǒng)就是使用的基于物品相似性的推薦，“我猜你還喜歡**物品”。

不過，簡單的協(xié)同過濾效果不是很好，我們或考慮用戶聚類，得到基于用戶的協(xié)同過濾；或只考慮物品聚類，得到基于物品的協(xié)同過濾。

有人提出了基于矩陣分解（SVD）的隱因子模型（Latent Factor Model）。

隱因子模型通過假設(shè)一個隱因子空間，分別得到用戶，物品的類別矩陣，然后通過矩陣相乘得到最后的結(jié)果。在實(shí)踐中，LFM的效果會高于一般的協(xié)同過濾算法。

1.      LFM基本方法

我們用user1,2,3表示用戶，item 1,2,3表示物品，Rij表示用戶i對于物品j的評分，也就是喜好度。那么我們需要得到一個關(guān)于用戶-物品的二維矩陣，如下面的R。

常見的系統(tǒng)中，R是一個非常稀疏的矩陣，因?yàn)槲覀儾豢赡艿玫剿杏脩魧τ谒形锲返脑u分。于是利用稀疏的R，填充得到一個滿矩陣R’就是我們的目的。

在協(xié)同過濾中，我們通常會假設(shè)一些用戶，或者一些物品屬于一個類型，通過類型來推薦。這這里，我們也可以假設(shè)類（class），或者說是因子（factor）。我們假設(shè)用戶對于特定的因子有一定的喜好度，并且物品對于特定的因子有一定的包含度。

比如，用戶對于喜劇，武打的喜好度為1,5；而物品對于喜劇，武打的包含度為5,1；那么我們可以大概地判斷用戶不會喜歡這部電影。

也就是我們?nèi)藶榈爻橄蟪鲆粋€隱形因子空間，然后把用戶和物品分別投影到這個空間上，來直接尋找用戶-物品的喜好度。

一個簡單的二維隱因子空間示意圖如下：

上圖以男-女；輕松-嚴(yán)肅；兩個維度作為隱因子，把用戶和電影投影到這個二維空間上。

上面的問題，我們用數(shù)學(xué)的方法描述，就是寫成如下的矩陣：

P表示用戶對于某個隱因子的喜好度；Q表示物品對于某個隱因子的包含度。我們使用矩陣相乘得到用戶-物品喜好度。

正如上面所說，R是一個稀疏的矩陣，我們通過R中的已知值，得到P,Q后，再相乘，反過來填充R矩陣，最后得到一個滿的R矩陣。

于是隱因子模型轉(zhuǎn)化為矩陣分解問題，常見的有SVD，以及下面的一些方法。

下面介紹具體的方法

2.      Batch learning of SVD

設(shè)已知評分矩陣V，I為索引矩陣，I（I,j）=1表示V中的對應(yīng)元素為已知。U，M分別表示用戶-factor，物品-factor矩陣。

于是，我們先用V分解為U*M，目標(biāo)函數(shù)如下：

第一項(xiàng)為最小二乘誤差，P可以簡單理解為點(diǎn)乘；

第二項(xiàng)，第三項(xiàng)為防止過擬合的正則化項(xiàng)。

求解上述的優(yōu)化問題，可以用梯度下降法。計(jì)算得負(fù)梯度方向如下：

我們每次迭代，先計(jì)算得到U，M的負(fù)梯度方向，然后更新U,M；多次迭代，直至收斂。

這種方法的缺點(diǎn)是對于大的稀疏矩陣來說，有很大的方差，要很小的收斂速度才能保證收斂。

改進(jìn)：可以考慮加入一個動量因子，來加速其收斂速度：

3.      Incomplete incremental learning of SVD

上述的方法對于大的稀疏矩陣來說，不是很好的方法。

于是，我們細(xì)化求解過程。

改進(jìn)后的最優(yōu)化目標(biāo)函數(shù)如下：

也就是，我們以V的行為單位，每次最優(yōu)化每一行，從而降低batch learning的方差。

負(fù)梯度方向：

4.      Complete incremental learning of SVD

同樣的，根據(jù)incrementlearning的減少方差的思想，我們可以再次細(xì)化求解過程。

以V的已知元素為單位，求解。

最優(yōu)化目標(biāo)函數(shù)如下：

每次迭代，我們遍歷每個V中的已知元素，求得一個負(fù)梯度方向，更行U,M;

隱因子模型還有相應(yīng)的其他變化版本，如compound SVD，implicit feedback SVD等，放在下一篇blog里。