文本主題模型之潛在語(yǔ)義索引(LSI)

在文本挖掘中，主題模型是比較特殊的一塊，它的思想不同于我們常用的機(jī)器學(xué)習(xí)算法，因此這里我們需要專門來(lái)總結(jié)文本主題模型的算法。本文關(guān)注于潛在語(yǔ)義索引算法(LSI)的原理。

1. 文本主題模型的問題特點(diǎn)

在數(shù)據(jù)分析中，我們經(jīng)常會(huì)進(jìn)行非監(jiān)督學(xué)習(xí)的聚類算法，它可以對(duì)我們的特征數(shù)據(jù)進(jìn)行非監(jiān)督的聚類。而主題模型也是非監(jiān)督的算法，目的是得到文本按照主題的概率分布。從這個(gè)方面來(lái)說，主題模型和普通的聚類算法非常的類似。但是兩者其實(shí)還是有區(qū)別的。

聚類算法關(guān)注于從樣本特征的相似度方面將數(shù)據(jù)聚類。比如通過數(shù)據(jù)樣本之間的歐式距離，曼哈頓距離的大小聚類等。而主題模型，顧名思義，就是對(duì)文字中隱含主題的一種建模方法。比如從“人民的名義”和“達(dá)康書記”這兩個(gè)詞我們很容易發(fā)現(xiàn)對(duì)應(yīng)的文本有很大的主題相關(guān)度，但是如果通過詞特征來(lái)聚類的話則很難找出，因?yàn)?a href='/map/julei/' style='color:#000;font-size:inherit;'>聚類方法不能考慮到到隱含的主題這一塊。

那么如何找到隱含的主題呢？這個(gè)一個(gè)大問題。常用的方法一般都是基于統(tǒng)計(jì)學(xué)的生成方法。即假設(shè)以一定的概率選擇了一個(gè)主題，然后以一定的概率選擇當(dāng)前主題的詞。最后這些詞組成了我們當(dāng)前的文本。所有詞的統(tǒng)計(jì)概率分布可以從語(yǔ)料庫(kù)獲得，具體如何以“一定的概率選擇”，這就是各種具體的主題模型算法的任務(wù)了。

當(dāng)然還有一些不是基于統(tǒng)計(jì)的方法，比如我們下面講到的LSI。

2. 潛在語(yǔ)義索引(LSI)概述

潛在語(yǔ)義索引(Latent Semantic Indexing,以下簡(jiǎn)稱LSI)，有的文章也叫Latent Semantic  Analysis（LSA）。其實(shí)是一個(gè)東西，后面我們統(tǒng)稱LSI，它是一種簡(jiǎn)單實(shí)用的主題模型。LSI是基于奇異值分解（SVD）的方法來(lái)得到文本的主題的。而SVD及其應(yīng)用我們?cè)谇懊娴奈恼乱捕啻沃v到，比如：奇異值分解(SVD)原理與在降維中的應(yīng)用和矩陣分解在協(xié)同過濾推薦算法中的應(yīng)用。如果大家對(duì)SVD還不熟悉，建議復(fù)習(xí)奇異值分解(SVD)原理與在降維中的應(yīng)用后再讀下面的內(nèi)容。

這里我們簡(jiǎn)要回顧下SVD：對(duì)于一個(gè)m×n的矩陣A，可以分解為下面三個(gè)矩陣：

Am×n=Um×mΣm×nVn×nT

有時(shí)為了降低矩陣的維度到k，SVD的分解可以近似的寫為：

Am×n≈Um×kΣk×kVk×nT

如果把上式用到我們的主題模型，則SVD可以這樣解釋：我們輸入的有m個(gè)文本，每個(gè)文本有n個(gè)詞。而Aij則對(duì)應(yīng)第i個(gè)文本的第j個(gè)詞的特征值，這里最常用的是基于預(yù)處理后的標(biāo)準(zhǔn)化TF-IDF值。k是我們假設(shè)的主題數(shù)，一般要比文本數(shù)少。SVD分解后，Uil對(duì)應(yīng)第i個(gè)文本和第l個(gè)主題的相關(guān)度。Vjm對(duì)應(yīng)第j個(gè)詞和第m個(gè)詞義的相關(guān)度。Σlm對(duì)應(yīng)第l個(gè)主題和第m個(gè)詞義的相關(guān)度。

也可以反過來(lái)解釋：我們輸入的有m個(gè)詞，對(duì)應(yīng)n個(gè)文本。而Aij則對(duì)應(yīng)第i個(gè)詞檔的第j個(gè)文本的特征值，這里最常用的是基于預(yù)處理后的標(biāo)準(zhǔn)化TF-IDF值。k是我們假設(shè)的主題數(shù)，一般要比文本數(shù)少。SVD分解后，Uil對(duì)應(yīng)第i個(gè)詞和第l個(gè)詞義的相關(guān)度。Vjm對(duì)應(yīng)第j個(gè)文本和第m個(gè)主題的相關(guān)度。Σlm對(duì)應(yīng)第l個(gè)詞義和第m個(gè)主題的相關(guān)度。

這樣我們通過一次SVD，就可以得到文檔和主題的相關(guān)度，詞和詞義的相關(guān)度以及詞義和主題的相關(guān)度。

3. LSI簡(jiǎn)單實(shí)例

這里舉一個(gè)簡(jiǎn)單的LSI實(shí)例，假設(shè)我們有下面這個(gè)有10個(gè)詞三個(gè)文本的詞頻TF對(duì)應(yīng)矩陣如下：

這里我們沒有使用預(yù)處理，也沒有使用TF-IDF，在實(shí)際應(yīng)用中最好使用預(yù)處理后的TF-IDF值矩陣作為輸入。

我們假定對(duì)應(yīng)的主題數(shù)為2，則通過SVD降維后得到的三矩陣為：

從矩陣Uk我們可以看到詞和詞義之間的相關(guān)性。而從Vk可以看到3個(gè)文本和兩個(gè)主題的相關(guān)性。大家可以看到里面有負(fù)數(shù)，所以這樣得到的相關(guān)度比較難解釋。

4. LSI用于文本相似度計(jì)算

在上面我們通過LSI得到的文本主題矩陣可以用于文本相似度計(jì)算。而計(jì)算方法一般是通過余弦相似度。比如對(duì)于上面的三文檔兩主題的例子。我們可以計(jì)算第一個(gè)文本和第二個(gè)文本的余弦相似度如下 ：

LSI是最早出現(xiàn)的主題模型了，它的算法原理很簡(jiǎn)單，一次奇異值分解就可以得到主題模型，同時(shí)解決詞義的問題，非常漂亮。但是LSI有很多不足，導(dǎo)致它在當(dāng)前實(shí)際的主題模型中已基本不再使用。

主要的問題有：

1） SVD計(jì)算非常的耗時(shí)，尤其是我們的文本處理，詞和文本數(shù)都是非常大的，對(duì)于這樣的高維度矩陣做奇異值分解是非常難的。

2） 主題值的選取對(duì)結(jié)果的影響非常大，很難選擇合適的k值。

3） LSI得到的不是一個(gè)概率模型，缺乏統(tǒng)計(jì)基礎(chǔ)，結(jié)果難以直觀的解釋。

對(duì)于問題1），主題模型非負(fù)矩陣分解（NMF）可以解決矩陣分解的速度問題。對(duì)于問題2），這是老大難了，大部分主題模型的主題的個(gè)數(shù)選取一般都是憑經(jīng)驗(yàn)的，較新的層次狄利克雷過程（HDP）可以自動(dòng)選擇主題個(gè)數(shù)。對(duì)于問題3），牛人們整出了pLSI(也叫pLSA)和隱含狄利克雷分布(LDA)這類基于概率分布的主題模型來(lái)替代基于矩陣分解的主題模型。

回到LSI本身，對(duì)于一些規(guī)模較小的問題，如果想快速粗粒度的找出一些主題分布的關(guān)系，則LSI是比較好的一個(gè)選擇，其他時(shí)候，如果你需要使用主題模型，推薦使用LDA和HDP。