
在文本挖掘中,主題模型是比較特殊的一塊,它的思想不同于我們常用的機器學習算法,因此這里我們需要專門來總結(jié)文本主題模型的算法。本文關(guān)注于潛在語義索引算法(LSI)的原理。
1. 文本主題模型的問題特點
在數(shù)據(jù)分析中,我們經(jīng)常會進行非監(jiān)督學習的聚類算法,它可以對我們的特征數(shù)據(jù)進行非監(jiān)督的聚類。而主題模型也是非監(jiān)督的算法,目的是得到文本按照主題的概率分布。從這個方面來說,主題模型和普通的聚類算法非常的類似。但是兩者其實還是有區(qū)別的。
聚類算法關(guān)注于從樣本特征的相似度方面將數(shù)據(jù)聚類。比如通過數(shù)據(jù)樣本之間的歐式距離,曼哈頓距離的大小聚類等。而主題模型,顧名思義,就是對文字中隱含主題的一種建模方法。比如從“人民的名義”和“達康書記”這兩個詞我們很容易發(fā)現(xiàn)對應(yīng)的文本有很大的主題相關(guān)度,但是如果通過詞特征來聚類的話則很難找出,因為聚類方法不能考慮到到隱含的主題這一塊。
那么如何找到隱含的主題呢?這個一個大問題。常用的方法一般都是基于統(tǒng)計學的生成方法。即假設(shè)以一定的概率選擇了一個主題,然后以一定的概率選擇當前主題的詞。最后這些詞組成了我們當前的文本。所有詞的統(tǒng)計概率分布可以從語料庫獲得,具體如何以“一定的概率選擇”,這就是各種具體的主題模型算法的任務(wù)了。
當然還有一些不是基于統(tǒng)計的方法,比如我們下面講到的LSI。
2. 潛在語義索引(LSI)概述
潛在語義索引(Latent Semantic Indexing,以下簡稱LSI),有的文章也叫Latent Semantic Analysis(LSA)。其實是一個東西,后面我們統(tǒng)稱LSI,它是一種簡單實用的主題模型。LSI是基于奇異值分解(SVD)的方法來得到文本的主題的。而SVD及其應(yīng)用我們在前面的文章也多次講到,比如:奇異值分解(SVD)原理與在降維中的應(yīng)用和矩陣分解在協(xié)同過濾推薦算法中的應(yīng)用。如果大家對SVD還不熟悉,建議復(fù)習奇異值分解(SVD)原理與在降維中的應(yīng)用后再讀下面的內(nèi)容。
這里我們簡要回顧下SVD:對于一個m×n的矩陣
A,可以分解為下面三個矩陣:
有時為了降低矩陣的維度到k,SVD的分解可以近似的寫為:
如果把上式用到我們的主題模型,則SVD可以這樣解釋:我們輸入的有m個文本,每個文本有n個詞。而Aij則對應(yīng)第i個文本的第j個詞的特征值,這里最常用的是基于預(yù)處理后的標準化TF-IDF值。k是我們假設(shè)的主題數(shù),一般要比文本數(shù)少。SVD分解后,
Uil對應(yīng)第i個文本和第l個主題的相關(guān)度。
Vjm對應(yīng)第j個詞和第m個詞義的相關(guān)度。
Σlm對應(yīng)第l個主題和第m個詞義的相關(guān)度。
也可以反過來解釋:我們輸入的有m個詞,對應(yīng)n個文本。而Aij則對應(yīng)第i個詞檔的第j個文本的特征值,這里最常用的是基于預(yù)處理后的標準化TF-IDF值。k是我們假設(shè)的主題數(shù),一般要比文本數(shù)少。SVD分解后,
Uil對應(yīng)第i個詞和第l個詞義的相關(guān)度。
Vjm對應(yīng)第j個文本和第m個主題的相關(guān)度。
Σlm對應(yīng)第l個詞義和第m個主題的相關(guān)度。
這樣我們通過一次SVD,就可以得到文檔和主題的相關(guān)度,詞和詞義的相關(guān)度以及詞義和主題的相關(guān)度。
3. LSI簡單實例
這里舉一個簡單的LSI實例,假設(shè)我們有下面這個有10個詞三個文本的詞頻TF對應(yīng)矩陣如下:
這里我們沒有使用預(yù)處理,也沒有使用TF-IDF,在實際應(yīng)用中最好使用預(yù)處理后的TF-IDF值矩陣作為輸入。
我們假定對應(yīng)的主題數(shù)為2,則通過SVD降維后得到的三矩陣為:
從矩陣Uk我們可以看到詞和詞義之間的相關(guān)性。而從
Vk可以看到3個文本和兩個主題的相關(guān)性。大家可以看到里面有負數(shù),所以這樣得到的相關(guān)度比較難解釋。
4. LSI用于文本相似度計算
在上面我們通過LSI得到的文本主題矩陣可以用于文本相似度計算。而計算方法一般是通過余弦相似度。比如對于上面的三文檔兩主題的例子。我們可以計算第一個文本和第二個文本的余弦相似度如下 :
sim(d1,d2)=(?0.4945)?(?0.6458)+(0.6492)?(?0.7194)(?0.4945)2+0.64922(?0.6458)2+(?0.7194)2
5. LSI主題模型總結(jié)
LSI是最早出現(xiàn)的主題模型了,它的算法原理很簡單,一次奇異值分解就可以得到主題模型,同時解決詞義的問題,非常漂亮。但是LSI有很多不足,導(dǎo)致它在當前實際的主題模型中已基本不再使用。
主要的問題有:
1) SVD計算非常的耗時,尤其是我們的文本處理,詞和文本數(shù)都是非常大的,對于這樣的高維度矩陣做奇異值分解是非常難的。
2) 主題值的選取對結(jié)果的影響非常大,很難選擇合適的k值。
3) LSI得到的不是一個概率模型,缺乏統(tǒng)計基礎(chǔ),結(jié)果難以直觀的解釋。
對于問題1),主題模型非負矩陣分解(NMF)可以解決矩陣分解的速度問題。對于問題2),這是老大難了,大部分主題模型的主題的個數(shù)選取一般都是憑經(jīng)驗的,較新的層次狄利克雷過程(HDP)可以自動選擇主題個數(shù)。對于問題3),牛人們整出了pLSI(也叫pLSA)和隱含狄利克雷分布(LDA)這類基于概率分布的主題模型來替代基于矩陣分解的主題模型。
回到LSI本身,對于一些規(guī)模較小的問題,如果想快速粗粒度的找出一些主題分布的關(guān)系,則LSI是比較好的一個選擇,其他時候,如果你需要使用主題模型,推薦使用LDA和HDP。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03