《數(shù)學(xué)之美》拾遺—TF-IDF

在學(xué)習(xí)機器學(xué)習(xí)的過程中，我寫了簡單易學(xué)的機器學(xué)習(xí)算法的專題，依然還有很多的算法會陸續(xù)寫出來。網(wǎng)上已經(jīng)有很多人分享過類似的材料，我只是通過自己的理解，想盡可能用一種通俗易懂的方式講出來。在不斷學(xué)習(xí)的過程中，陸陸續(xù)續(xù)補充了很多的知識點，在學(xué)習(xí)吳軍老師的《數(shù)學(xué)之美》的過程中，也補充了很多我之前遺漏的知識點，吳軍老師已經(jīng)在《數(shù)學(xué)之美》上把問題講得很清楚，我在這里只是再增加一些我對這些問題的認(rèn)識。專題的順序與原書不一致，其中的原因是我在學(xué)習(xí)機器學(xué)習(xí)的過程中遇到了問題會翻閱一些書，所以，順序與我學(xué)習(xí)時遇到的問題是相關(guān)的。借此機會，感謝那些默默支持我的人，我會更加努力寫出高質(zhì)量的博文。
一、什么是TF-IDF
    首先解釋下TF-IDF的全稱，TF-IDF全稱是Term Frequency / Inverse Document Frequency，全稱的意思為詞頻、逆文本頻率。
    在我們處理文本時，例如，對于一篇文章，文章是由很多的詞組成，通過與我們的詞庫對比，我們可以很容易的過濾掉一些公認(rèn)的停止詞(Stop Word)，只保留一些關(guān)鍵詞。停止詞是指對文章的主題沒有任何幫助卻在文章中大量出現(xiàn)的一些詞，如“的”、“是”等。剩下的關(guān)鍵詞也并不是都是同等重要的，我們要確定關(guān)鍵詞在文章中的權(quán)重，這樣我們才能確定文章的主題，此時，我們就可以使用TF-IDF來計算各個關(guān)鍵詞的權(quán)重。
    TF是指一個詞在一篇文章中出現(xiàn)的頻率。單純使用TF將會出現(xiàn)一些問題，問題是一些通用的詞對于主題并沒有太大的作用，反倒是一些出現(xiàn)頻率較少的詞才能夠表達(dá)文章的主題。所以權(quán)重的設(shè)計必須滿足：一個詞預(yù)測主題的能力越強，權(quán)重越大，反之，權(quán)重越小。所有統(tǒng)計的文章中，一些詞只是在其中很少幾篇文章中出現(xiàn)，那么這樣的詞對文章的主題的作用很大，這些詞的權(quán)重應(yīng)該設(shè)計的較大。IDF就是在完成這樣的工作，如果一個關(guān)鍵詞W在篇文章中出現(xiàn)，那么越大，關(guān)鍵詞W的權(quán)重反倒是越小。最后我們將TF的值和IDF的值綜合考慮，便能得到關(guān)鍵詞的權(quán)重：。
二、如何計算TF-IDF值
    對于一個處理好的詞項-文檔矩陣：

文章有：d1，d2，d3，d4，d5和d6，關(guān)鍵詞有：“ship”，“boat”，“ocean”，“wood”和“tree”。矩陣中的數(shù)字表示詞在對應(yīng)文章中出現(xiàn)的次數(shù)。
1、TF的計算
   TF表示詞在一篇文章中出現(xiàn)的頻率。這里我們假設(shè)每篇文章的詞的個數(shù)為，。則詞“ship”在文章d1中的TF值為：。其他的可以依次類比。
2、IDF的計算
   IDF的公式為：

其中，D表示全部的文章數(shù)，表示關(guān)鍵詞w出現(xiàn)的文章數(shù)。如關(guān)鍵詞“ship”在文章d1和d3中出現(xiàn)，則，而全部的文章數(shù)。則。
3、TF-IDF的值
   TF-IDF的值即為最終的權(quán)重，是將TF值與IDF值相乘，則對于關(guān)鍵詞“ship”的TF-IDF值為：

三、實際的例子
    選擇了9個標(biāo)題：（參考文獻(xiàn)2）
The Neatest Little Guide to Stock Market Investing
Investing For Dummies, 4th Edition
The Little Book of Common Sense Investing: The Only Way to Guarantee Your Fair Share of Stock Market Returns
The Little Book of Value Investing
Value Investing: From Graham to Buffett and Beyond
Rich Dad's Guide to Investing: What the Rich Invest in, That the Poor and the Middle Class Do Not!
Investing in Real Estate, 5th Edition
Stock Investing For Dummies
Rich Dad's Advisors: The ABC's of Real Estate Investing: The Secrets of Finding Hidden Profits Most Investors Miss
去掉了停止詞“and”，“edition”，“for”，“in”，“l(fā)ittle”，“of”“the”，“to”。我們可以得到以下的詞項-文檔矩陣：

最終的結(jié)果為：

MATLAB源碼
TF_IDF函數(shù)
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ dataMade ] = TFIDF( dataSet )  
    [m,n] = size(dataSet);%計算dataSet的大小，m為詞的個數(shù)，n為標(biāo)題的個數(shù)  
      
    %rowSum = sum(dataSet);% 每個標(biāo)題中關(guān)鍵詞的總和  
    rowSum = [8,6,19,6,8,19,6,4,18];  
    colSum = sum(dataSet,2);% 每個詞在不同標(biāo)題中出現(xiàn)的總和  
      
    dataMade = zeros(m,n);% 構(gòu)造一個一樣大小的矩陣，用于存儲TF-IDF值  
    for i = 1:m  
        TempIDF = log2(n./colSum(i,:));  
        for j = 1:n  
            dataMade(i,j) = (dataSet(i,j)./rowSum(:,j))*TempIDF;  
        end  
    end  
end  

主函數(shù)
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% TF_IDF  
 
% load data  
% 注意每一列為標(biāo)題，每一行為詞  
dataSet = [0    0   1   1   0   0   0   0   0  
0   0   0   0   0   1   0   0   1  
0   1   0   0   0   0   0   1   0  
0   0   0   0   0   0   1   0   1  
1   0   0   0   0   1   0   0   0  
1   1   1   1   1   1   1   1   1  
1   0   1   0   0   0   0   0   0  
0   0   0   0   0   0   1   0   1  
0   0   0   0   0   2   0   0   1  
1   0   1   0   0   0   0   1   0  
0   0   0   1   1   0   0   0   0  
];  
 
% 計算TF-IDF值  
data = TFIDF(dataSet);  

注意點：在參考文獻(xiàn)2中有兩個問題：數(shù)據(jù)分析師培訓(xùn)
1、在求解TF時，TF的分母應(yīng)該是整個文本的長度，可參見維基百科。
2、在求解IDF時，取對數(shù)的時應(yīng)該是以2為底，而不是以為底。