《數(shù)學(xué)之美》拾遺—TF-IDF

在學(xué)習(xí)機(jī)器學(xué)習(xí)的過(guò)程中，我寫了簡(jiǎn)單易學(xué)的機(jī)器學(xué)習(xí)算法的專題，依然還有很多的算法會(huì)陸續(xù)寫出來(lái)。網(wǎng)上已經(jīng)有很多人分享過(guò)類似的材料，我只是通過(guò)自己的理解，想盡可能用一種通俗易懂的方式講出來(lái)。在不斷學(xué)習(xí)的過(guò)程中，陸陸續(xù)續(xù)補(bǔ)充了很多的知識(shí)點(diǎn)，在學(xué)習(xí)吳軍老師的《數(shù)學(xué)之美》的過(guò)程中，也補(bǔ)充了很多我之前遺漏的知識(shí)點(diǎn)，吳軍老師已經(jīng)在《數(shù)學(xué)之美》上把問(wèn)題講得很清楚，我在這里只是再增加一些我對(duì)這些問(wèn)題的認(rèn)識(shí)。專題的順序與原書不一致，其中的原因是我在學(xué)習(xí)機(jī)器學(xué)習(xí)的過(guò)程中遇到了問(wèn)題會(huì)翻閱一些書，所以，順序與我學(xué)習(xí)時(shí)遇到的問(wèn)題是相關(guān)的。借此機(jī)會(huì)，感謝那些默默支持我的人，我會(huì)更加努力寫出高質(zhì)量的博文。
一、什么是TF-IDF
    首先解釋下TF-IDF的全稱，TF-IDF全稱是Term Frequency / Inverse Document Frequency，全稱的意思為詞頻、逆文本頻率。
    在我們處理文本時(shí)，例如，對(duì)于一篇文章，文章是由很多的詞組成，通過(guò)與我們的詞庫(kù)對(duì)比，我們可以很容易的過(guò)濾掉一些公認(rèn)的停止詞(Stop Word)，只保留一些關(guān)鍵詞。停止詞是指對(duì)文章的主題沒(méi)有任何幫助卻在文章中大量出現(xiàn)的一些詞，如“的”、“是”等。剩下的關(guān)鍵詞也并不是都是同等重要的，我們要確定關(guān)鍵詞在文章中的權(quán)重，這樣我們才能確定文章的主題，此時(shí)，我們就可以使用TF-IDF來(lái)計(jì)算各個(gè)關(guān)鍵詞的權(quán)重。
    TF是指一個(gè)詞在一篇文章中出現(xiàn)的頻率。單純使用TF將會(huì)出現(xiàn)一些問(wèn)題，問(wèn)題是一些通用的詞對(duì)于主題并沒(méi)有太大的作用，反倒是一些出現(xiàn)頻率較少的詞才能夠表達(dá)文章的主題。所以權(quán)重的設(shè)計(jì)必須滿足：一個(gè)詞預(yù)測(cè)主題的能力越強(qiáng)，權(quán)重越大，反之，權(quán)重越小。所有統(tǒng)計(jì)的文章中，一些詞只是在其中很少幾篇文章中出現(xiàn)，那么這樣的詞對(duì)文章的主題的作用很大，這些詞的權(quán)重應(yīng)該設(shè)計(jì)的較大。IDF就是在完成這樣的工作，如果一個(gè)關(guān)鍵詞W在篇文章中出現(xiàn)，那么越大，關(guān)鍵詞W的權(quán)重反倒是越小。最后我們將TF的值和IDF的值綜合考慮，便能得到關(guān)鍵詞的權(quán)重：。
二、如何計(jì)算TF-IDF值
    對(duì)于一個(gè)處理好的詞項(xiàng)-文檔矩陣：

文章有：d1，d2，d3，d4，d5和d6，關(guān)鍵詞有：“ship”，“boat”，“ocean”，“wood”和“tree”。矩陣中的數(shù)字表示詞在對(duì)應(yīng)文章中出現(xiàn)的次數(shù)。
1、TF的計(jì)算
   TF表示詞在一篇文章中出現(xiàn)的頻率。這里我們假設(shè)每篇文章的詞的個(gè)數(shù)為，。則詞“ship”在文章d1中的TF值為：。其他的可以依次類比。
2、IDF的計(jì)算
   IDF的公式為：

其中，D表示全部的文章數(shù)，表示關(guān)鍵詞w出現(xiàn)的文章數(shù)。如關(guān)鍵詞“ship”在文章d1和d3中出現(xiàn)，則，而全部的文章數(shù)。則。
3、TF-IDF的值
   TF-IDF的值即為最終的權(quán)重，是將TF值與IDF值相乘，則對(duì)于關(guān)鍵詞“ship”的TF-IDF值為：

三、實(shí)際的例子
    選擇了9個(gè)標(biāo)題：（參考文獻(xiàn)2）
The Neatest Little Guide to Stock Market Investing
Investing For Dummies, 4th Edition
The Little Book of Common Sense Investing: The Only Way to Guarantee Your Fair Share of Stock Market Returns
The Little Book of Value Investing
Value Investing: From Graham to Buffett and Beyond
Rich Dad's Guide to Investing: What the Rich Invest in, That the Poor and the Middle Class Do Not!
Investing in Real Estate, 5th Edition
Stock Investing For Dummies
Rich Dad's Advisors: The ABC's of Real Estate Investing: The Secrets of Finding Hidden Profits Most Investors Miss
去掉了停止詞“and”，“edition”，“for”，“in”，“l(fā)ittle”，“of”“the”，“to”。我們可以得到以下的詞項(xiàng)-文檔矩陣：

最終的結(jié)果為：

MATLAB源碼
TF_IDF函數(shù)
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ dataMade ] = TFIDF( dataSet )  
    [m,n] = size(dataSet);%計(jì)算dataSet的大小，m為詞的個(gè)數(shù)，n為標(biāo)題的個(gè)數(shù)  
      
    %rowSum = sum(dataSet);% 每個(gè)標(biāo)題中關(guān)鍵詞的總和  
    rowSum = [8,6,19,6,8,19,6,4,18];  
    colSum = sum(dataSet,2);% 每個(gè)詞在不同標(biāo)題中出現(xiàn)的總和  
      
    dataMade = zeros(m,n);% 構(gòu)造一個(gè)一樣大小的矩陣，用于存儲(chǔ)TF-IDF值  
    for i = 1:m  
        TempIDF = log2(n./colSum(i,:));  
        for j = 1:n  
            dataMade(i,j) = (dataSet(i,j)./rowSum(:,j))*TempIDF;  
        end  
    end  
end  

主函數(shù)
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% TF_IDF  
 
% load data  
% 注意每一列為標(biāo)題，每一行為詞  
dataSet = [0    0   1   1   0   0   0   0   0  
0   0   0   0   0   1   0   0   1  
0   1   0   0   0   0   0   1   0  
0   0   0   0   0   0   1   0   1  
1   0   0   0   0   1   0   0   0  
1   1   1   1   1   1   1   1   1  
1   0   1   0   0   0   0   0   0  
0   0   0   0   0   0   1   0   1  
0   0   0   0   0   2   0   0   1  
1   0   1   0   0   0   0   1   0  
0   0   0   1   1   0   0   0   0  
];  
 
% 計(jì)算TF-IDF值  
data = TFIDF(dataSet);  

注意點(diǎn)：在參考文獻(xiàn)2中有兩個(gè)問(wèn)題：數(shù)據(jù)分析師培訓(xùn)
1、在求解TF時(shí)，TF的分母應(yīng)該是整個(gè)文本的長(zhǎng)度，可參見(jiàn)維基百科。
2、在求解IDF時(shí)，取對(duì)數(shù)的時(shí)應(yīng)該是以2為底，而不是以為底。