
Python中文文本聚類
查看百度搜索中文文本聚類我失望的發(fā)現(xiàn),網(wǎng)上竟然沒有一個(gè)完整的關(guān)于Python實(shí)現(xiàn)的中文文本聚類(乃至搜索關(guān)鍵詞python 中文文本聚類也是如此),網(wǎng)上大部分是關(guān)于文本聚類的Kmeans聚類的原理,Java實(shí)現(xiàn),R語言實(shí)現(xiàn),甚至都有一個(gè)C++的實(shí)現(xiàn)。
正好我寫的一些文章,我沒能很好的分類,我想能不能通過聚類的方法將一些相似的文章進(jìn)行聚類,然后我再看每個(gè)聚類大概的主題是什么,給每個(gè)聚類一個(gè)標(biāo)簽,這樣也是完成了分類。
中文文本聚類主要有一下幾個(gè)步驟,下面將分別詳細(xì)介紹:
切詞
去除停用詞
構(gòu)建詞袋空間VSM(vector space model)
TF-IDF構(gòu)建詞權(quán)重
使用K-means算法
一、 切詞
這里中文切詞使用的是結(jié)巴切詞,github項(xiàng)目主頁,作者微博
github項(xiàng)目主頁上有結(jié)巴切詞的詳細(xì)安裝方式,以及示例說明,這里不再詳述,一般情況下,可以使用如下方式安裝。
# pip install jieba
或者
# easy_install jieba
還可以參考一下文章:
1.Python中文分詞組件 jieba
2.python 結(jié)巴分詞(jieba)學(xué)習(xí)
二、 去除停用詞
結(jié)巴分詞雖然有去除停用詞的功能,但是好像只是給jieba.analyse組建使用的,并不給jieba.cut使用,所以這里我們還是要自己構(gòu)建停用詞文件,以及去除停用詞。
常見的中文停用詞有:
1. 中文停用詞表(比較全面,有1208個(gè)停用詞)
2. 最全中文停用詞表整理(1893個(gè))
實(shí)現(xiàn)代碼如下(代碼比較水):
def read_from_file(file_name):
with open(file_name,"r") as fp:
words = fp.read()
return words
def stop_words(stop_word_file):
words = read_from_file(stop_word_file)
result = jieba.cut(words)
new_words = []
for r in result:
new_words.append(r)
return set(new_words)
def del_stop_words(words,stop_words_set):
# words是已經(jīng)切詞但是沒有去除停用詞的文檔。
# 返回的會(huì)是去除停用詞后的文檔
result = jieba.cut(words)
new_words = []
for r in result:
if r not in stop_words_set:
new_words.append(r)
return new_words
三、 構(gòu)建詞袋空間VSM(vector space model)
接下來是構(gòu)建詞袋空間,我們的步驟如下
1. 將所有文檔讀入到程序中,再將每個(gè)文檔切詞。
2. 去除每個(gè)文檔中的停用詞。
3. 統(tǒng)計(jì)所有文檔的詞集合(sk-learn有相關(guān)函數(shù),但是我知道能對(duì)中文也使用)。
4. 對(duì)每個(gè)文檔,都將構(gòu)建一個(gè)向量,向量的值是詞語在本文檔中出現(xiàn)的次數(shù)。
這舉個(gè)例子,假設(shè)有兩個(gè)文本,1.我愛上海,我愛中國2.中國偉大,上海漂亮
那么切詞之后就有一下詞語:我,愛,上海,中國,偉大,漂亮,,(逗號(hào)也可能被切詞)。
再假設(shè)停用詞是我 ,,那么去除停用詞后,剩余的詞語就是
愛,上海,中國,偉大,漂亮
然后我們對(duì)文檔1和文檔2構(gòu)建向量,那么向量將如下:
文本 愛 上海 中國 偉大 漂亮
文檔1 2 1 1 0 0
文檔2 0 1 1 1 1
代碼如下:
def get_all_vector(file_path,stop_words_set):
names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]
posts = [ open(name).read() for name in names ]
docs = []
word_set = set()
for post in posts:
doc = del_stop_words(post,stop_words_set)
docs.append(doc)
word_set |= set(doc)
#print len(doc),len(word_set)
word_set = list(word_set)
docs_vsm = []
#for word in word_set[:30]:
#print word.encode("utf-8"),
for doc in docs:
temp_vector = []
for word in word_set:
temp_vector.append(doc.count(word) * 1.0)
#print temp_vector[-30:-1]
docs_vsm.append(temp_vector)
docs_matrix = np.array(docs_vsm)
在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]],我們盡可能將其放入到numpy的array或者matrix中方便下面TF-IDF的計(jì)算。
四、 將單詞出現(xiàn)的次數(shù)轉(zhuǎn)化為權(quán)值(TF-IDF)
換句話說,我們的vsm保存的本來已經(jīng)是向量的形式,我們?yōu)槭裁催€需要TF-IDF的形式呢?我認(rèn)為這就是為了將單詞出現(xiàn)的次數(shù)轉(zhuǎn)化為權(quán)值。
關(guān)于TF-IDF的介紹可以參考網(wǎng)上的文章:
1. 基本文本聚類方法
2. TF-IDF百度百科
3. TF-IDF維基百科英文版(需要翻墻)
這里需要注意的是關(guān)于TF(term frequency)的計(jì)算,關(guān)于IDF(Inverse document frequency)的計(jì)算,我看公式基本上都是一樣的:
逆向文件頻率(inverse document frequency,IDF)是一個(gè)詞語普遍重要性的度量。某一特定詞語的IDF,可以由總文件數(shù)目除以包含該詞語之文件的數(shù)目,再將得到的商取對(duì)數(shù)得到:
本公式用編輯,推薦一個(gè)令人驚嘆的網(wǎng)站:Detexify
其中
:語料庫中的文件總數(shù)
:包含詞語的文件數(shù)目(即的文件數(shù)目)如果該詞語不在語料庫中,就會(huì)導(dǎo)致分母為零,因此一般情況下使用作為分母。
然而百度百科以及網(wǎng)上大部分關(guān)于TF的介紹其實(shí)是有問題的,TF-IDF百度百科中說詞頻(term frequency,TF)指的是某一個(gè)給定的詞語在該文件中出現(xiàn)的頻率,那么很明顯這個(gè)計(jì)算公式就為:
然而這種計(jì)算方式常常會(huì)導(dǎo)致TF過小,其實(shí)TF-IDF并不是只有一種計(jì)算方式,而是多種,這個(gè)時(shí)候就體現(xiàn)出維基百科的威力了,具體的關(guān)于TF-IDF的介紹還是要參照維基百科。
如果不熟悉numpy,可以參考numpy官方文檔
column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]
column_sum = np.array(column_sum)
column_sum = docs_matrix.shape[0] / column_sum
idf = np.log(column_sum)
idf = np.diag(idf)
# 請(qǐng)仔細(xì)想想,根絕IDF的定義,計(jì)算詞的IDF并不依賴于某個(gè)文檔,所以我們提前計(jì)算好。
# 注意一下計(jì)算都是矩陣運(yùn)算,不是單個(gè)變量的運(yùn)算。
for doc_v in docs_matrix:
if doc_v.sum() == 0:
doc_v = doc_v / 1
else:
doc_v = doc_v / (doc_v.sum())
tfidf = np.dot(docs_matrix,idf)
return names,tfidf
現(xiàn)在我們擁有的矩陣的性質(zhì)如下,
列是所有文檔總共的詞的集合。
每行代表一個(gè)文檔。
每行是一個(gè)向量,向量的每個(gè)值是這個(gè)詞的權(quán)值。
五、 用K-means算法進(jìn)行聚類
到這個(gè)時(shí)候,我們可以使用kmeans算法進(jìn)行聚類,對(duì)kmeans算法來說,它看到已經(jīng)不是文本了,只是矩陣而已,所以我們用的也是通用的kmeans算法就可以了。
關(guān)于kmeans的介紹可以見于如下的文章:
1. 基本Kmeans算法介紹及其實(shí)現(xiàn)
2. K-means百度百科
3. 淺談Kmeans聚類
所不同的是,在大部分的文本聚類中,人們通常用余弦距離(很好的介紹文章)而不是歐氏距離進(jìn)行計(jì)算,難道是因?yàn)橄∈杈仃嚨脑?,我并不太明白?br />
下面的代碼來自《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》第十章的代碼:
def gen_sim(A,B):
num = float(np.dot(A,B.T))
denum = np.linalg.norm(A) * np.linalg.norm(B)
if denum == 0:
denum = 1
cosn = num / denum
sim = 0.5 + 0.5 * cosn
return sim
def randCent(dataSet, k):
n = shape(dataSet)[1]
centroids = mat(zeros((k,n)))#create centroid mat
for j in range(n):#create random cluster centers, within bounds of each dimension
minJ = min(dataSet[:,j])
rangeJ = float(max(dataSet[:,j]) - minJ)
centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
return centroids
def kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):
m = shape(dataSet)[0]
clusterAssment = mat(zeros((m,2)))#create mat to assign data points
#to a centroid, also holds SE of each point
centroids = createCent(dataSet, k)
clusterChanged = True
counter = 0
while counter <= 50:
counter += 1
clusterChanged = False
for i in range(m):#for each data point assign it to the closest centroid
minDist = inf;
minIndex = -1
for j in range(k):
distJI = distMeas(centroids[j,:],dataSet[i,:])
if distJI < minDist:
minDist = distJI;
minIndex = j
if clusterAssment[i,0] != minIndex:
clusterChanged = True
clusterAssment[i,:] = minIndex,minDist**2
#print centroids
for cent in range(k):#recalculate centroids
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean
return centroids, clusterAssment
六、 總結(jié)
基本上到這里為止,一個(gè)可用的中文文本聚類工具已經(jīng)完成了,github項(xiàng)目地址。
其效果到底怎么樣呢?
我自己有一些未分類的文章屬于人生感悟(羞羞臉)類別的共有182篇,在切詞以及去除停用詞之后,共得到13202個(gè)詞語,我設(shè)置K=10,嗯,效果并不是太好,當(dāng)然可能有一下原因:
文檔本身已經(jīng)屬于高度分類的了,基于詞頻的聚類并不能發(fā)現(xiàn)關(guān)于這些文章間的細(xì)微的區(qū)別。
算法需要優(yōu)化,可能有些地方可以設(shè)置修改一下。
總之,在學(xué)習(xí)若干天機(jī)器學(xué)習(xí)后,第一次實(shí)踐之旅算是結(jié)束了。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03