99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁(yè)精彩閱讀Python中文文本聚類(lèi)
Python中文文本聚類(lèi)
2018-04-03
收藏

Python中文文本聚類(lèi)

查看百度搜索中文文本聚類(lèi)我失望的發(fā)現(xiàn),網(wǎng)上竟然沒(méi)有一個(gè)完整的關(guān)于Python實(shí)現(xiàn)的中文文本聚類(lèi)(乃至搜索關(guān)鍵詞python 中文文本聚類(lèi)也是如此),網(wǎng)上大部分是關(guān)于文本聚類(lèi)Kmeans聚類(lèi)的原理,Java實(shí)現(xiàn),R語(yǔ)言實(shí)現(xiàn),甚至都有一個(gè)C++的實(shí)現(xiàn)。
正好我寫(xiě)的一些文章,我沒(méi)能很好的分類(lèi),我想能不能通過(guò)聚類(lèi)的方法將一些相似的文章進(jìn)行聚類(lèi),然后我再看每個(gè)聚類(lèi)大概的主題是什么,給每個(gè)聚類(lèi)一個(gè)標(biāo)簽,這樣也是完成了分類(lèi)。
中文文本聚類(lèi)主要有一下幾個(gè)步驟,下面將分別詳細(xì)介紹:
    切詞
    去除停用詞
    構(gòu)建詞袋空間VSM(vector space model)
    TF-IDF構(gòu)建詞權(quán)重
    使用K-means算法
一、 切詞
這里中文切詞使用的是結(jié)巴切詞,github項(xiàng)目主頁(yè),作者微博
github項(xiàng)目主頁(yè)上有結(jié)巴切詞的詳細(xì)安裝方式,以及示例說(shuō)明,這里不再詳述,一般情況下,可以使用如下方式安裝。

# pip install jieba

或者

# easy_install jieba

還可以參考一下文章:
1.Python中文分詞組件 jieba
2.python 結(jié)巴分詞(jieba)學(xué)習(xí)
二、 去除停用詞
結(jié)巴分詞雖然有去除停用詞的功能,但是好像只是給jieba.analyse組建使用的,并不給jieba.cut使用,所以這里我們還是要自己構(gòu)建停用詞文件,以及去除停用詞。
常見(jiàn)的中文停用詞有:
1. 中文停用詞表(比較全面,有1208個(gè)停用詞)
2. 最全中文停用詞表整理(1893個(gè))
實(shí)現(xiàn)代碼如下(代碼比較水):
def read_from_file(file_name):
    with open(file_name,"r") as fp:
        words = fp.read()
    return words
def stop_words(stop_word_file):
    words = read_from_file(stop_word_file)
    result = jieba.cut(words)
    new_words = []
    for r in result:
        new_words.append(r)
    return set(new_words)
def del_stop_words(words,stop_words_set):
#   words是已經(jīng)切詞但是沒(méi)有去除停用詞的文檔。
#   返回的會(huì)是去除停用詞后的文檔
    result = jieba.cut(words)
    new_words = []
    for r in result:
        if r not in stop_words_set:
            new_words.append(r)
    return new_words
三、 構(gòu)建詞袋空間VSM(vector space model)
接下來(lái)是構(gòu)建詞袋空間,我們的步驟如下
1. 將所有文檔讀入到程序中,再將每個(gè)文檔切詞。
2. 去除每個(gè)文檔中的停用詞。
3. 統(tǒng)計(jì)所有文檔的詞集合(sk-learn有相關(guān)函數(shù),但是我知道能對(duì)中文也使用)。
4. 對(duì)每個(gè)文檔,都將構(gòu)建一個(gè)向量,向量的值是詞語(yǔ)在本文檔中出現(xiàn)的次數(shù)。
這舉個(gè)例子,假設(shè)有兩個(gè)文本,1.我愛(ài)上海,我愛(ài)中國(guó)2.中國(guó)偉大,上海漂亮
那么切詞之后就有一下詞語(yǔ):我,愛(ài),上海,中國(guó),偉大,漂亮,,(逗號(hào)也可能被切詞)。
再假設(shè)停用詞是我 ,,那么去除停用詞后,剩余的詞語(yǔ)就是
愛(ài),上海,中國(guó),偉大,漂亮
然后我們對(duì)文檔1和文檔2構(gòu)建向量,那么向量將如下:
文本     愛(ài)     上海     中國(guó)     偉大     漂亮
文檔1     2     1     1     0     0
文檔2     0     1     1     1     1
代碼如下:
def get_all_vector(file_path,stop_words_set):
    names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]
    posts = [ open(name).read() for name in names ]
    docs = []
    word_set = set()
    for post in posts:
        doc = del_stop_words(post,stop_words_set)
        docs.append(doc)
        word_set |= set(doc)
        #print len(doc),len(word_set)

    word_set = list(word_set)
    docs_vsm = []
    #for word in word_set[:30]:
        #print word.encode("utf-8"),
    for doc in docs:
        temp_vector = []
        for word in word_set:
            temp_vector.append(doc.count(word) * 1.0)
        #print temp_vector[-30:-1]
        docs_vsm.append(temp_vector)

    docs_matrix = np.array(docs_vsm)
    在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]],我們盡可能將其放入到numpy的array或者matrix中方便下面TF-IDF的計(jì)算。
四、 將單詞出現(xiàn)的次數(shù)轉(zhuǎn)化為權(quán)值(TF-IDF)
換句話說(shuō),我們的vsm保存的本來(lái)已經(jīng)是向量的形式,我們?yōu)槭裁催€需要TF-IDF的形式呢?我認(rèn)為這就是為了將單詞出現(xiàn)的次數(shù)轉(zhuǎn)化為權(quán)值。
關(guān)于TF-IDF的介紹可以參考網(wǎng)上的文章:
1. 基本文本聚類(lèi)方法
2. TF-IDF百度百科
3. TF-IDF維基百科英文版(需要翻墻)
這里需要注意的是關(guān)于TF(term frequency)的計(jì)算,關(guān)于IDF(Inverse document frequency)的計(jì)算,我看公式基本上都是一樣的:
逆向文件頻率(inverse document frequency,IDF)是一個(gè)詞語(yǔ)普遍重要性的度量。某一特定詞語(yǔ)的IDF,可以由總文件數(shù)目除以包含該詞語(yǔ)之文件的數(shù)目,再將得到的商取對(duì)數(shù)得到:
本公式用編輯,推薦一個(gè)令人驚嘆的網(wǎng)站:Detexify
其中
:語(yǔ)料庫(kù)中的文件總數(shù)
:包含詞語(yǔ)的文件數(shù)目(即的文件數(shù)目)如果該詞語(yǔ)不在語(yǔ)料庫(kù)中,就會(huì)導(dǎo)致分母為零,因此一般情況下使用作為分母。
然而百度百科以及網(wǎng)上大部分關(guān)于TF的介紹其實(shí)是有問(wèn)題的,TF-IDF百度百科中說(shuō)詞頻(term frequency,TF)指的是某一個(gè)給定的詞語(yǔ)在該文件中出現(xiàn)的頻率,那么很明顯這個(gè)計(jì)算公式就為:
然而這種計(jì)算方式常常會(huì)導(dǎo)致TF過(guò)小,其實(shí)TF-IDF并不是只有一種計(jì)算方式,而是多種,這個(gè)時(shí)候就體現(xiàn)出維基百科的威力了,具體的關(guān)于TF-IDF的介紹還是要參照維基百科。

如果不熟悉numpy,可以參考numpy官方文檔

column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]
column_sum = np.array(column_sum)
column_sum = docs_matrix.shape[0] / column_sum
idf =  np.log(column_sum)
idf =  np.diag(idf)
# 請(qǐng)仔細(xì)想想,根絕IDF的定義,計(jì)算詞的IDF并不依賴(lài)于某個(gè)文檔,所以我們提前計(jì)算好。
# 注意一下計(jì)算都是矩陣運(yùn)算,不是單個(gè)變量的運(yùn)算。
for doc_v in docs_matrix:
    if doc_v.sum() == 0:
        doc_v = doc_v / 1
    else:
        doc_v = doc_v / (doc_v.sum())
    tfidf = np.dot(docs_matrix,idf)
    return names,tfidf
現(xiàn)在我們擁有的矩陣的性質(zhì)如下,

    列是所有文檔總共的詞的集合。
    每行代表一個(gè)文檔。
    每行是一個(gè)向量,向量的每個(gè)值是這個(gè)詞的權(quán)值。
五、 用K-means算法進(jìn)行聚類(lèi)
到這個(gè)時(shí)候,我們可以使用kmeans算法進(jìn)行聚類(lèi),對(duì)kmeans算法來(lái)說(shuō),它看到已經(jīng)不是文本了,只是矩陣而已,所以我們用的也是通用的kmeans算法就可以了。
關(guān)于kmeans的介紹可以見(jiàn)于如下的文章:
1. 基本Kmeans算法介紹及其實(shí)現(xiàn)
2. K-means百度百科
3. 淺談Kmeans聚類(lèi)
所不同的是,在大部分的文本聚類(lèi)中,人們通常用余弦距離(很好的介紹文章)而不是歐氏距離進(jìn)行計(jì)算,難道是因?yàn)橄∈杈仃嚨脑?,我并不太明白?br />
下面的代碼來(lái)自《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》第十章的代碼:

def gen_sim(A,B):
    num = float(np.dot(A,B.T))
    denum = np.linalg.norm(A) * np.linalg.norm(B)
    if denum == 0:
        denum = 1
    cosn = num / denum
    sim = 0.5 + 0.5 * cosn
    return sim
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k,n)))#create centroid mat
    for j in range(n):#create random cluster centers, within bounds of each dimension
        minJ = min(dataSet[:,j])
        rangeJ = float(max(dataSet[:,j]) - minJ)
        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
    return centroids

def kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m,2)))#create mat to assign data points
                                      #to a centroid, also holds SE of each point
    centroids = createCent(dataSet, k)
    clusterChanged = True
    counter = 0
    while counter <= 50:
        counter += 1
        clusterChanged = False
        for i in range(m):#for each data point assign it to the closest centroid
            minDist = inf;
            minIndex = -1
            for j in range(k):
                distJI = distMeas(centroids[j,:],dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI;
                    minIndex = j
            if clusterAssment[i,0] != minIndex:
                clusterChanged = True
            clusterAssment[i,:] = minIndex,minDist**2
        #print centroids
        for cent in range(k):#recalculate centroids
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
            centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean
    return centroids, clusterAssment
六、 總結(jié)
基本上到這里為止,一個(gè)可用的中文文本聚類(lèi)工具已經(jīng)完成了,github項(xiàng)目地址。
其效果到底怎么樣呢?
我自己有一些未分類(lèi)的文章屬于人生感悟(羞羞臉)類(lèi)別的共有182篇,在切詞以及去除停用詞之后,共得到13202個(gè)詞語(yǔ),我設(shè)置K=10,嗯,效果并不是太好,當(dāng)然可能有一下原因:
    文檔本身已經(jīng)屬于高度分類(lèi)的了,基于詞頻的聚類(lèi)并不能發(fā)現(xiàn)關(guān)于這些文章間的細(xì)微的區(qū)別。
    算法需要優(yōu)化,可能有些地方可以設(shè)置修改一下。
總之,在學(xué)習(xí)若干天機(jī)器學(xué)習(xí)后,第一次實(shí)踐之旅算是結(jié)束了。

數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢(xún)
客服在線
立即咨詢(xún)
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶(hù)后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn):http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }