Python自然語言處理：詞干、詞形與MaxMatch算法

自然語言處理中一個很重要的操作就是所謂的stemming 和 lemmatization，二者非常類似。它們是詞形規(guī)范化的兩類重要方式，都能夠達到有效歸并詞形的目的，二者既有聯(lián)系也有區(qū)別。

1、詞干提?。╯temming）
定義：Stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form—generally a written word form.
解釋一下，Stemming 是抽取詞的詞干或詞根形式（不一定能夠表達完整語義）。
NLTK中提供了三種最常用的詞干提取器接口，即 Porter stemmer, Lancaster Stemmer 和 Snowball Stemmer。
Porter Stemmer基于Porter詞干提取算法，來看例子
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
>>> from nltk.stem.porter import PorterStemmer  
>>> porter_stemmer = PorterStemmer()  
>>> porter_stemmer.stem(‘maximum’)  
u’maximum’  
>>> porter_stemmer.stem(‘presumably’)  
u’presum’  
>>> porter_stemmer.stem(‘multiply’)  
u’multipli’  
>>> porter_stemmer.stem(‘provision’)  
u’provis’  
>>> porter_stemmer.stem(‘owed’)  
u’owe’  
Lancaster Stemmer 基于Lancaster 詞干提取算法，來看例子
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
>>> from nltk.stem.lancaster import LancasterStemmer  
>>> lancaster_stemmer = LancasterStemmer()  
>>> lancaster_stemmer.stem(‘maximum’)  
‘maxim’  
>>> lancaster_stemmer.stem(‘presumably’)  
‘presum’  
>>> lancaster_stemmer.stem(‘presumably’)  
‘presum’  
>>> lancaster_stemmer.stem(‘multiply’)  
‘multiply’  
>>> lancaster_stemmer.stem(‘provision’)  
u’provid’  
>>> lancaster_stemmer.stem(‘owed’)  
‘ow’  

Snowball Stemmer基于Snowball 詞干提取算法，來看例子
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
>>> from nltk.stem import SnowballStemmer  
>>> snowball_stemmer = SnowballStemmer(“english”)  
>>> snowball_stemmer.stem(‘maximum’)  
u’maximum’  
>>> snowball_stemmer.stem(‘presumably’)  
u’presum’  
>>> snowball_stemmer.stem(‘multiply’)  
u’multipli’  
>>> snowball_stemmer.stem(‘provision’)  
u’provis’  
>>> snowball_stemmer.stem(‘owed’)  
u’owe’  


2、詞形還原（lemmatization）
定義：Lemmatisation (or lemmatization) in linguistics, is the process of grouping together the different inflected forms of a word so they can be analysed as a single item.
可見，Lemmatisation是把一個任何形式的語言詞匯還原為一般形式（能表達完整語義）。相對而言，詞干提取是簡單的輕量級的詞形歸并方式，最后獲得的結(jié)果為詞干，并不一定具有實際意義。詞形還原處理相對復(fù)雜，獲得結(jié)果為詞的原形，能夠承載一定意義，與詞干提取相比，更具有研究和應(yīng)用價值。
我們會在后面給出一個同MaxMatch算法相結(jié)合的更為復(fù)雜的例子。

3、最大匹配算法（MaxMatch）
MaxMatch算法在中文自然語言處理中常常用來進行分詞（或許從名字上你已經(jīng)能想到它是基于貪婪策略設(shè)計的一種算法）。通常，英語中一句話里的各個詞匯之間通過空格來分割，這是非常straightforward的，但是中文卻沒有這個遍歷。例如“我愛中華人民共和國”，這句話被分詞的結(jié)果可能是這樣的{‘我’，‘愛’，‘中華’，‘人民’，‘共和國’}，又或者是{‘我’，‘愛’，‘中華人民共和國’}，顯然我們更傾向于后者的分詞結(jié)果。因為‘中華人民共和國’顯然是一個專有名詞（把這樣一個詞分割來看顯然并不明智）。我們選擇后者的策略就是所謂的MaxMatch，即最大匹配。因為‘中華人民共和國’這個詞顯然要比‘中華’，‘人民’，‘共和國’這些詞都長。

我們可以通過一個英文的例子來演示MaxMatch算法（其實中文處理的道理也是一樣的）。算法從右側(cè)開始逐漸減少字符串長度，以此求得可能匹配的最大長度的字符串?？紤]到我們所獲得的詞匯可能包含有某種詞型的變化，所以其中使用了Lemmatisation，然后在詞庫里進行匹配查找。數(shù)據(jù)分析師培訓(xùn)
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
from nltk.stem import WordNetLemmatizer  
from nltk.corpus import words  
 
wordlist = set(words.words())  
wordnet_lemmatizer = WordNetLemmatizer()  
 
def max_match(text):  
    pos2 = len(text)  
    result = ''  
    while len(text) > 0:         
        word = wordnet_lemmatizer.lemmatize(text[0:pos2])  
        if word in wordlist:  
            result = result + text[0:pos2] + ' '  
            text = text[pos2:]  
            pos2 = len(text)  
        else:  
            pos2 = pos2-1                 
    return result[0:-1]  

來看看算法的實現(xiàn)效果

[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
>>> string = 'theyarebirds'  
>>> print(max_match(string))  
they are birds  

當(dāng)然，上述代碼尚有一個不足，就是當(dāng)字符串中存在非字母字符時（例如數(shù)字標(biāo)點等），它可能會存在一些問題。