各種相似度計算的python實(shí)現(xiàn)

在數(shù)據(jù)挖掘中有很多地方要計算相似度，比如聚類分析和協(xié)同過濾。計算相似度的有許多方法，其中有歐幾里德距離、曼哈頓距離、Jaccard系數(shù)和皮爾遜相關(guān)度等等。我們這里把一些常用的相似度計算方法，用python進(jìn)行實(shí)現(xiàn)以下。如果是初學(xué)者，我認(rèn)為把公式先寫下來，然后再寫代碼去實(shí)現(xiàn)比較好。

歐幾里德距離

幾個數(shù)據(jù)集之間的相似度一般是基于每對對象間的距離計算。最常用的當(dāng)然是歐幾里德距離，其公式為:
#-*-coding:utf-8 -*-
#計算歐幾里德距離：
def euclidean(p,q):
#如果兩數(shù)據(jù)集數(shù)目不同，計算兩者之間都對應(yīng)有的數(shù)
same = 0
for i in p:
    if i in q:
        same +=1

#計算歐幾里德距離,并將其標(biāo)準(zhǔn)化
e = sum([(p[i] - q[i])**2 for i in range(same)])
return 1/(1+e**.5)

我們用數(shù)據(jù)集可以去算一下：

p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print euclidean(p,q)

得出結(jié)果是：0.261203874964
皮爾遜相關(guān)度

幾個數(shù)據(jù)集中出現(xiàn)異常值的時候，歐幾里德距離就不如皮爾遜相關(guān)度‘穩(wěn)定’，它會在出現(xiàn)偏差時傾向于給出更好的結(jié)果。其公式為：

-*-coding:utf-8 -*-
#計算皮爾遜相關(guān)度：
def pearson(p,q):
#只計算兩者共同有的
    same = 0
    for i in p:
        if i in q:
            same +=1

    n = same
    #分別求p，q的和
    sumx = sum([p[i] for i in range(n)])
    sumy = sum([q[i] for i in range(n)])
    #分別求出p，q的平方和
    sumxsq = sum([p[i]**2 for i in range(n)])
    sumysq = sum([q[i]**2 for i in range(n)])
    #求出p，q的乘積和
    sumxy = sum([p[i]*q[i] for i in range(n)])
    # print sumxy
    #求出pearson相關(guān)系數(shù)
    up = sumxy - sumx*sumy/n
    down = ((sumxsq - pow(sumxsq,2)/n)*(sumysq - pow(sumysq,2)/n))**.5
    #若down為零則不能計算，return 0
    if down == 0 :return 0
    r = up/down
    return r
用同樣的數(shù)據(jù)集去計算：

p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print pearson(p,q)

得出結(jié)果是：0.00595238095238
曼哈頓距離

曼哈頓距離是另一種相似度計算方法，不是經(jīng)常需要，但是我們?nèi)匀粚W(xué)會如何用python去實(shí)現(xiàn)，其公式為：

#-*-coding:utf-8 -*-
#計算曼哈頓距離：
def manhattan(p,q):
#只計算兩者共同有的
    same = 0
    for i in p:
        if i in q:
        same += 1
#計算曼哈頓距離
    n = same
    vals = range(n)
    distance = sum(abs(p[i] - q[i]) for i in vals)
    return distance

用以上的數(shù)據(jù)集去計算：

p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print manhattan(p,q)
得出結(jié)果為4
Jaccard系數(shù)

當(dāng)數(shù)據(jù)集為二元變量時，我們只有兩種狀態(tài)：0或者1。這個時候以上的計算相似度的方法就無法派上用場，于是我們引出Jaccard系數(shù)，這是一個能夠表示兩個數(shù)據(jù)集都是二元變量（也可以多元）的相似度的指標(biāo)，其公式為：

#-*-coding:utf-8 -*-
# 計算jaccard系數(shù)
def jaccard(p,q):
    c = [a for i in p if v in b]
    return float(len(c))/(len(a)+len(b)-len(b))
#注意：在使用之前必須對兩個數(shù)據(jù)集進(jìn)行去重
我們用一些特殊的數(shù)據(jù)集去測試一下：

p = ['shirt','shoes','pants','socks']
q = ['shirt','shoes']
print jaccard(p,q)
得出結(jié)果是:0.5