python實(shí)現(xiàn)識(shí)別相似圖片小結(jié)

在網(wǎng)上看到python做圖像識(shí)別的相關(guān)文章后，真心感覺python的功能實(shí)在太強(qiáng)大，因此將這些文章總結(jié)一下，建立一下自己的知識(shí)體系。
當(dāng)然了，圖像識(shí)別這個(gè)話題作為計(jì)算機(jī)科學(xué)的一個(gè)分支，不可能就在本文簡(jiǎn)單幾句就說清，所以本文只作基本算法的科普向。

如有錯(cuò)誤，請(qǐng)多包涵和多多指教。

參考的文章和圖片來源會(huì)在底部一一列出。

以及本篇文章所用的代碼都會(huì)在底下給出github地址。

安裝相關(guān)庫(kù)

python用作圖像處理的相關(guān)庫(kù)主要有openCV(C++編寫，提供了python語(yǔ)言的接口)，PIL,但由于PIL很早就停了，所以不支持python3.x,所以建議使用基于PIL的pillow,本文也是在python3.4和pillow的環(huán)境下進(jìn)行實(shí)驗(yàn)。

至于opencv，在做人臉識(shí)別的時(shí)候會(huì)用到，但本文不會(huì)涉及到，在本專欄的后續(xù)中會(huì)談及openCV的人臉識(shí)別和基于此的python圖片爬蟲，有興趣的朋友可以關(guān)注本專欄。

相關(guān)背景

要識(shí)別兩張相似圖像，我們從感性上來談是怎么樣的一個(gè)過程？首先我們會(huì)區(qū)分這兩張相片的類型，例如是風(fēng)景照，還是人物照。風(fēng)景照中，是沙漠還是海洋，人物照中，兩個(gè)人是不是都是國(guó)字臉，還是瓜子臉（還是倒瓜子臉……哈哈……）。

那么從機(jī)器的角度來說也是這樣的，先識(shí)別圖像的特征，然后再相比。

很顯然，在沒有經(jīng)過訓(xùn)練的計(jì)算機(jī)(即建立模型)，那么計(jì)算機(jī)很難區(qū)分什么是海洋，什么是沙漠。但是計(jì)算機(jī)很容易識(shí)別到圖像的像素值。

因此，在圖像識(shí)別中，顏色特征是最為常用的。（其余常用的特征還有紋理特征、形狀特征和空間關(guān)系特征等）

其中又分為

1. 直方圖
2. 顏色集
3. 顏色矩
4. 聚合向量
5. 相關(guān)圖
   

直方圖計(jì)算法

這里先用直方圖進(jìn)行簡(jiǎn)單講述。

先借用一下戀花蝶的圖片，

從肉眼來看，這兩張圖片大概也有八成是相似的了。

在python中可以依靠Image對(duì)象的histogram()方法獲取其直方圖數(shù)據(jù)，但這個(gè)方法返回的結(jié)果是一個(gè)列表，如果想得到下圖可視化數(shù)據(jù)，需要另外使用 matplotlib，這里因?yàn)橹饕榻B算法思路，matplotlib的使用這里不做介紹。

是的，我們可以明顯的發(fā)現(xiàn)，兩張圖片的直方圖是近似重合的。所以利用直方圖判斷兩張圖片的是否相似的方法就是，計(jì)算其直方圖的重合程度即可。

計(jì)算方法如下：

其中g(shù)i和si是分別指兩條曲線的第i個(gè)點(diǎn)。

最后計(jì)算得出的結(jié)果就是就是其相似程度。

不過，這種方法有一個(gè)明顯的弱點(diǎn)，就是他是按照顏色的全局分布來看的，無(wú)法描述顏色的局部分布和色彩所處的位置。

也就是假如一張圖片以藍(lán)色為主，內(nèi)容是一片藍(lán)天，而另外一張圖片也是藍(lán)色為主，但是內(nèi)容卻是妹子穿了藍(lán)色裙子，那么這個(gè)算法也很可能認(rèn)為這兩張圖片的相似的。

緩解這個(gè)弱點(diǎn)有一個(gè)方法就是利用Image的crop方法把圖片等分，然后再分別計(jì)算其相似度，最后綜合考慮。

圖像指紋與漢明距離

在介紹下面其他判別相似度的方法前，先補(bǔ)充一些概念。第一個(gè)就是圖像指紋

圖像指紋和人的指紋一樣，是身份的象征，而圖像指紋簡(jiǎn)單點(diǎn)來講，就是將圖像按照一定的哈希算法，經(jīng)過運(yùn)算后得出的一組二進(jìn)制數(shù)字。

說到這里，就可以順帶引出漢明距離的概念了。

假如一組二進(jìn)制數(shù)據(jù)為101，另外一組為111，那么顯然把第一組的第二位數(shù)據(jù)0改成1就可以變成第二組數(shù)據(jù)111，所以兩組數(shù)據(jù)的漢明距離就為1

簡(jiǎn)單點(diǎn)說，漢明距離就是一組二進(jìn)制數(shù)據(jù)變成另一組數(shù)據(jù)所需的步驟數(shù)，顯然，這個(gè)數(shù)值可以衡量?jī)蓮垐D片的差異，漢明距離越小，則代表相似度越高。漢明距離為0，即代表兩張圖片完全一樣。

如何計(jì)算得到漢明距離，情況下面三種哈希算法

平均哈希法(aHash)

此算法是基于比較灰度圖每個(gè)像素與平均值來實(shí)現(xiàn)的

一般步驟

1.縮放圖片，可利用Image對(duì)象的resize(size)改變，一般大小為8*8，64個(gè)像素值。
2.轉(zhuǎn)化為灰度圖
轉(zhuǎn)灰度圖的算法。
1.浮點(diǎn)算法：Gray=Rx0.3+Gx0.59+Bx0.11
2.整數(shù)方法：Gray=(Rx30+Gx59+Bx11)/100
3.移位方法：Gray =(Rx76+Gx151+Bx28)>>8;
4.平均值法：Gray=（R+G+B）/3;
5.僅取綠色：Gray=G；

在python中，可用Image的對(duì)象的方法convert('L')直接轉(zhuǎn)換為灰度圖

3.計(jì)算平均值：計(jì)算進(jìn)行灰度處理后圖片的所有像素點(diǎn)的平均值。
4.比較像素灰度值：遍歷灰度圖片每一個(gè)像素，如果大于平均值記錄為1，否則為0.
5.得到信息指紋：組合64個(gè)bit位，順序隨意保持一致性。
最后比對(duì)兩張圖片的指紋，獲得漢明距離即可。

感知哈希算法(pHash)

平均哈希算法過于嚴(yán)格，不夠精確，更適合搜索縮略圖，為了獲得更精確的結(jié)果可以選擇感知哈希算法，它采用的是DCT（離散余弦變換）來降低頻率的方法

一般步驟：

縮小圖片：32 * 32是一個(gè)較好的大小，這樣方便DCT計(jì)算

轉(zhuǎn)化為灰度圖：把縮放后的圖片轉(zhuǎn)化為256階的灰度圖。（具體算法見平均哈希算法步驟）

計(jì)算DCT:DCT把圖片分離成分率的集合

縮小DCT：DCT是32 * 32，保留左上角的8 * 8，這些代表的圖片的最低頻率

計(jì)算平均值：計(jì)算縮小DCT后的所有像素點(diǎn)的平均值。

進(jìn)一步減小DCT：大于平均值記錄為1，反之記錄為0.

得到信息指紋：組合64個(gè)信息位，順序隨意保持一致性。

最后比對(duì)兩張圖片的指紋，獲得漢明距離即可。

這里給出別人的DCT的介紹和計(jì)算方法(離散余弦變換的方法)

相比pHash，dHash的速度要快的多，相比aHash，dHash在效率幾乎相同的情況下的效果要更好，它是基于漸變實(shí)現(xiàn)的。

步驟：

縮小圖片：收縮到9*8的大小，一遍它有72的像素點(diǎn)

轉(zhuǎn)化為灰度圖：把縮放后的圖片轉(zhuǎn)化為256階的灰度圖。（具體算法見平均哈希算法步驟）

計(jì)算差異值：dHash算法工作在相鄰像素之間，這樣每行9個(gè)像素之間產(chǎn)生了8個(gè)不同的差異，一共8行，則產(chǎn)生了64個(gè)差異值

獲得指紋：如果左邊的像素比右邊的更亮，則記錄為1，否則為0.

最后比對(duì)兩張圖片的指紋，獲得漢明距離即可。

總結(jié)

這幾種算法是識(shí)別相似圖像的基礎(chǔ)，顯然，有時(shí)兩圖中的人相似比整體的顏色相似更重要，所以我們有時(shí)需要進(jìn)行人臉識(shí)別，
然后在臉部區(qū)進(jìn)行局部哈希，或者進(jìn)行其他的預(yù)處理再進(jìn)行哈希，這里涉及其他知識(shí)本文不作介紹。