作者 | James Vincent

來(lái)源 | 數(shù)據(jù)與算法之美

英文標(biāo)題 | If you can identify what’s in these images, you're smarter than AI

在視覺(jué)方面，AI和人類(lèi)的差距有多大？來(lái)自UC Berkeley等高校的研究人員創(chuàng)建了一個(gè)包含7500個(gè)“自然對(duì)抗實(shí)例”的數(shù)據(jù)集，在測(cè)試了許多機(jī)器視覺(jué)系統(tǒng)后，發(fā)現(xiàn)AI的準(zhǔn)確率下降了90%！在某些情況下，軟件只能識(shí)別2%-3%的圖像。這樣的AI若用在自動(dòng)駕駛汽車(chē)上，后果不敢想象！

近幾年來(lái)，計(jì)算機(jī)視覺(jué)有了很大的改善，但仍然有可能犯嚴(yán)重的錯(cuò)誤。犯錯(cuò)如此之多，以至于有一個(gè)研究領(lǐng)域致力于研究AI經(jīng)常誤認(rèn)的圖片，稱(chēng)為“對(duì)抗性圖像”。可以把它們看作計(jì)算機(jī)的光學(xué)錯(cuò)覺(jué)，當(dāng)你看到樹(shù)上有一只貓時(shí)，人工智能看到了一只松鼠。

▲AI把爬上樹(shù)的貓誤認(rèn)為松鼠

研究這些圖像是很有必要的。當(dāng)我們把機(jī)器視覺(jué)系統(tǒng)放在AI安全攝像頭和自動(dòng)駕駛汽車(chē)等新技術(shù)的核心位置時(shí)，我們相信計(jì)算機(jī)和我們看到的世界是一樣的。而對(duì)抗性圖像證明并非如此。

對(duì)抗性圖像利用機(jī)器學(xué)習(xí)系統(tǒng)中的弱點(diǎn)

但是，盡管這個(gè)領(lǐng)域的很多關(guān)注點(diǎn)都集中在那些專(zhuān)門(mén)設(shè)計(jì)用來(lái)愚弄AI的圖片上（比如谷歌的算法把3D打印的烏龜誤認(rèn)為是一把槍?zhuān)?，但這些迷惑性圖像也會(huì)自然的出現(xiàn)。這類(lèi)圖像更令人擔(dān)憂(yōu)，因?yàn)樗砻?，即便不是我們特意制作的，視覺(jué)系統(tǒng)也會(huì)犯錯(cuò)。

▲谷歌AI誤認(rèn)為這只烏龜是槍

為了證明這一點(diǎn)，來(lái)自加州大學(xué)伯克利分校、華盛頓大學(xué)和芝加哥大學(xué)的一組研究人員創(chuàng)建了一個(gè)包含7500個(gè)“自然對(duì)抗實(shí)例”（natural adversarial examples）的數(shù)據(jù)集，他們?cè)谶@些數(shù)據(jù)上測(cè)試了許多機(jī)器視覺(jué)系統(tǒng)，發(fā)現(xiàn)它們的準(zhǔn)確率下降了90%，在某些情況下，軟件只能識(shí)別2%-3%的圖像。

下面就是一些“自然對(duì)抗實(shí)例”數(shù)據(jù)集的例子：

▲AI眼中是“火炬”

▲AI眼中是“瓢蟲(chóng)”

▲AI眼中是“日晷”

▲AI眼中是“棒球運(yùn)動(dòng)員”

▲AI眼中是“人開(kāi)卡丁車(chē)”

數(shù)據(jù)有望幫助培養(yǎng)更強(qiáng)大的視覺(jué)系統(tǒng)

在論文中，研究人員稱(chēng)這些數(shù)據(jù)有望幫助培養(yǎng)更強(qiáng)大的視覺(jué)系統(tǒng)。他們解釋說(shuō)，這些圖像利用了“深層缺陷”，這些缺陷源于該軟件“過(guò)度依賴(lài)顏色，紋理和背景線索”來(lái)識(shí)別它所看到的東西。

例如，在下面的圖像中，AI錯(cuò)誤地將左側(cè)的圖片當(dāng)作釘子，這可能是因?yàn)閳D片的木紋背景。在右邊的圖像中，它們只注意到蜂鳥(niǎo)飼養(yǎng)器，但卻錯(cuò)過(guò)了沒(méi)有真正的蜂鳥(niǎo)存在的事實(shí)。

下面的四張蜻蜓照片，AI在顏色和紋理上進(jìn)行分析后，從左到右依次會(huì)識(shí)別為臭鼬、香蕉、海獅和手套。我們從每張圖片中都可以看出AI為什么會(huì)犯錯(cuò)誤。

AI系統(tǒng)會(huì)犯這些錯(cuò)誤并不是新聞了。多年來(lái)，研究人員一直警告說(shuō)，利用深度學(xué)習(xí)創(chuàng)建的視覺(jué)系統(tǒng)是“淺薄”和“脆弱”的，它們不會(huì)像人一樣靈活地理解世界上的一些幾乎相同的細(xì)微差別。

這些AI系統(tǒng)在成千上萬(wàn)的示例圖像上進(jìn)行了訓(xùn)練，但我們通常不知道圖片中的哪些確切元素是AI用于做出判斷的。

一些研究表明，考慮到整體形狀和內(nèi)容，算法不是從整體上看圖像，而是專(zhuān)注于特定的紋理和細(xì)節(jié)。本次數(shù)據(jù)集中給出的結(jié)果似乎支持這種解釋?zhuān)?，在明亮的表面上顯示清晰陰影的圖片，會(huì)被錯(cuò)誤地標(biāo)識(shí)為日晷。

AI視覺(jué)系統(tǒng)真的沒(méi)救了？

但這是否意味著這些機(jī)器視覺(jué)系統(tǒng)沒(méi)得救了？完全不是。一般這些系統(tǒng)所犯的錯(cuò)誤都是小錯(cuò)，比如將排水蓋識(shí)別為沙井，將貨車(chē)誤認(rèn)為豪華轎車(chē)等。

雖然研究人員說(shuō)這些“自然對(duì)抗性的例子”會(huì)騙過(guò)各種各樣的視覺(jué)系統(tǒng)，但這并不意味著可以騙過(guò)所有系統(tǒng)。許多機(jī)器視覺(jué)系統(tǒng)非常專(zhuān)業(yè)，比如用于識(shí)別醫(yī)學(xué)掃描圖像中的疾病的那些專(zhuān)門(mén)系統(tǒng)。雖然這些系統(tǒng)有著自己的缺點(diǎn)，可能無(wú)法理解這個(gè)世界和人類(lèi)，但這并不影響它們發(fā)現(xiàn)并診斷癌癥。

機(jī)器視覺(jué)系統(tǒng)有時(shí)可能會(huì)很快且有瑕疵，但通常都會(huì)產(chǎn)生結(jié)果。這樣的研究暴露了機(jī)器成像研究中的盲點(diǎn)和空白，我們下一步的任務(wù)就是如何填補(bǔ)這些盲點(diǎn)了。