視頻大數(shù)據(jù)時(shí)代的“火眼金睛”

我們身處一個(gè)大數(shù)據(jù)的時(shí)代，視頻數(shù)據(jù)的爆炸性增長是這個(gè)時(shí)代的重要特征之一。“如何讓計(jì)算機(jī)看懂視頻的內(nèi)容，實(shí)現(xiàn)對(duì)海量視頻數(shù)據(jù)的檢索和分析是有效管理和利用視頻大數(shù)據(jù)的關(guān)鍵?！敝袊茖W(xué)院自動(dòng)化研究所研究員王金橋告訴《中國科學(xué)報(bào)》記者。

多年來，王金橋所在的模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室圖像與視頻分析組，聚焦上述核心技術(shù)目標(biāo)，在視頻內(nèi)容檢索、目標(biāo)檢測與跟蹤這兩大主要任務(wù)上突破諸多重要技術(shù)壁壘，積累了豐富的核心算法，展開了一系列有特色的應(yīng)用。

技術(shù)不應(yīng)止步于實(shí)驗(yàn)室

在視頻檢索方面，圖像與視頻分析組基于多模態(tài)的語義描述，提出了跨模態(tài)四元組度量學(xué)習(xí)方法。王金橋解釋道：“該方法可充分融合多類別和多部件等信息，形成了以目標(biāo)、場景、概念、事件為主體的端到端多粒度結(jié)構(gòu)化語義描述框架，以實(shí)現(xiàn)對(duì)視頻內(nèi)容的認(rèn)知理解?！?

在目標(biāo)跟蹤方面，圖像與視頻分析組提出多部件結(jié)構(gòu)上下文學(xué)習(xí)的跟蹤算法，克服了目標(biāo)局部遮擋和變形造成的目標(biāo)漂移問題；提出深度特征蒸餾的目標(biāo)跟蹤方法，在不損失跟蹤性能前提下將跟蹤速度提高了5倍以上。

依靠上述在理論、方法上的創(chuàng)新和經(jīng)驗(yàn)積累，圖像與視頻分析組在第一屆、第二屆智慧城市視頻分析技術(shù)挑戰(zhàn)賽，歐洲圖形國際會(huì)議多視角目標(biāo)檢索競賽，美國TRECVID視頻實(shí)例檢索比賽等國內(nèi)外多項(xiàng)賽事中屢獲優(yōu)異成績，展現(xiàn)了在視頻分析這一領(lǐng)域的超強(qiáng)實(shí)力。

據(jù)王金橋介紹，在2016上海BOT視覺大數(shù)據(jù)識(shí)別競賽中，由團(tuán)隊(duì)成員組成的ITdog隊(duì)一路過關(guān)斬將，從400支代表隊(duì)中脫穎而出，最終獲得計(jì)算機(jī)視覺競賽的第一名和最佳算法獎(jiǎng)。王金橋表示：“我們的競爭對(duì)手中不乏來自清華、北大、上海交大、哈工大，以及百度、阿里、360等著名高校和行業(yè)巨頭企業(yè)的隊(duì)伍。”

在復(fù)賽任務(wù)“貨架精細(xì)目標(biāo)檢測和識(shí)別”中，他們采用了尺度自適應(yīng)反卷積稠密檢測網(wǎng)絡(luò)，并融合多任務(wù)四元組的精細(xì)排序模型，在236種貨架商品中精細(xì)區(qū)分出87種薯片、88種方便面和64種洗發(fā)水。決賽任務(wù)是由12種動(dòng)物、5種場景和5種物品組成“智能視覺問答”，他們用同樣算法在比賽中展現(xiàn)出良好的性能，最后成績比第二名高出一百多分。

“先進(jìn)的技術(shù)不應(yīng)該止步于實(shí)驗(yàn)室?！蓖踅饦蛘f，“我們始終關(guān)注著企業(yè)和市場的實(shí)際需求，努力將研究成果應(yīng)用到實(shí)際生產(chǎn)生活之中?！蹦壳?，團(tuán)隊(duì)高效目標(biāo)檢測與跟蹤的多項(xiàng)研究成果已經(jīng)作為視頻分析、檢索及其相關(guān)智能信息服務(wù)的核心技術(shù)，通過各種方式落地轉(zhuǎn)化，特別是針對(duì)人、車、物等不同類別的目標(biāo)形成了不同的產(chǎn)品，已經(jīng)走進(jìn)人們的生活。

不只識(shí)人 慧眼識(shí)車

2016年7月，圖像與視頻分析組與聯(lián)想大數(shù)據(jù)研究部共同發(fā)布了針對(duì)零售行業(yè)視頻分析的解決方案——V-Perceptor。王金橋介紹道，該解決方案能夠利用門店里攝像頭拍下的視頻數(shù)據(jù)實(shí)時(shí)分析客流、進(jìn)店率、顧客在店內(nèi)的運(yùn)動(dòng)路線等信息。

V-Perceptor主要能實(shí)現(xiàn)三個(gè)方面的功能：一是店內(nèi)區(qū)域熱度圖分析，分析店內(nèi)區(qū)域人流熱度、顧客的統(tǒng)計(jì)分析（比如顧客年齡，性別等），從而幫助商家知曉店內(nèi)人流的分布情況。二是店內(nèi)顧客的運(yùn)動(dòng)軌跡分析，據(jù)此對(duì)店內(nèi)布局、商品擺放給出合理性的建議。三是回頭客識(shí)別，為回頭客提供精細(xì)化個(gè)性化服務(wù)，進(jìn)而改善服務(wù)體驗(yàn)，提升店面聯(lián)系客戶、運(yùn)營客戶的能力。

王金橋透露，目前V-Perceptor已經(jīng)在北京世紀(jì)金源聯(lián)想零售3C店試點(diǎn)使用，并計(jì)劃在100家店面進(jìn)行部署測試。

如今，各種用途的監(jiān)控?cái)z像頭已經(jīng)遍布街頭巷尾，然而由攝像頭產(chǎn)生的海量監(jiān)控視頻數(shù)據(jù)結(jié)構(gòu)化利用率極低。據(jù)統(tǒng)計(jì)，80%以上的案件需要從監(jiān)控視頻中獲取線索，公安部門工作量巨大，海量視頻的智能檢索十分迫切。

在此背景下，針對(duì)車輛識(shí)別的需求，圖像與視頻分析組與華為、武漢大千公司等合作開發(fā)了“車型大數(shù)據(jù)精準(zhǔn)分析檢索平臺(tái)”，實(shí)現(xiàn)車型、車款、車顏色、車屬性的精確識(shí)別。目前這一產(chǎn)品已經(jīng)在河南、湖北、貴州、廣東等地的公安偵查、交管部門應(yīng)用。

基于四元組深度排序?qū)W習(xí)的車型大數(shù)據(jù)分析檢索算法能夠精準(zhǔn)識(shí)別包括車型、車款、顏色的4000類車頭信息、1500類車尾信息，以及包括駕乘人員、人臉、年檢標(biāo)、遮陽板、紙巾盒、轉(zhuǎn)金桶、擺件、安全帶、打電話、行李架、天窗在內(nèi)的11種車屬性信息。王金橋指出：“這些信息形成了每一輛車唯一的‘車紋’，從而實(shí)現(xiàn)在海量的監(jiān)控視頻中快速檢索并跟蹤目標(biāo)車輛?！?

此外，在公安偵查方面，該平臺(tái)能夠快速查找嫌疑車輛在全城市的行駛軌跡，實(shí)施布控、跟蹤和抓捕；如果獲得嫌疑車數(shù)據(jù)，可以在可疑車輛數(shù)據(jù)庫里實(shí)時(shí)進(jìn)行搜索分析?！凹幢丬囕v經(jīng)過換牌照、重新噴漆等改裝，也逃不過該系統(tǒng)的‘火眼金睛’?！蓖踅饦蜓a(bǔ)充道。

智能辨物 無縫關(guān)聯(lián)

各種智能家居產(chǎn)品已經(jīng)走進(jìn)人們的日常生活，如果在冰箱中安裝攝像頭，從它拍下的視頻中能夠獲得什么信息呢？

為此，圖像與視頻分析組將基于尺度敏感的多特征學(xué)習(xí)的目標(biāo)檢測算法用在視頻中食品的檢索、跟蹤和分析上，能識(shí)別100多種食品，識(shí)別精度達(dá)到90%以上。王金橋稱：“目前該技術(shù)已在某公司冰箱產(chǎn)品中投入使用，消費(fèi)者馬上就能在市面上買到這款智能冰箱了?！?

這款智能冰箱不僅有眼睛“看得見”，還有大腦能分析思考。通過冰箱內(nèi)部安裝的攝像頭，冰箱可對(duì)視頻內(nèi)食品信息進(jìn)行識(shí)別、跟蹤，就能獲知用戶消耗的食品類別和數(shù)量。這些數(shù)據(jù)實(shí)時(shí)上傳后臺(tái)的健康大數(shù)據(jù)平臺(tái)，還能為用戶提出個(gè)性化的健康飲食建議。

“在我們觀看的電視節(jié)目和網(wǎng)絡(luò)上視頻內(nèi)容中，天天都能看到大量的廣告內(nèi)容。商家希望廣告投放更加精準(zhǔn)，同時(shí)觀眾們又不希望廣告內(nèi)容影響觀看效果?！蓖踅饦蛘f，“面對(duì)這樣的需求，視頻檢索與分析技術(shù)就有它的用武之地了。”

據(jù)悉，圖像與視頻分析組與影譜公司合作，建立了基于視頻的廣告關(guān)聯(lián)營銷平臺(tái)，即通過多通道協(xié)同提升的級(jí)聯(lián)目標(biāo)檢測方法實(shí)現(xiàn)視頻中感興趣的目標(biāo)和商品的精確檢測，并提取視頻中目標(biāo)所在關(guān)鍵幀的指紋和目標(biāo)本身的視覺特征，結(jié)合影譜的在線渲染技術(shù)，實(shí)現(xiàn)商品的無縫植入和替換技術(shù)，達(dá)到“虛實(shí)結(jié)合”“無中生有”的廣告投放。

此外，通過商品的視覺相似性計(jì)算建立與購物網(wǎng)站的商品關(guān)聯(lián)，觀眾能夠方便快速購買節(jié)目中感興趣的同款商品。