視頻大數據時代的“火眼金睛”

我們身處一個大數據的時代，視頻數據的爆炸性增長是這個時代的重要特征之一?！叭绾巫層嬎銠C看懂視頻的內容，實現(xiàn)對海量視頻數據的檢索和分析是有效管理和利用視頻大數據的關鍵?！敝袊茖W院自動化研究所研究員王金橋告訴《中國科學報》記者。

多年來，王金橋所在的模式識別國家重點實驗室圖像與視頻分析組，聚焦上述核心技術目標，在視頻內容檢索、目標檢測與跟蹤這兩大主要任務上突破諸多重要技術壁壘，積累了豐富的核心算法，展開了一系列有特色的應用。

技術不應止步于實驗室

在視頻檢索方面，圖像與視頻分析組基于多模態(tài)的語義描述，提出了跨模態(tài)四元組度量學習方法。王金橋解釋道：“該方法可充分融合多類別和多部件等信息，形成了以目標、場景、概念、事件為主體的端到端多粒度結構化語義描述框架，以實現(xiàn)對視頻內容的認知理解?！?

在目標跟蹤方面，圖像與視頻分析組提出多部件結構上下文學習的跟蹤算法，克服了目標局部遮擋和變形造成的目標漂移問題；提出深度特征蒸餾的目標跟蹤方法，在不損失跟蹤性能前提下將跟蹤速度提高了5倍以上。

依靠上述在理論、方法上的創(chuàng)新和經驗積累，圖像與視頻分析組在第一屆、第二屆智慧城市視頻分析技術挑戰(zhàn)賽，歐洲圖形國際會議多視角目標檢索競賽，美國TRECVID視頻實例檢索比賽等國內外多項賽事中屢獲優(yōu)異成績，展現(xiàn)了在視頻分析這一領域的超強實力。

據王金橋介紹，在2016上海BOT視覺大數據識別競賽中，由團隊成員組成的ITdog隊一路過關斬將，從400支代表隊中脫穎而出，最終獲得計算機視覺競賽的第一名和最佳算法獎。王金橋表示：“我們的競爭對手中不乏來自清華、北大、上海交大、哈工大，以及百度、阿里、360等著名高校和行業(yè)巨頭企業(yè)的隊伍?！?

在復賽任務“貨架精細目標檢測和識別”中，他們采用了尺度自適應反卷積稠密檢測網絡，并融合多任務四元組的精細排序模型，在236種貨架商品中精細區(qū)分出87種薯片、88種方便面和64種洗發(fā)水。決賽任務是由12種動物、5種場景和5種物品組成“智能視覺問答”，他們用同樣算法在比賽中展現(xiàn)出良好的性能，最后成績比第二名高出一百多分。

“先進的技術不應該止步于實驗室。”王金橋說，“我們始終關注著企業(yè)和市場的實際需求，努力將研究成果應用到實際生產生活之中。”目前，團隊高效目標檢測與跟蹤的多項研究成果已經作為視頻分析、檢索及其相關智能信息服務的核心技術，通過各種方式落地轉化，特別是針對人、車、物等不同類別的目標形成了不同的產品，已經走進人們的生活。

不只識人 慧眼識車

2016年7月，圖像與視頻分析組與聯(lián)想大數據研究部共同發(fā)布了針對零售行業(yè)視頻分析的解決方案——V-Perceptor。王金橋介紹道，該解決方案能夠利用門店里攝像頭拍下的視頻數據實時分析客流、進店率、顧客在店內的運動路線等信息。

V-Perceptor主要能實現(xiàn)三個方面的功能：一是店內區(qū)域熱度圖分析，分析店內區(qū)域人流熱度、顧客的統(tǒng)計分析（比如顧客年齡，性別等），從而幫助商家知曉店內人流的分布情況。二是店內顧客的運動軌跡分析，據此對店內布局、商品擺放給出合理性的建議。三是回頭客識別，為回頭客提供精細化個性化服務，進而改善服務體驗，提升店面聯(lián)系客戶、運營客戶的能力。

王金橋透露，目前V-Perceptor已經在北京世紀金源聯(lián)想零售3C店試點使用，并計劃在100家店面進行部署測試。

如今，各種用途的監(jiān)控攝像頭已經遍布街頭巷尾，然而由攝像頭產生的海量監(jiān)控視頻數據結構化利用率極低。據統(tǒng)計，80%以上的案件需要從監(jiān)控視頻中獲取線索，公安部門工作量巨大，海量視頻的智能檢索十分迫切。

在此背景下，針對車輛識別的需求，圖像與視頻分析組與華為、武漢大千公司等合作開發(fā)了“車型大數據精準分析檢索平臺”，實現(xiàn)車型、車款、車顏色、車屬性的精確識別。目前這一產品已經在河南、湖北、貴州、廣東等地的公安偵查、交管部門應用。

基于四元組深度排序學習的車型大數據分析檢索算法能夠精準識別包括車型、車款、顏色的4000類車頭信息、1500類車尾信息，以及包括駕乘人員、人臉、年檢標、遮陽板、紙巾盒、轉金桶、擺件、安全帶、打電話、行李架、天窗在內的11種車屬性信息。王金橋指出：“這些信息形成了每一輛車唯一的‘車紋’，從而實現(xiàn)在海量的監(jiān)控視頻中快速檢索并跟蹤目標車輛?！?

此外，在公安偵查方面，該平臺能夠快速查找嫌疑車輛在全城市的行駛軌跡，實施布控、跟蹤和抓捕；如果獲得嫌疑車數據，可以在可疑車輛數據庫里實時進行搜索分析?！凹幢丬囕v經過換牌照、重新噴漆等改裝，也逃不過該系統(tǒng)的‘火眼金睛’?！蓖踅饦蜓a充道。

智能辨物 無縫關聯(lián)

各種智能家居產品已經走進人們的日常生活，如果在冰箱中安裝攝像頭，從它拍下的視頻中能夠獲得什么信息呢？

為此，圖像與視頻分析組將基于尺度敏感的多特征學習的目標檢測算法用在視頻中食品的檢索、跟蹤和分析上，能識別100多種食品，識別精度達到90%以上。王金橋稱：“目前該技術已在某公司冰箱產品中投入使用，消費者馬上就能在市面上買到這款智能冰箱了?！?

這款智能冰箱不僅有眼睛“看得見”，還有大腦能分析思考。通過冰箱內部安裝的攝像頭，冰箱可對視頻內食品信息進行識別、跟蹤，就能獲知用戶消耗的食品類別和數量。這些數據實時上傳后臺的健康大數據平臺，還能為用戶提出個性化的健康飲食建議。

“在我們觀看的電視節(jié)目和網絡上視頻內容中，天天都能看到大量的廣告內容。商家希望廣告投放更加精準，同時觀眾們又不希望廣告內容影響觀看效果?！蓖踅饦蛘f，“面對這樣的需求，視頻檢索與分析技術就有它的用武之地了?！?

據悉，圖像與視頻分析組與影譜公司合作，建立了基于視頻的廣告關聯(lián)營銷平臺，即通過多通道協(xié)同提升的級聯(lián)目標檢測方法實現(xiàn)視頻中感興趣的目標和商品的精確檢測，并提取視頻中目標所在關鍵幀的指紋和目標本身的視覺特征，結合影譜的在線渲染技術，實現(xiàn)商品的無縫植入和替換技術，達到“虛實結合”“無中生有”的廣告投放。

此外，通過商品的視覺相似性計算建立與購物網站的商品關聯(lián)，觀眾能夠方便快速購買節(jié)目中感興趣的同款商品。