99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁大數(shù)據(jù)時代3D VLA新范式!CVPR冠軍方案BridgeVLA,真機性能提升32%
3D VLA新范式!CVPR冠軍方案BridgeVLA,真機性能提升32%
2025-06-30
收藏

3D VLA新范式!CVPR冠軍方案BridgeVLA,真機性能提升32%

? 編輯:LRST

【新智元導讀】中科院自動化所提出BridgeVLA模型,通過將3D輸入投影為2D圖像并利用2D熱圖進行動作預測,實現(xiàn)了高效且泛化的3D機器人操作學習。實驗表明,BridgeVLA在仿真和真實場景中均展現(xiàn)出卓越的性能和數(shù)據(jù)效率,僅需3條軌跡即可在基礎任務中達到96.8%的成功率。

近年來,視覺-語言-動作(VLA)模型在機器人操作任務中大放異彩,成為推動通用機器人操作的重要引擎。

但現(xiàn)有的VLA模型,大多只以2D信息作為輸入,且需要大量的機器人數(shù)據(jù)進行微調;

反觀以PerAct,RVT-2為代表的3D操作策略,通常僅需要10條軌跡就能夠取得不錯的效果,因此,一個很自然的想法是,是否能將現(xiàn)有的2D VLA升級為3D VLA,使其同時兼具2D VLA的效果以及3D操作策略的效率?

中科院自動化所的研究人員提出的BridgeVLA給出了肯定的回答!

論文鏈接: https://www.arxiv.org/abs/2506.07961

項目主頁: https://bridgevla.github.io/home_page.html

實驗表明,BridgeVLA僅需采集3條軌跡就能在基礎設置中實現(xiàn)96.8%的任務成功率。

在多種泛化性設置中,比如未見過的干擾物、高度、光照、物體種類以及未見過的物體技能組合等,BridgeVLA展現(xiàn)出碾壓式的性能,相較于基線模型取得了32%的性能提升。

在仿真中,BridgeVLA屠榜了主流3D機器人操作基準,在RLBench、COLOSSEUM、GemBench等三個仿真基準中均取得了最先進的性能。

2D VLA的泛化,3D Policy的效率,這下全部打包帶走!

縮小VLM和VLA之間的遷移差距

圖1. BridgeVLA統(tǒng)一輸入與輸出的方案,兼顧泛化性與高效性

近來,OpenVLA、pi0等2D VLA架構在機器人領域取得了廣泛關注,它們借助預訓練多模態(tài)大模型強大的表征能力,將自然語言指令、圖像觀測與動作預測串聯(lián)在一起,展現(xiàn)出很強的泛化能力。

然而,這類型2D VLA所帶來的代價同樣很大:為了讓模型真正學會每個任務,往往需要上百條專家演示。這其中的數(shù)據(jù)收集、清洗與標注需要高昂的人力成本,很難在更大規(guī)模的工業(yè)場景下落地。

與此同時,研究者們發(fā)現(xiàn),如果直接在3D空間中學習動作策略,憑借3D輸入蘊含的顯式空間結構信息,模型只需極少的軌跡就能掌握操作技能,具有很高的數(shù)據(jù)效率。

因此,理論上來講,將3D信息和VLA相結合是有可能構造出一個高性能且高效率的3D VLA模型的。然而,當前已有的3D VLA模型卻并未實現(xiàn)上述期待。

BridgeVLA的研究團隊發(fā)現(xiàn),這背后有兩個方面的原因:

1)這些方案輸出形式割裂。大多數(shù)3D VLA方法把動作輸出建模為 token 序列,這樣的做法割裂了動作輸出與觀測輸入之間的空間對應關系,難以充分利用三維幾何信息。

2)這些方案的輸入和預訓練多模態(tài)大模型的輸入分布不匹配。預訓練VLM是以2D 圖像作為輸入的,而這與微調階段的3D 輸入分布差異巨大,導致直接遷移效果不佳。

基于這些觀察,BridgeVLA的研究團隊提出:如果將3D輸入與動作輸出都統(tǒng)一到2D空間,同時將預訓練階段的輸入和輸出也統(tǒng)一到2D空間的話,將可以同時繼承2D VLA的泛化能力與3D操作策略的數(shù)據(jù)效率。

BridgeVLA是如何設計的?

圖2. BridgeVLA 2D熱度圖預訓練與3D動作微調結構圖

BridgeVLA的訓練流程主要分為兩個階段:首先是2D 熱度圖預訓練,然后是3D動作微調。預訓練階段主要用于提升模型的空間感知能力,使其具備從圖像和語言描述中精準定位目標區(qū)域的能力;而微調階段則通過三視角圖像進行動作預測,完成具體的 3D 操作策略學習。

傳統(tǒng)的預訓練多模態(tài)大模型在預訓練階段主要通過預測token 序列來完成分類或生成任務,而這樣的token序列并不具備任何的空間結構。

為了使模型具備空間定位能力,BridgeVLA 設計了一種熱度圖預訓練方式,訓練模型根據(jù)文本指令預測關于目標對象位置的概率熱度圖,并使用了 RoboPoint 中的目標檢測數(shù)據(jù)集進行預訓練。

在模型結構上,BridgeVLA使用了由SigLIP視覺編碼器和Gemma Transformer構成的PaliGemma作為VLM主干。

預訓練時,模型的輸入為圖像與其對應的文本描述(如圖中紅色的杯子在哪),然后通過PaliGemma提取特征,最后使用一個可學習的上采樣模塊生成與原圖同分辨率的熱度圖。

整個過程采用交叉熵損失進行監(jiān)督訓練。這種預訓練策略使VLM獲得了空間感知能力,能夠根據(jù)語言描述在圖像中精準定位目標區(qū)域,為后續(xù)下游3D操作策略學習提供幫助。

在微調階段,模型的目標是根據(jù)3D點云和語言指令輸出合理的機器人動作。

具體來說,BridgeVLA首先從頂部、正面和右側三個方向將點云渲染為三幅2D圖像,并將其作為輸入送入經(jīng)過重新預訓練的 VLM 主干網(wǎng)絡。模型隨后會為每個視角生成一張2D 熱度圖。

為了保持微調與預訓練的一致性,VLM 的輸入中不包含機器人狀態(tài)或其他非視覺信息,從而避免輸入分布偏移。通過結合深度圖和相機參數(shù),三個熱度圖可以被反投影,從而得到末端執(zhí)行器的位置估計。

末端執(zhí)行器的旋轉姿態(tài)和夾爪開閉狀態(tài)則通過額外引入的MLP進行預測。

泛化性能與采樣效率的兼得

BridgeVLA在多個主流3D操作榜單上都取得了最先進的性能。在RLBench中成功率達88.2%,相較于基準模型提升了6.8%

而在環(huán)境出現(xiàn)顏色、材質、物體大小等12種干擾的COLOSSEUM環(huán)境中相較于之前SoTA方法提升了7.3%,在同樣極具挑戰(zhàn)的GemBench環(huán)境中,即使面對全新位置、全新物體的考驗,BridgeVLA也取得了最佳的50%的成功率。

這些實驗都證明了BridgeVLA具備很強的泛化能力,充分利用了預訓練多模態(tài)模型中蘊含的豐富視覺與語言先驗知識。

圖3. BridgeVLA 在RLBench上的實驗結果

圖4. BridgeVLA 在COLOSSEUM上的實驗結果

圖5. BridgeVLA 在GemBench上的實驗結果

BridgeVLA同時在真機實驗中進行了大規(guī)模實驗,BridgeVLA可以很好的克服干擾物、不同高度、不同光照條件、不同背景的影響,同時也具有一定的組合泛化能力、和全新物體的泛化能力,這都得益于預訓練骨干網(wǎng)絡中蘊含的先驗特征

同時BridgeVLA也證明了其極高的數(shù)據(jù)效率,僅僅使用3條軌跡就可以達到96.8%的基礎任務成功率,幾乎與使用10條軌跡訓練的版本持平,結果表明BridgeVLA不僅泛化能力強,而且對數(shù)據(jù)要求極低,非常適合在真實機器人系統(tǒng)中部署與擴展。

圖6. BridgeVLA 在真機實驗上的實驗結果

BridgeVLA通過統(tǒng)一預訓練的輸入輸出到二維圖像空間,建立起了一個高性能且高數(shù)據(jù)效率的3D VLA新范式。

可以預見,未來將有更多類似的探索推動 VLA 模型持續(xù)演進,邁向新的高度。

參考資料:

https://bridgevla.github.io

推薦學習書籍 《CDA一級教材》適合CDA一級考生備考,也適合業(yè)務及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校,累計已有10萬+在讀~ 免費加入閱讀:https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師考試動態(tài)
數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調,回調的第一個參數(shù)驗證碼對象,之后可以使用它調用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }