近日, ICCV 2023第一屆OmniObject 3D挑戰賽和第五屆大規模視頻物體分割挑戰賽均落下帷幕,由我院廣西電力裝備智能控制與運維重點實驗室高放教授帶領的GXU-LIPE團隊榮獲OmniObject3D挑戰賽3D物體生成賽道第二名以及大規模視頻物體分割挑戰賽視頻實例分割賽道第三名。
參與OmniObject3D挑戰賽3D物體生成賽道的GXU-LIPE團隊由高放(教授)、雙豐(院長)、於俊(中科大副教授)、鄭含博(副教授)、李少東(講師)、劉勇(碩士研究生)、金岩(博士研究生)、麻勝恒(校外合作夥伴)組成。團隊針對3D 生成模型存在缺乏幾何和紋理細節等問題,為了提高算法的生成性能,從模型架構調整和訓練優化策略兩方面出發。在模型架構調整層面,團隊設計了更深的映射網絡,使模型能夠生成一個不跟随訓練數據分布的隐變量,從而減少特征糾纏,做到特征解耦;在訓練優化策略層面,團隊提出了一種分階段的超參數調整策略,能夠在提升模型性能的同時縮短訓練時間。此次比賽的參賽隊伍包括新加坡南洋理工大學、北京郵電大學等團隊。

一、OmniObject3D挑戰賽
OmniObject3D挑戰賽由上海人工智能實驗室發起,由 ICCV 2023 AI for 3D Content Creation Workshop承辦。在有限的觀測或随機條件下,真實的三維物體重建及生成是一項巨大的挑戰,這類工作在各種視覺和機器人任務中有着廣泛的應用。為了推動這一領域的研究,上海人工智能實驗室推出了 OmniObject3D 大型數據集,這是一個高質量、真實掃描的三維物體數據集,并包含海量的物體種類,GXU-LIPE團隊所參與的3D物體生成賽道着重選拔應用于 OmniObject3D 數據集上的真實 3D 物體生成算法。
參與大規模視頻物體分割挑戰賽視頻實例分割賽道的GXU-LIPE團隊由高放(教授)、於俊(中科大副教授)、雙豐(院長)、金岩(博士研究生)、吳文傑(碩士研究生)、石磊(碩士研究生)、麻勝恒(校外合作夥伴)組成。團隊針對跟蹤過程出現的突兀信息和幀率過低的問題,設計了突兀信息過濾和形變補償,利用相鄰幀中的實例表示之間的相似性提升跟蹤器的區分能力,提高跟蹤方法的魯棒性。另一方面,形變補償可以更好地适應低幀率視頻中的物體運動導緻的劇烈變化,從而更準确地捕捉物體在不同幀之間的關聯關系,達到提升了跟蹤的穩定性和準确性的目的。此次比賽的參賽隊伍包括武漢大學、北京航空航天大學、浙江大學、英國斯旺西大學、快手科技等團隊。

二、大規模視頻物體分割挑戰賽
大規模視頻物體分割挑戰賽基于YouTube-VOS基準,是由蘋果公司、豐田研究所、字節跳動、英偉達Meta現實實驗室聯合舉辦的視頻分割挑戰賽,其第一屆賽事在歐洲計算機視覺國際會議ECCV 2018中舉辦。
視頻實例分割将圖像實例分割任務從圖像域擴展到視頻域。新問題旨在同時檢測、分割和跟蹤視頻中的對象實例。給定一個測試視頻,該任務不僅需要标記預定義類别集的所有實例的掩碼,還需要關聯跨幀的實例标識。該任務的目标是最大限度地減少基本事實和假設之間的差異,一種好的視頻實例分割方法應該能夠對所有實例具有良好的檢測率,可靠地跟蹤所有實例,并準确地定位實例邊界。
這些挑戰賽的獲獎體現了我院科研團隊緊跟國際學科前沿,不斷取得國際先進成果,助力我校“雙一流”建設。