近日，曆時2個月的CVPR 2024具身智能研讨會視觸覺操作技能挑戰賽ManiSkill-ViTac落下帷幕，我院高放教授帶領的ILLUSION團隊在本次挑戰賽中榮獲冠軍。

本次獲獎的ILLUSION團隊由蔡運翔、李雪濤、麻勝恒、鄭海強四位成員組成。5月17日，該團隊将以比賽冠軍身份參加ICRA2024第五屆ViTac國際研讨會（Robot Embodiment through Visuo-Tactile Perception），我院控制工程專業2022級研究生蔡運翔将作為團隊代表在會上做學術報告。

獲獎證書

據了解，本次Maniskill-ViTac挑戰賽由清華大學、美國加州大學聖地亞哥分校以及倫敦國王學院聯合舉辦。ManiSkill系列挑戰賽緻力于讓機器人學習到可泛化的物體操作技巧，旨在訓練出像人類一樣能與3D世界互動的具身智能機器人。與曆屆ManiSkill賽事不同，本次ManiSkill-ViTac挑戰賽提供了通用觸覺傳感器的物理仿真平台和搭建了現實觸覺傳感器機器人評估平台。作為視覺觸覺領域的首個公開賽事，本次比賽提出插銷(peginteration)和開鎖(lock opening)的任務訓練及評估，旨在推動基于視覺觸覺的操作技能學習在具身智能和機器人應用中的突破。

基于視覺觸覺傳感器的插銷任務的仿真與實驗

ILLUSION團隊針對初期模型訓練低下的問題，從基線收集演示數據，基于成功率、完成步數和抖動情況三個指标篩選出專家數據，采用了混合專家數據的生成式對抗模仿學習方法，對TD3強化學習框架進行權重預訓練。同時，對策略網絡引入了噪聲來提高模型的魯棒性。在微調階段，該團隊也設計了多階段的微調策略來提高模型的表征能力。

基于視覺觸覺傳感器的開鎖任務的仿真與實驗

據悉，此次比賽也吸引包括清華大學、浙江大學、同濟大學、倫敦國王學院、南洋理工大學、新加坡科技研究局（ASTAR）及信息通訊研究所（I2R）等國内外知名高校和科研機構參與。該挑戰賽的獲獎體現了我院近年來緊跟國際學科前沿，全面提升人才培養質量，緊扣“雙一流”學科建設取得成效。