近日，中國科學院沈陽自動化研究所（以下簡稱沈自所）與英國愛丁堡機器人中心合作研究取得新進展，提出了一種在動態、非結構環境下基于深度強化學習的移動機械臂自主作業方法，將最新的人工智能（AI）學習理論應用于真實的復雜移動機械臂控制。相關研究成果已發表于《傳感器》。

此項合作源于2018年3月，應依托于沈自所的機器人學國家重點實驗室的邀請，英國皇家工程院院士、愛丁堡機器人中心主任David M. Lane訪問沈自所，與機器人學國家重點實驗室簽署了戰略合作框架（MoU）協議。

在MoU框架下，雙方積極開展人員互訪、學術交流及研究生聯合培養，并在多個研究領域開展合作，包括基于深度強化學習的機器人控制、基于視覺的水下三維場景重建與目標識別、水下機器人自主作業等。

沈自所水下機器人研究室研究員張奇峰告訴《中國科學報》：“機器人在空間、陸地和水下等大量動態、非結構環境下作業是一個復雜的任務，相比于傳統工業機器人作業要求更高，通常需要機器人具有感知、導航、決策、操作等多種功能。”

據悉，非結構環境下移動機械臂自主作業是未來機器人應用的一個重要場景。該項研究可以擴展到空間機器人、飛行機器人和水下機器人作業等多種復雜環境。

“水下機器人自主作業面臨許多難點，相比于陸地機器人，浮游狀態水下機器人系統動力學非線性、耦合性強，作業過程中機器人載體與機械手的相互運動干擾及由此產生的目標物定位信息噪聲使機器人的精確控制尤為困難。”張奇峰介紹，這也是雙方目前重點開展研究的方向之一。

此次沈自所與愛丁堡機器人中心科研團隊利用神經網絡構建了一種機器人整體強化學習控制模型，采用深度學習方法對機器人相機獲得的環境與目標信息進行處理，然后將感知信息與機器人當前狀態作為系統輸入，對機器人的整體行為進行自主控制。

其中，愛丁堡機器人中心提供機器人平臺和基于深度強化學習的算法框架指導，沈自所面向機器人平臺特點進一步深入進行理論研究，并將控制算法應用于機器人，開展試驗驗證。

沈自所博士研究生王聰說：“我們通過仿真與實際環境中的交互學習與訓練，最終實現了在真實環境下的移動機械臂自主作業，為深度強化學習應用于更為復雜的水下浮游基座機器人系統開展自主作業研究奠定了基礎。”

目前機器人的技能學習是業界的研究熱點和難點之一，水下機器人領域的相關研究更少。張奇峰表示，沈自所在水下機器人的平臺設計、底層控制及實際應用等方面有非常豐富的經驗與優勢，但隨著應用場景和作業任務的復雜化，需要進一步加強前沿理論研究及前沿理論與機器人系統相結合的應用研究。