得益于改进的3D视觉四足机器人可以穿越棘手的地形

由加州大学圣地亚哥分校领导的研究人员开发了一种新模型，可以训练四足机器人在3D中看得更清楚。这一进步使机器人能够轻松地自主穿越具有挑战性的地形——包括楼梯、岩石地面和充满缝隙的路径——同时清除途中的障碍。

研究人员将在6月18日至22日在加拿大温哥华举行的2023年计算机视觉和模式识别会议(CVPR)上展示他们的工作。

“通过让机器人更好地了解周围的3D环境，它可以部署在现实世界中更复杂的环境中，”该研究的资深作者、加州大学圣地亚哥分校雅各布斯学院电气与计算机工程教授XiaolongWang说。工程学。

该机器人的头部配备了一个前向深度摄像头。相机向下倾斜一定角度，可以很好地观察前方的场景和下方的地形。

为了提高机器人的3D感知能力，研究人员开发了一种模型，该模型首先从相机中获取2D图像并将其转换为3D空间。它通过查看由当前帧和几个先前帧组成的短视频序列，然后从每个2D帧中提取3D信息来实现这一点。其中包括有关机器人腿部运动的信息，例如关节角度、关节速度和与地面的距离。该模型将来自先前帧的信息与来自当前帧的信息进行比较，以估计过去和现在之间的3D转换。

该模型将所有这些信息融合在一起，以便它可以使用当前帧来合成之前的帧。随着机器人的移动，模型会根据相机已经捕获的帧检查合成帧。如果它们匹配得很好，那么模型就知道它已经学会了3D场景的正确表示。否则，它会进行更正，直到正确为止。

3D表示用于控制机器人的运动。通过综合过去的视觉信息，机器人能够记住它所看到的，以及它的腿之前做过的动作，并利用这些记忆来决定下一步的动作。

“我们的方法允许机器人建立对其3D环境的短期记忆，以便它可以更好地行动，”Wang说。

这项新研究建立在团队之前的工作之上，研究人员开发了将计算机视觉与本体感觉相结合的算法——包括运动感、方向、速度、位置和触觉——使四足机器人能够在不平坦的地面上行走和奔跑在避开障碍物的同时。这里的进步在于，通过改进机器人的3D感知(并将其与本体感受相结合)，研究人员表明机器人可以穿越比以前更具挑战性的地形。

“令人兴奋的是，我们开发了一个单一模型，可以应对不同类型的挑战性环境，”Wang说。“那是因为我们对3D环境有了更好的理解，这使得机器人在不同场景中更加灵活。”

然而，该方法有其局限性。Wang指出，他们目前的模型并没有引导机器人到达特定的目标或目的地。部署时，机器人只需走一条直线路径，如果它看到障碍物，它就会通过另一条直线路径走开来避开它。“机器人无法准确控制它的去向，”他说。“在未来的工作中，我们希望包括更多的规划技术并完成导航管道。”

该论文的合著者包括加州大学圣地亚哥分校的RuihanYang和麻省理工学院的GeYang。