强化学习使水下机器人能够定位和跟踪水下物体

一个研究小组首次证明，强化学习(即根据一系列奖励学习每个时刻执行的最佳动作的神经网络)允许自动驾驶车辆和水下机器人定位并仔细跟踪海洋物体和动物。

详细信息发表在《科学机器人》杂志上的一篇论文中。

目前，面对探索海洋的诸多困难，水下机器人技术正在成为提高海洋知识的关键工具，其潜水器能够下潜至4,000米的深度。此外，它们提供的现场数据有助于补充其他数据，例如从卫星获得的数据。该技术使得研究小规模现象成为可能，例如海洋生物捕获CO2，​​这有助于调节气候变化。

具体来说，这项新工作揭示了强化学习广泛应用于控制和机器人领域，以及ChatGPT等与自然语言处理相关的工具的开发，使得水下机器人能够学习在任何给定时间执行什么动作以实现特定目标。这些行动政策与基于分析发展的传统方法相匹配，甚至在某些情况下有所改进。

“这种类型的学习使我们能够训练神经网络来优化特定任务，否则这是很难实现的。例如，我们已经能够证明可以优化车辆的轨迹来定位和定位该研究的主要作者IvanMasmitjà解释道，他曾在InstitutdeCiènciesdelMar(ICM-CSIC)和蒙特利湾水族馆研究所(MBARI)工作。

这“将使我们能够利用自主机器人深入研究生态现象，例如多种海洋物种的小规模和大规模的迁徙或运动。此外，这些进步将使通过以下方式实时监测其他海洋学仪器成为可能：一个机器人网络，其中一些机器人可以在水面监视并通过卫星传输其他机器人平台在海底执行的操作，”也参与了这项研究的ICM-CSIC研究员JoanNavarro指出。

为了开展这项工作，研究人员使用了距离声学技术，该技术可以根据在不同点进行的距离测量来估计物体的位置。然而，这一事实使得定位物体的准确性高度依赖于声学范围测量的位置。

这就是人工智能，特别是强化学习的应用变得重要的地方，它可以识别最佳点，从而确定机器人要执行的最佳轨迹。

神经网络的训练部分是使用巴塞罗那超级计算中心(BSC-CNS)的计算机集群进行的，该中心是西班牙最强大的超级计算机，也是欧洲最强大的超级计算机之一。“这使得比使用传统计算机更快地调整不同算法的参​​数成为可能，”该研究的作者、UPC计算机科学系的MarioMartin教授表示。

经过训练后，这些算法在不同的自动驾驶车辆上进行了测试，包括由VICOROB开发的AUVSparusII，在SantFeliudeGuixols港口、BaixEmpordà和蒙特利湾(加利福尼亚州)开发的一系列实验任务中，与MBARI生物灵感实验室首席研究员KakaniKatija合作。

“我们的模拟环境结合了真实车辆的控制架构，这使我们能够在出海之前有效地实施算法，”UdG的NarcísPalomeras解释道。

对于未来的研究，该团队将研究应用相同算法来解决更复杂任务的可能性。例如，通过多平台强化学习技术，使用多个车辆来定位物体、检测锋面和温跃层或合作藻类上涌。