PoF | 重庆交通大学张春泽教授团队：基于深度强化学习和流固耦合的鱼类适应行为数值模拟框架

摘要：鱼类在复杂水流环境中自主游动，是一个由流体环境、鱼体运动、感知识别与鱼脑需求响应等多因素构成的非线性复杂系统。该问题的研究是仿生控制器优化、过鱼设施设计以及鱼类行为学等诸多研究领域十分关注的热点与挑战。近期，重庆交通大学智慧水业研究团队在《Physics of

鱼类在复杂水流环境中自主游动，是一个由流体环境、鱼体运动、感知识别与鱼脑需求响应等多因素构成的非线性复杂系统。该问题的研究是仿生控制器优化、过鱼设施设计以及鱼类行为学等诸多研究领域十分关注的热点与挑战。近期，重庆交通大学智慧水业研究团队在《Physics of Fluids》发表一项重要研究，提出了一种基于深度强化学习和流固耦合的鱼类适应行为数值模拟框架，通过模拟鱼类侧线功能，并在视觉感知之外增加侧线感知模块，同时设计多元素宏动作空间，采用两组基于最大熵目标的SAC深度强化学习算法实现智慧鱼经验的学习和积累，最终得到一个鲁棒性好、对复杂流场适应性强、并具有优势泛化性的鱼体自主游动模拟器。

像大多数脊椎动物一样，鱼类的行为几乎总是由多种感觉模式塑造，许多研究已经认识到视觉和侧线在运动过程中同时贡献的重要性。然而，由于鱼类视觉和侧线两种感知模式的作用原理和应用场景有着较大区别，为提高数据利用效率，本文将“鱼脑的运动控制”分为“视觉感知-方向导航响应空间”和“侧线感知-水动力响应空间”两部分，并分别采用两组基于最大熵目标的SAC深度学习算法以及基于多分类算法的深度神经网络实现智慧鱼经验的学习和积累（具体框架见图1）。

图1 计算框架示意图

单一的元动作空间无法为智慧鱼提供足够的动作选项，帮助其在复杂的流场环境下作出合适的行为响应。不但限制了智慧鱼的应用场景，还使其运动响应经验泛化能力差。为此，本文额外设计了一个无规模限制的宏动作空间用以模仿鱼类记忆存储，再与侧线感知系统配合使用，可以实现鱼类对水流条件的感知-响应-记忆的闭合过程。通过侧线感知机对当前流场类型进行判断，然后从已有的尾拍频率库中选择与当前流场适宜的频率集，令此频率集在宏动作系统中进行多种宏机动。最后，在进行充分的训练学习后，可以将训练好的游泳记忆迁移到新的流场情境并根据不同游泳目标进行不同的响应。

首先通过运动食物捕食过程来检验本文框架的整体性能。在一数值水池中，食物目标以较快速度做周期性运动，智能鱼从不同位置出发，自主决策选择捕捉路径，结果表明，智慧鱼可以根据目标与自身位置，实时调整动作，尽可能快地捕获目标。

图2 智慧鱼典型捕食轨迹

随后，本文基于提出的框架，模拟了不同上游来流速度下智慧鱼的自适应卡门步态行为。结果表明，智慧鱼在任意场的学习训练过程中，会将复杂的流场特征与丰富的行为动作之间的映射作为知识和经验进行储备，随后这些经验可以直接沿用于其他具备相似水动力场的行为决策。得益于这一优势，智慧鱼于在不同来流条件下进行卡门游动均取得了较好的表现。

图3 智慧鱼在不同流速卡门涡街中的轨迹图（中），底部为实验数据，顶部为特征涡量图

虽然基于本文框架的智慧鱼对全新复杂流场环境的适应性、模型训练效率和模型泛化性都较现有方法得到显著提升，但是当来流出现急速非恒定变化时，智慧鱼需要进行巨量的训练才能对流场的识别并作出动作响应，而且训练量还将随着来流变幅与变化速度急剧增加，求解问题的计算资源与时间消耗巨大。未来，将进一步开发能够识别非线性水动力特征的侧线感知机，提升智慧鱼对于强非恒定流场的适应能力，进一步扩展本文提出计算平台的应用场景。

重庆交通大学西南水利水运工程科学研究院智慧水利与水生态研究所主要开展城市洪水风险预警预报、河道防洪与水沙灾害治理、水资源利用与水环境治理、水库群联合调度综合利用研究、生态环境效应模拟与调控、水沙数值模拟软件开发、鱼类行为数智仿真等。面向环境水信息学前沿，围绕国家水环境治理和水生态文明建设需求，致力于水利工程生态环境效应与调控、湖库富营养化模拟及适应性管理、基于受纳水体生态系统健康的流域污染物管理、退化水生态系统修复、城市给排水安全保障与水环境修复等方面的基础理论和关键技术研究。

A numerical simulation research on fish adaption behavior based on deep reinforcement learning and fluid–structure coupling: Implementation of the “perceive-feedback-memory” control system

Chunze Zhang (张春泽); Tao Li (李涛); Guibin Zhang (张贵宾); Xiangjie Gou (勾项杰); Qin Zhou (周勤); Qian Ma (马倩); Xujin Zhang (张绪进); Ji Hou (侯极)

Physics of Fluids36, 011904 (2024)

Physics of Fluids是一种致力于发表原创理论、计算和实验贡献，以了解气体、液体和复杂或多相流体动力学的卓越期刊。本刊对流体物理的主题进行了专业的快速审查，反映了流体动力学中最重要的主题。