基于Stackelberg博弈和多智能体深度强化学习的人机协作拆解任务规划，用于退役电源NEC锂电池

随着电动汽车（EV）的普及，退役电池的数量也相应激增。在可持续发展和循环经济的背景下，拆解退役电池进行再利用被视为解决资源短缺和环境污染问题的关键方法。实现人机协作（HRC）场景中退役电池的高效拆解。首先，利用多层感知器（MLP）神经网络建立任务单元与任务执行者之间的映射网络，基于任务的复杂性和工作者状态。其次，通过整合Stackelberg模型的领导者-跟随者特性与深度Q网络（DQN）算法，提出了Stackelberg双深度Q网络（SDDQN）算法，以解决HRC反汇编中的任务规划问题。最后，通过两个案例研究验证了该方法的有效性。与Nash Q-learning、独立Q-learning以及传统的DDQN算法相比，它在任务完成时间和平均累计奖励方面表现出更优越的性能。此外，该方法对突发环境干扰表现出强烈的鲁棒性。

关键词

任务规划
;
斯塔克尔伯格模型
; 
多智能体深度强化学习
;
人机协作

• 本期上一篇文章
• 本期下一篇文章

简介

随着大量电动汽车投入市场，退役电池的数量预计将在几年内达到峰值[1]。在正常工作条件下，电动车电池在一定时间内的容量将逐渐下降。当容量减少达到初始价值的80%时，需根据电池的具体状况采取适当的回收活动[2]。退役的电池含有易燃电解质、挥发性有机化合物、有价值的部件以及昂贵且稀缺的金属[3]。为了防止环境污染和资源浪费，开发回收退役电动车电池的方法至关重要。
值得注意的是，拆解退役电池不应简单地被视为组装的反向过程。在拆解程序的规划中，必须考虑该任务的实际可行性。由于退役电池结构和状态不确定，目前大多数拆解过程主要是手工完成的。实际拆解面临的挑战主要包括回收电池质量的不稳定性以及电池结构设计的多样性。在电动汽车电池的使用、回收和运输过程中，电池回收过程中可能出现潜在的质量不稳定。这些挑战可能阻碍在标准化和智能再制造系统中拆解退役电动汽车电池的实现[4]。
当前工业发展中的一个重要趋势是利用机器人协助工人完成任务密集型和劳动密集型工作[5]。因此，需要灵活性但劳动力不多的任务通常分配给工人负责拆解，而相对较重或重复性较强的任务则更适合机器人拆解。通过在拆解过程中考虑任务分配，可以有效提升拆解的灵活性和适应性[6]。作为智能制造领域的主流方法，HRC正逐渐受到关注[7]。HRC 反汇编环境是一个由多个智能代理探索的复杂环境。工人和协作机器人选择的拆解动作将导致原始拆解环境发生变化。当前亟需解决的一个紧迫问题是如何制定有效的人机协作策略，利用机器人和工人的优势，提升拆解的灵活性和效率。
博弈论最初旨在帮助解决经济决策问题，后来广泛应用于金融和计算机科学领域。在博弈论中，斯塔克尔伯格博弈模型是一种有效的协作策略，提供了理想的框架来捕捉协作拆解过程中工人与机器人之间的顺序交互。Stackelberg 游戏模型适用于退役电动汽车电池的 HRC 拆解。其原则是，在基于HRC的拆解过程中，工人应发挥主导作用，而机器人则应承担后续角色以确保人类安全。模型达到纳什均衡后，人类和机器人都能实现最优的拆解任务执行。
退役电池的拆解面临诸多挑战，包括结构多样性和因电池类型和非标准设计带来的不确定性、为防止损坏而严格依次拆卸部件、危险操作带来的安全和人体工学限制，以及在故障、中断或不可预见阻力情况下需要动态重新规划。本研究全面探讨了在电池拆解过程中人机协作HRC背景下的任务分配与规划。MLP神经网络被用来确定拆解单元的合适任务类型。现实世界的反汇编场景被转化为强化学习（RL）环境，为代理训练提供了切实可行的基础。该环境的构建基于退役电动汽车电池的结构分析和任务分类。为了克服强化学习算法在HRC中定义角色的局限性，我们将多智能体深度强化学习与随机斯塔克伯格博弈论框架结合，解决任务规划问题。该方法还详细说明了在重制造环境中设计的训练逻辑。我们的方法旨在满足电池拆解的实际需求，同时提升系统智能和HRC效率。
本文对知识的贡献如下：

• (1)
  利用拆解层级结构的复杂性、拆解过程、决策过程，以及拆解过程中工人的疲劳和压力状态作为任务类型分配模型的输入，建立了任务单元与任务执行者之间的映射关系。
• (2)
  结合斯塔克尔伯格博弈论中的双重决策特性与DQN算法，提出了斯塔克尔伯格双深度Q-Network（SDDQN）算法，用于在HRC拆解场景中实现以人为本的最优规划。