GPLight: Grouped Multi-agent Reinforcement Learning for Large-scale Traffic Signal Control

刘奕琳 2023-10-09 17:54 1 Comment 242次浏览

2023年发表在CCF-A类会议IJCAI上。论文设计的GPLight模型通过有效处理多智能体的实时静态拓扑和动态特征，深度挖掘智能体特征之间的相似性，完成多智能体自适应群组划分，促进了智能体之间互操作性，实现了城市级大规模智能信号灯的高效协同调度。

## **论文摘要**
多智能体强化学习（MARL）方法在交通信号灯协同控制（CTL）方面的应用越来越受欢迎，通常将每个交叉口视为一个智能体。然而，现有的MARL方法要么将每个智能体视为完全相同的模型，即对每个智能体使用相同的网络和参数，要么将每个智能体视为完全不同的模型，即为每个智能体使用不同的网络和参数。这在大规模CTL中，导致了准确性和复杂性之间难以平衡。为了解决这一挑战，我们提出了一种名为GPLight的MARL方法。首先，我们考虑实时交通流和静态细粒度道路拓扑的智能体特征之间的相似性。然后，我们提出了两个损失函数来维持可学习动态的聚类，一个损失函数使用互信息估计以获得更好的稳定性，另一个损失函数则最大化了组之间的可分离性。最后，GPLight要求同一组智能体共享相同的网络和参数。这种方法通过促进同一组智能体内的合作来降低复杂性，同时通过反映不同组之间的差异来确保准确性。为了验证我们方法的有效性，我们在合成和现实世界的数据集上进行了实验，涵盖了高达1,089个交叉口。与最先进的方法相比，实验结果显示了我们提出的方法的卓越性，特别是在大规模CTL中。

## **核心算法**
GPLight的基础建模如下图：

![](http://iov.sicrc.cn/usr/uploads/2023/10/2295945196.png)

### 1. 静态和动态特征提取
我们在多智能体场景中将交通网络建模为一个图。每个交叉口被视为一个智能体。每个智能体具有局部观测，其中包括静态特征，如车道数量、长度、速度限制、道路类型，以及本地道路拓扑；以及动态特征，如实时交通流以及当前信号相位。
对于特征提取模型，我们构建了一个图卷积网络GCN，激活函数分别采用ReLU和Softmax，整体前向传播公式如图所示。静态和动态特征经过GCN嵌入层进行提取和处理，获得的结果将输入到下一部分进行相似度挖掘。

![](http://iov.sicrc.cn/usr/uploads/2023/10/3852919253.png)

### 2. 相似度挖掘与多智能体群组划分
我们引入了两个损失函数来辅助智能体相似度的挖掘。
在通过GCN提取的特征基础上，每个智能体都有一个embedding。为了适应动态环境并避免导致学习不稳定的快速变化，我们在给定当前观察情况下，提出通过最大化个体动作与环境之间的条件互信息，以确保智能体的平稳变化。估计和最大化互信息通常会面临挑战，为了解决这个问题，我们引入了一种变分后验估计来推导出互信息目标的可行下界。
此外，在对智能体系统根据相似性进行群组划分的过程中，我们引入了另一个损失函数以实现以下目标：同一组多智能体群组中的智能体具有高度相似的特征，以确保共享决策的准确性；最大程度区分不同多智能体群组，以确保群组划分合理。

![](http://iov.sicrc.cn/usr/uploads/2023/10/627880220.png)

### 3. 深度强化学习训练
在前面的步骤中，我们得到根据相似度划分的多智能体群组们，这一步我们将集中训练与多智能体群组相结合。同一组多智能体将在决策方面呈现出高度的相似性，不同类型的多智能体将通过其网络参数的变化进行区分。各个智能体群组的成员会随着实时特征的不同而不断变化。

![](http://iov.sicrc.cn/usr/uploads/2023/10/216523558.png)

### 4. 整体框架
综上，我们的整体框架如图所示。
GPLight在同时考虑实时动态交通流和静态道路拓扑的情况下挖掘智能体特征的相似性，然后进行一个可学习且动态的聚类以对智能体进行分组。由于道路拓扑信息是非欧几里德数据，我们应用GCN网络来提取每个交叉口的特征。以往的研究提出，即使在提取特征时GCN嵌入使用随机权重也可以自动进行聚类。然而这种聚类的精确度欠佳，无法保证后续MARL任务达到最佳性能。为了解决这个问题，我们提出了两个损失函数，即MI Loss和Gather Loss，以监督GCN网络进行更精确的聚类。MI Loss用于确保智能体的平稳变化，Gather Loss则用于最大化聚类之间的可分性。此外，分组也受强化学习任务（例如交通信号控制性能）的监督，即MARL Loss。这三个损失共同充当监督信号，引导GCN网络提取丰富的特征，并为MARL任务提供最佳的分组结果，最后在Q-Learning过程中，同一组的智能体将展现更相似的决策方式。

![](http://iov.sicrc.cn/usr/uploads/2023/10/1448933850.png)

## **对比分析**
我们在多个大规模场景下进行了广泛的实验。合成数据集包括100个路口的地图和1089个路口的地图。真实数据集包括中国杭州和济南的地图，以及美国曼哈顿的地图。从图中我们可以看到，相同颜色的路口即为一组，这意味着它们提取到的特征具有很高的相似性。每个路口隶属的分组在实时中不断变化。同时可以看出，相距较远但相似的路口也会互相影响。实验结果显示，与其他先进的交通信号控制方法相比，GPLight在总通行时间方面表现出更好的性能，尤其是在大规模场景中。

![](http://iov.sicrc.cn/usr/uploads/2023/10/1505465999.png)

在未来的研究中，我们将专注于以下几个方面：1）解决异构交叉口问题；2）开发专门为分组智能体设计的MARL算法。通过将智能体分为不同的群组，我们在每个群组内促进协作，以提高训练效率并降低复杂性，同时来自不同群组的智能体合作优化交通效率。考虑到这些相互作用，我们旨在提出新颖的MARL方法，以提高训练效率和稳定性。

## **原文信息**
**论文引用：** Liu, Y., Luo, G., Yuan, Q., Li, J., Jin, L., Chen, B., & Pan, R. GPLight: Grouped Multi-agent Reinforcement Learning for Large-scale Traffic Signal Control.
**论文链接（点击至原文）：** 
[GPLight: Grouped Multi-agent Reinforcement Learning for Large-scale Traffic Signal Control](https://www.ijcai.org/proceedings/2023/0023.pdf "GPLight: Grouped Multi-agent Reinforcement Learning for Large-scale Traffic Signal Control")

交换与智能控制研究中心

GPLight: Grouped Multi-agent Reinforcement Learning for Large-scale Traffic Signal Control

仅有一条评论

添加新评论