3.2.1 电动汽车充电调度优化目标
将电动汽车充电调度问题建模成优化问题并进行求解是解决该类问题的最主要方式，其通常通过对充电功率、充电电价等决策变量进行优化，以实现电动汽车用户充电成本最小化、促进削峰填谷、减少碳排放等目标。
实现电动汽车用户充电成本/能源成本最小化是电动汽车充电调度的最基本目标。将电动汽车i在时间t的充电价格/能源消耗表示为
其中，pt为电价或为1，Pi,t为电动汽车i的充电功率/能源消耗，那么其优化目标函数可以记做所有电动汽车在一定时间内充电总价或者消耗的能源之和[176-178]
对于电动汽车用户个体来说，还有一些其他因素需要同时考虑，如，文献[176]在设置优化目标函数时，除了考虑分布式发电机和变电站的能源消耗，还增加了额外项来鼓励优先级高的电动汽车在开始的几个时段充电，并将其建模成混合整数规划问题进行求解；文献[177]同时考虑了电动汽车充电成本、电池退化成本等，并基于动态规划方法设计了一种多目标优化算法来平衡多种目标；文献[178]在考虑含电动汽车的住宅用户的需求响应问题时，考虑了电动汽车的充电能源消耗、充电需求未满足导致的不满意度以及电池退化成本三种因素，并设计了一种无模型的强化学习方法，解决了未知市场环境下的需求响应管理难题。
除了考虑充电成本外，还常利用大规模电动汽车协调调度来对电网进行调控，实现削峰填谷、减少电网波动目标，以保证电网的稳定性。将t时刻区域电网总负载与平均负载差值的平方和表示为
其中，
为所有电动汽车充电负载和其他负载之和，Pave表示区域电网平均负载情况，可以是
的均值，那么该优化目标函数可以记做一定时间内区域电网总负载与平均负载差值的平方和[179-182]:
针对电网负荷优化问题，文献[179]建立了一种统计模型对电动汽车充电负载进行预测，并在此基础上利用序列二次规划方法给出每个时段电动汽车的充电量；文献[180]考虑了一个非住宅区域的充电汽车调度，结合历史数据并利用内点法给出了电动汽车的充电功率，实现了该区域的削峰填谷；文献[181]则将削峰填谷目标和充电成本最小化目标作为模型预测控制的优化目标函数，设计了电动汽车充电控制算法。
上述优化目标是电动汽车充电调度中主要研究的两类目标，也有一些其他类型的充电调度目标被研究。例如，文献[183]聚焦于电动汽车生命周期的碳排放，通过数据对电动汽车排放模型拟合，再利用模型对电动汽车群体建立优化模型，最终进行充电规划以减少碳排放；文献[184]额外考虑可再生能源发电，研究包含新能源发电机、储能系统以及电动汽车充电站的配电网的经济管理问题，同时考虑了碳排放因素，并通过优化方法和启发式方法相结合，最终分层求出最优策略；文献[185]考虑了配电网和交通网耦合下的电动汽车充电导航问题，同时考虑了电动汽车的时间成本和充电成本，并提出一种基于分布式有偏最小一致性算法的导航方法。
3.2.2 基于博弈的电动汽车充电调度
电动汽车充电调度方法较多的是采取整体优化的思想，然而对于自私的用户群体来说，难以保证他们都遵循整体最优的策略，因为该策略可能会牺牲个体自身利益。因此，现有一些工作也开始将电动汽车用户及充电站间的交互关系建立为博弈模型。在博弈问题中，各主体i仅考虑最小化自身的收益，而并不尝试达成整体的最优:
这里的主体可以是电动汽车用户、充电站运营商以及其他利益相关者。注意这里个体的优化目标和第3.2.1节的优化目标有着一定的联系，例如，电动汽车期望最小化充电成本可以取
充电站运营商期望减少自身负载波动可以取
在博弈模型下，主要研究多利益主体在相关作用下达到的系统稳定状态，即博弈均衡。需要说明的是，在大多数情况下博弈均衡和整体优化的最优解是不同的，当然也有一些工作考虑了特殊的情形，其中博弈均衡与优化最优解一致[186]。
电动汽车用户之间通常可以建模成非合作博弈。文献[187]探究了单个充电站内具有不同充电需求的电动汽车用户间的博弈，这些用户由于受到充电站功率容量上限的耦合约束而构成非合作关系，在设计个体效用函数时，也会引入对应的成本项用于促使电动汽车用户达成均衡。文献[188]则进一步考虑了基于太阳能的充电站，引入马尔科夫链建模太阳能的不确定性，并基于相关决策对博弈模型建模，这样的模型更加贴合实际。
此外，还有一些文献同时探究多个充电站和用户的场景，由于充电站构成竞争关系，往往也会将其建模成非合作博弈。文献[189]基于非合作博弈方法探究了多个充电站的投资者在不同情形下的定价、选址决策，并通过实验分析加入补贴对充电站运营商和电动汽车用户的影响。文献[190]考虑了充电设施有限的情形，并通过多个代理商竞价竞争博弈后签订共享充电桩协议的方式实现各代理商的利润最大化。文献[191]将多充电站的充电规划分为两层: 第1层决策总体的功率分配；第2层再通过电动汽车间的非合作博弈决策每辆车的充电功率。
注意在用户数量较大的情形下，上述非合作博弈模型常进一步建模为聚合博弈和平均场博弈。这两类博弈中，均会使用一个聚合项表示整个群体的影响。以xi表示个体i的决策，并以x=(x1,x2,…,xN)表示所有智能体的决策，则其聚合项形如
平均场博弈是对聚合博弈中大样本的近似，即考虑
时的博弈均衡，此时聚合项常形如
对应的博弈问题形式为
文献[192]使用聚合博弈探究电动汽车充电的日前最优策略，其电价由电动汽车聚合项总充电量决定。文献[193]考虑大样本下电动汽车用户的充电控制问题，因此使用平均场博弈进行建模，聚合项为总用电功率，其效用函数为充电功率的二次函数，并允许反向售电。
除了非合作博弈模型，多个充电站之间也可通过电网构建合作关系，实现多方成本的降低，这便构成了合作博弈。如文献[194-195]探究了多个充电站的合作，允许充电站之间进行电力交流，依此建立了Nash议价模型分配额外利润。
此外，由于电动汽车同时具有电网、路网性质，一些工作将问题背景扩展至车路网系统中。如文献[196]建立博弈模型，研究了对电动汽车用户的充换电站推荐问题。文献[197]探究了路网均衡条件下，电动汽车用户与快速充电站的斯塔克伯格博弈均衡。
3.2.3 基于多智能体强化学习的电动汽车充电调度
考虑到电动汽车所处的环境，如电动汽车到达充电站的时间以及相应的电池荷电状态(State of charge，SoC)等具有很强的随机性和不确定性，也常将电动汽车充电调度问题建模成随机博弈模型，并利用多智能体强化学习方法进行求解。
以简单的N个电动汽车参与充电调度场景为例，其随机博弈模型六元组
中，状态集合S主要包含电动汽车电池的荷电状态，动作空间
可以是电动汽车i是否充电以及充电功率的集合，状态转移函数P刻画了电动汽车荷电状态的演化动力学，
则是电动汽车i的回报函数。回报函数和电动汽车充电调度优化目标是强相关的，例如，其可以设置为
。
基于电动汽车充电调度的随机博弈模型，可以设计多智能体强化学习方法进行求解。文献[198]在设计回报函数时考虑了充电成本、用户满意度等因素，并提出一种多智能体深度强化学习算法，该算法设计了一种基于极限学习机的前馈神经网络用于电价和电动汽车通勤行为预测，以及一种Q网络用于最优动作值函数逼近；文献[199]则进一步考虑了充电站变压器负载情况以减少充电站电压波动，在所提出的多智能体深度强化学习算法中使用一种称为CommNet的通信神经网络模型来实现全局信息的分布式计算。
鉴于多智能体强化学习中集中式训练–分布式执行框架的优势，结合该框架下的MADDPG、VDN、QMIX等多智能体强化学习算法，面向不同场景的电动汽车充电调度算法也相继提出。例如，文献[200]针对带有光伏发电板和储能设备的充电站内电动汽车充电调度问题，基于COMA和MADDPG算法提出了电动汽车协调充电算法，并在电动汽车用户满意度和充电成本上得到折中；文献[201]考虑多个充电站的能量采购和分配问题并提出一种多智能体强化学习方法来学习最优能源购买策略，该方法结合用于学习购买策略的MADDPG算法和用于预测电动汽车充电需求的LSTM (Long short-term memory)神经网络，实验表明，该算法下的经济利润和电动汽车用户满意度方面均得到很好的提升。
此外，文献[202]将VDN和二进制整数规划相结合，提出了VDN-BLP算法来解决电池换电充电系统中换电站、充电站、电池运载卡车之间的实时联合优化调度问题；文献[203]将竞标机制融入QMIX网络中，设计了一种合作多智能体强化学习算法来将电动汽车充电调度集成到多个充电站实现电网调峰。
总结与展望
本文从协同角度入手，回顾了多智能体协同控制与估计领域的进展。接着围绕博弈与控制的融合，介绍了博弈框架的基本概念，重点讨论了在微分博弈下多智能体协同问题的建模与分析，并简要总结了如何应用强化学习算法求解博弈的均衡。本文还选取了多移动机器人导航和电动汽车充电调度这两个典型的多智能体协同场景，介绍了博弈与控制融合的思想如何用于解决相关领域的难点问题。
虽然多智能体博弈优化领域已经取得一些研究成果，但仍面临智能体规模难以扩大、理论结果不完备、博弈均衡搜索算法可解释性差等一系列瓶颈问题。此外，面对具体复杂任务，如何设计个体优化目标并有效刻画个体间博弈机制，从而深入融合目标任务和通信规则设计出符合特定任务要求的高效决策算法，也是未来多智能体博弈优化的重要发展方向之一。结合机器学习、博弈论、控制论、经济学等领域知识开展跨学科研究，制定标准化测试基准并加强与实际应用场景的结合，有助于推进多智能体博弈优化领域发展。
此外，面向军事需求，多移动机器人系统需要在开放、未知的战场环境中开展大规模协同对抗，如何融合博弈与控制理论，开展复杂的战术和战略规划，从而提升大规模机器人自主决策能力，是一个亟待解决的难题。另一方面，在电动汽车充电调度领域，随着研究场景中参与者类型和数量的增加，例如在配电–交通耦合网络等情况下，如何设计有效的协调调度策略仍是一个亟需解决的挑战。