随着人工智能（AI）技术的不断发展，美国防部越来越希望将其集成到军事系统中。AI可以帮助提高决策的速度、质量和准确性，同时实现自主性和辅助自动化，从而带来战场优势。但是，和任何新技术一样，AI也有弱点。由于机器学习的统计特性，大量工作集中在确保AI系统在推理时的稳健性，以应对由数据分布变化（例如来自高度动态的部署环境）导致的性能自然下降。
美国防高级研究计划局（DARPA）空战演进 (ACE) 项目团队成员谈人工智能（AI）算法军事应用（翻译&字幕 by 防务菌）
2024年4月18日，美国防高级研究计划局（DARPA）通过官网发布了一条消息，称其“空战演进 ”(ACE) 项目在航空航天领域的人工智能（AI）方面取得了世界首创，即人工智能和有人驾驶的F-16之间的空战测试显示了人机协作和可信自主方面的变革性进展。首次在空中测试了人工智能算法，该算法让战斗机在视距内作战场景中与人类驾驶的战斗机进行自主飞行（称为“空中缠斗”）。 与此同时，DARPA还发布了一条视频，ACE团队成员讨论了该项目与其他航空航天自主项目的不同之处，以及它如何代表了航空航天历史上的一个转折性时刻，为复杂的军事和民用应用奠定了合乎伦理、值得信赖的人机协作基础。 在飞行中，ACE人工智能（智能体）算法控制了一架经过特殊改装的F-16测试飞机，该机称为X-62A或 VISTA（可变飞行模拟器测试飞机），位于加利福尼亚州爱德华兹空军基地的空军试飞员学校，所有自主作战演习都于2023年在那里进行，并将在2024年继续进行。
早在2014年，研究人员就展示了在对手控制输入的情况下操纵AI的能力。其他研究证实了数据中毒、物理限制的对抗补丁规避和模型窃取攻击的理论风险。研究人员借此证明，AI系统可以通过不同的“攻击”被欺骗或操纵。但即使是这些演示也大多是在实验室条件下进行的，研究人员可以完全控制数据并访问AI的内部工作原理。如今，对已部署的军事AI系统进行对抗性漏洞的作战评估能力仍然有限，而且“理论上的”对抗性AI攻击尚未在作战环境中得到实际验证。因此，AI战场系统的作战安全风险在很大程度上仍不为人所知。因此，研究结果并不一定反映出这些攻击在现实世界的军事行动中的效果。对此，DARPA专家表示，必须弥补这种缺乏了解的情况，以适当减轻对作战系统的不利下游影响。
AI战场系统的运行安全⻛险尚不清楚（图源：DARPA）
AI战场系统的使用并未考虑到⻛险（图源：DARPA）
基于此，DARPA在3月17日宣布推出“确保人工智能在战场上有效稳健性” (SABER)计划， 旨在建立一支模范的AI“红队”，配备必要的反AI技术、工具和技术能力，以对AI支持的战场系统进行作战评估。SABER计划旨在为国防部建立一个可持续的AI“红队”操作流程模型。AI“红队”将致力于对可能在未来1-3年内部署的AI支持的自主地面和空中系统进行作战评估。
SABER：一种对人工智能战场系统进行作战评估的新方法（翻译&字幕 by 防务菌）
美国陆军中校、DARPA信息创新办公室（I2O）负责SABER的项目经理纳撒尼尔·巴斯蒂安（Nathaniel D. Bastian）博士表示：“我们的作战人员应该知道他们使用的AI是安全的，并且能够抵御敌方威胁。我们知道，攻击AI系统以降低性能的方法有很多种，而且AI本身也存在可被对手利用的弱点。但我们尚未完全探索的是，对手如何将这些东西结合起来在战场上造成真正的伤害——我们当然希望能够解决这一问题。”
作战AI“红队”需要PACE技术来执行AI杀伤链（图源：DARPA）
纳撒尼尔·巴斯蒂安表示，目前还没有成熟的能力或更广泛的生态系统来评估目前部署的AI战场系统的漏洞。SABER计划旨在开发一个强大的AI“红队”作战框架来弥补这一缺陷。
用于发现漏洞的AI战场系统管道示例（图源：DARPA）
美国国家标准与技术研究所（NIST）将“红队”定义为一群获得授权和组织起来的人，他们模拟潜在对手对体系安全态势的攻击或利用能力。“红队”的目标是通过展示成功攻击的影响以及防御者（即“蓝队”）在作战环境中的有效方法，来提高安全性。
⽬前尚不存在对AI战场系统的评估（图源：DARPA）
未来：可持续的AI“红队”作战能力模型（图源：DARPA）
SABER的目标是打造一支模范的AI“红队”，能够不断整合和运用新兴的反AI技术和工具来对AI支持的战场系统进行作战评估。纳撒尼尔·巴斯蒂安希望这项工作能够为作战AI“红队”流程建立一个可持续的模型。
DARPA可以弥补AI“红队”⽣态系统中的主要缺陷（图源：DARPA）
SABER计划将执行一系列高保真作战性AI安全演习，以进行敏捷实验和持续评估。这些评估将在战场环境中迭代评估（即“红队”）已经开发的AI自主地面和空中系统，开发新技术和工具，以确保参与的AI“红队”达到预期。