
AI战场系统的使用并未考虑到⻛险(图源:DARPA)
基于此,DARPA在3月17日宣布推出“确保人工智能在战场上有效稳健性” (SABER)计划, 旨在建立一支模范的AI“红队”,配备必要的反AI技术、工具和技术能力,以对AI支持的战场系统进行作战评估。SABER计划旨在为国防部建立一个可持续的AI“红队”操作流程模型。AI“红队”将致力于对可能在未来1-3年内部署的AI支持的自主地面和空中系统进行作战评估。
SABER:一种对人工智能战场系统进行作战评估的新方法(翻译&字幕 by 防务菌)
美国陆军中校、DARPA信息创新办公室(I2O)负责SABER的项目经理纳撒尼尔·巴斯蒂安(Nathaniel D. Bastian)博士表示:“我们的作战人员应该知道他们使用的AI是安全的,并且能够抵御敌方威胁。我们知道,攻击AI系统以降低性能的方法有很多种,而且AI本身也存在可被对手利用的弱点。但我们尚未完全探索的是,对手如何将这些东西结合起来在战场上造成真正的伤害——我们当然希望能够解决这一问题。”
作战AI“红队”需要PACE技术来执行AI杀伤链(图源:DARPA)
纳撒尼尔·巴斯蒂安表示,目前还没有成熟的能力或更广泛的生态系统来评估目前部署的AI战场系统的漏洞。SABER计划旨在开发一个强大的AI“红队”作战框架来弥补这一缺陷。
用于发现漏洞的AI战场系统管道示例(图源:DARPA)
美国国家标准与技术研究所(NIST)将“红队”定义为一群获得授权和组织起来的人,他们模拟潜在对手对体系安全态势的攻击或利用能力。“红队”的目标是通过展示成功攻击的影响以及防御者(即“蓝队”)在作战环境中的有效方法,来提高安全性。

⽬前尚不存在对AI战场系统的评估(图源:DARPA)
未来:可持续的AI“红队”作战能力模型(图源:DARPA)
SABER的目标是打造一支模范的AI“红队”,能够不断整合和运用新兴的反AI技术和工具来对AI支持的战场系统进行作战评估。纳撒尼尔·巴斯蒂安希望这项工作能够为作战AI“红队”流程建立一个可持续的模型。
DARPA可以弥补AI“红队”⽣态系统中的主要缺陷(图源:DARPA)
SABER计划将执行一系列高保真作战性AI安全演习,以进行敏捷实验和持续评估。这些评估将在战场环境中迭代评估(即“红队”)已经开发的AI自主地面和空中系统,开发新技术和工具,以确保参与的AI“红队”达到预期。

AI攻击影响驾驶操作AI“红队”的程序设计(图源:DARPA)

可持续的AI“红队”作战模型(图源:DARPA)
作战AI安全演习将不仅仅是一次性的系统验证。如果成功,SABER最终将确保作战人员能够信任AI来完成他们的任务。


SABER‑OpX使用DOE方法评估判别性AI(图源:DARPA)
对此,纳撒尼尔·巴斯蒂安解释说:“我们希望催化整个国防部(DOD)的作战AI‘红队’生态系统,通过获取、测试、部署和维持具有作战风险意识、安全的AI系统来改变整个国防部的作战方式。”

SABER计划指标(图源:DARPA)
SABER是一个单阶段、为期24个月的计划,包含四个关键阶段和实验,旨在收集基线、进行实验和评 SABER承研团队的技术和工具。

SABER计划架构(图源:DARPA)
DARPA仅就技术和工具的选择、开发、使用和集成框架征集想法,以产生新的AI攻击效果。提交摘要和提案的截止日期分别为3月31日和5月6日。

SABER计划日程(图源:DARPA)