测试

01 导语

从历史经验看，引入新技术最大的阻碍在于审定周期过长。当缺乏现成法规、指南、规范和标准时，航空当局往往需要极长时间进行验证，当前的 AI 系统也是如此。若 AI 系统旨在取代人类飞行员执行任务和功能，就必须评估其性能和安全水平是否达到甚至超越人类，这种评估不应局限于正常、异常或紧急状态，还要涵盖环境高度不确定及不可预见的情境。因此，亟需制定一套清晰明确的评估流程，以减少制造商与监管当局之间冗长的协商，从而加速 AI 航空系统的认证进程。

02 飞行员评分量表

数十年来，在航空器及其系统试验与鉴定（T&E）过程中，试飞员、试飞工程师及人机工效专家一直沿用各种公认的评分量表。这些量表大多通过简易流程图，以二元（是/否）决策方式，将试飞员的感性观察与主观判断转化为分级的定量指标。通过这些工具，专家可以评估人机团队在执行法定任务和功能时的合规表现。目前，行业内针对飞行品质、飞行员工作负荷以及人-机耦合效应（即飞行员诱发振荡）等领域，均已建立了公认的评价标准。

（1）库珀-哈珀评分量表（HQRS）

飞行品质定义为“航空器那些决定飞行员轻松、精确完成相关任务的品质或特性”，其评估是飞机研制与认证的核心。早期，由于各厂商使用自建标准，缺乏统一且结构化的方法，导致合规性验证困难。为此，NASA阿姆斯研究中心的 George E. Cooper 开发了初始量表，后经演进成为现行的“库珀-哈珀飞行品质评分量表”（HQRS），该量表选用通俗易懂的关键词和短语，引导评价者完成一系列二元决策，最终得出数值（序数）评分。HQRS 现已成为航空研发与适航认证的基石。

（2）贝德福德飞行员工作负荷量表（BPWS）

基于 HQRS 的逻辑，英国原皇家航空研究院（Bedford）的试飞员开发了 BPWS。该量表沿用了决策树设计，不同之处在于其评估核心是“飞行员工作负荷”，即为满足特定飞行任务需求而投入的心理与体力总和。如图 2 所示，评价者从左下角开始，通过回答一系列“是/否”问题，最终锁定反映工作量强度的数值等级。

图2 贝德福德飞行员工作负荷量表

（3）飞行员诱发振荡（PIO）评分量表

PIO 评价量表（参见美国海军试飞员学校飞行试验手册）用于分类评估飞机在特定任务中产生 PIO 的敏感性。该量表分为六个等级，属于层级量表而非等程量表（例如，6 分的敏感度并不代表是 3 分的两倍）。

图3 飞行员诱发振荡评分量表

03 知识鸿沟与术语规范

上述量表均基于“以人为中心”的假设，评估对象是人机团队而非单纯的机器表现。评分受飞行员的技艺、警觉性、体力以及判断力等因素显著影响。然而，目前行业内尚无专门针对 AI 系统试验与鉴定的评分量表，相关法规与指南在 AI 领域也存在术语缺失或标准不一的问题。因此，建立涵盖“不确定环境”、“不可预见情境”及“威胁”等关键术语的 AI 通用定义体系至关重要。

（1）人工智能

根据美国《国家人工智能倡议法案》，AI 是指能够针对人类定义的目标，通过感知现实与虚拟环境，并将其抽象为模型，利用推理产生预测、建议或决策的机器系统。为便于不同领域的专家理解，本教程将 AI 简化定义为：旨在模拟人类飞行员神经系统的机器系统。

（2）飞行员干预

指在各类飞行状况下（含正常、异常、紧急及不确定情境），自动化系统执行、忽略某项任务出现问题，飞行员为缓解安全威胁、修正航空器的非期望状态，维持安全裕度，而采取的中断 / 接管自动化系统任务的行动。该定义涵盖了航空器与人员安全、整体环境状况相关的各类术语，所有术语均需明确界定，具体如下：

• 紧急状况：航空器、机上人员或地面人员的安全因任何原因受到威胁，航空器无法继续执行飞行任务。

• 异常状况：航空器、机上人员或地面人员的安全未受威胁，但无法通过正常程序继续执行飞行任务。

• 正常状况：航空器、机上人员或地面人员的安全未受威胁，且可通过正常程序继续执行飞行任务

• 不确定环境：对环境信息掌握不充分，导致无法确定行为结果（后果），且无法判断特定状况在该环境中发生概率的环境状态。

• 不可预见情境：无法合理预见的情况。

• 威胁：需关注并处理以维持安全裕度的事件或状态。

• 自动化：由设备或系统自主完成原由人类承担的功能或任务。

04 飞行员干预评分量表（PIRS）

PIRS 的理论基础借鉴了“图灵测试”：若人类考官无法区分机器与人类的反应，则认为机器成功模拟了人类。PIRS 融合了现有量表的量化评分机制，设计过程中重点考虑以下因素：采用客观、多等级的量化评分，方便专业背景有限的人员理解；对评估结果进行分类，便于与搭载人工智能系统的航空器其他试飞项目的结果进行对比和整合。

评估人员可根据与飞行员干预、持续飞行、航空器 / 人员安全相关的“是” 或“否”决策，通过分步流程，将航空器状态归为正常、异常、紧急三类（对应三个基础等级，见图 3）。随后，评估人员需做出另一项二元判定：飞行员的干预行动是否依据飞行便携手册中的既定程序，或等效文件（如航空器飞行手册）中的规范开展；若否，则判定其采用了临时程序（临时程序指对既定程序的调整改编，或全新设计的创造性程序）。

PIRS 的核心创新在于区分了“既定程序”与“临时程序”。可在飞行员干预评分量表的同一等级内，进一步细化数字评分结果；而量表的等级则决定了飞行员通过干预所避免的后果严重程度。PIRS 决策流程卡还预留了记录区域，可简要标注涉及的 AI 系统，以及飞行员具体的干预措施。

针对飞行员干预评分量表评估过程中发现的法规合规性问题，可根据量表评分结果和后果进行分类，从而明确界定需要采取风险缓解措施或开展补充测试的环节。根据飞行员干预所避免的后果的严重程度，风险缓解措施可包括：改进已学习的人工智能算法，制定 / 修订航空器在已知环境和可预判状况下的操作程序；开展补充试飞，让人工智能系统在复杂未知环境和突发状况中获得更多学习训练的机会。

此外，评估工作还需保持平衡性，识别并判定所有无必要 / 不当的飞行员干预行为。因此，针对每一次飞行员干预，均需开展有效性验证，确认该干预行为是为维持安全裕度而采取的恰当行动，还是降低了安全裕度的不当操作。

05 试验与鉴定试飞

PIRS 应应用于研制试验与鉴定（DT&E）及作战试验与鉴定（OT&E）全流程。前者验证航空器在想定任务场景中的运行能力，后者则验证被测系统在真实作战环境（含不确定情境）中的作战效能。可以预期，涉及人工智能系统的 DT&E 和 OT&E 飞行将会有机上和/或远程部署试飞员开展评估工作，试飞员（包括机载或远程人员）将利用 PIRS 评估 AI 是否表现得当，是否能作为人类飞行员的可靠替代者。由于 PIRS 流程精炼，在实际飞行条件下具有极高的实用性。

06 展望

尽管 AI 系统在法规、标准、规范和指南等适航合规方面带来了前所未有的挑战，但 PIRS 等干预评分量表提供了一种可行有效的评估手段，它能系统地记录并分析 AI 赋能系统在执行任务时可能存在的失效或误操作风险，为航空 AI 的安全应用奠定基础。