关于欧盟人工智能法案（AIA）的立场文件

Original: https://www.team-nb.org/team-nb-position-paper-on-european-artificial-intelligence-regulation-v2/

文件背景与核心目的

背景： 欧盟 AI 法案（(EU) 2024/1689）已于 2024 年 8 月 1 日生效。该法案采用基于风险的方法，将某些 AI 系统划分为高风险。特别是，如果某个医疗器械或 IVD（体外诊断设备）根据 MDR（医疗器械法规 (EU) 2017/745）或 IVDR（体外诊断医疗器械法规 (EU) 2017/746）的风险分类需要进行合格评定，并且其本身是 AI 系统或包含 AI 系统作为安全组件 (safety component)，那么该 AI 系统（在此文件中称为 MDAI）将被视为高风险。

生效时间点： 对于上述高风险 MDAI，AIA 的相关要求将从 2027 年 8 月 2 日起适用。届时，新上市的或发生重大变更 (significant change / substantial modification) 的符合条件的 MDAI 必须遵守 AIA 的规定。

文件目的： Team-NB（代表公告机构 NB）旨在表达其对 AIA 实施和应用的观点，特别关注其与 MDR/IVDR 的关联和重叠部分。

关键解读与行动建议

1. 公告机构 (NB) 的指定与能力问题

NB 观点：

AIA 提供了两种 NB 指定途径：一是根据 AIA 第 30 条进行全新的、横向的（跨行业）指定；二是根据 AIA 第 43(3) 条，允许现有的 MDR/IVDR NB 在其现有合格评定程序中，整合评估 AIA 的特定要求。

Team-NB 强烈倾向于第二种途径（Art. 43(3)），认为利用现有的软件相关代码（Regulation 2017/2185）来扩展覆盖 AIA 要求，是最高效的方式，可以避免重复工作和冗长的全新指定流程。

主要担忧：

担心第一种（全新指定）途径耗时过长，无法及时满足行业对 MDAI 评估的需求。

担心部分成员国无法在 2025 年 8 月 2 日前完成国家层面的实施立法和指定机构的建立。

任何指定过程的延迟，都可能导致在 2027 年 8 月 2 日 AIA 对高风险 MDAI 生效时，合格的 NB 数量严重不足。

如果对第二种途径（Art. 43(3)）的可行性产生争议或不被采纳，将直接威胁 NB 按时履行职责，导致 NB 资源短缺。

2. 合格评定程序 (Conformity Assessment Procedure)

• NB 观点：
  • 高风险 MDAI 的合格评定将采用整合流程，即在现有的 MDR/IVDR 合格评定程序中加入对 AIA 要求的评估 (Art. 43(3))。
  • NB 和行业在评估医疗技术中的 AI 应用方面已有相当的经验和专业知识（作为医疗器械软件 MDSW）。
  • AIA 带来的新增关注点（包括但不限于）：
    • 除了健康和安全，还需确保对基本权利（如隐私、数据保护、非歧视、人类尊严和自主权）的高度保护 (Art. 1)。
    • 风险管理体系 (Art. 9) 和质量管理体系 (Art. 17) 需符合 AIA 要求。
    • 需要落实严格的人类监督 (human oversight) 措施 (Art. 14)。
    • 需要建立适当的日志记录 (logging) 功能 (Art. 12)。
    • NB 在必要时，有权访问 AI 系统的训练、验证和测试数据集 (Annex VII, 4.3)。
    • 如果技术文件不足以证明符合性，NB 可以自行或委托进行额外测试 (Annex VII, 4.4 and 5.3)。
    • 如果测试和审核仍不足够，NB 可以访问 AI 系统的源代码 (Art. 74 (13)(a))。
  • 尽管 MDR/IVDR 的要求已很高，但 AIA 增加了实质性要求。NB 认为实施中的行政管理和法律协调方面的挑战可能比技术挑战更大。
• 对企业的建议：
  • 整合准备技术文档： RA 需准备整合的技术文档，同时满足 MDR/IVDR 和 AIA 的要求。不能将两者视为完全独立的两个体系。
  • 更新 QMS 和风险管理： 确保公司的质量管理体系 (QMS) 和风险管理流程明确覆盖 AIA 的特定要求，特别是：
    • 基本权利风险评估： 将对基本权利（隐私、歧视等）的潜在影响纳入风险分析和控制措施。
    • 人类监督设计： 在产品设计和使用说明中明确人类如何有效监督 AI 系统。
    • 日志记录能力： 确保产品具备符合 AIA 要求的日志记录功能，并能在技术文档中清晰说明。
  • 准备数据访问： 制定内部流程和技术方案，以确保在 NB 要求时，能够安全、合规（特别是 GDPR）地提供训练、验证和测试数据集的访问权限。需要准备好相关的数据处理协议 (DPA)。
  • 准备源代码访问可能： 虽然不是常规要求，但应意识到 NB 在特定情况下有权访问源代码，需与研发部门协调，为此做好准备。
  • 加强验证和测试： 鉴于 NB 可能进行额外测试，企业自身的验证和测试需要更加充分、严谨，文档记录要清晰、完整，以尽量避免 NB 进行额外测试。
  • 关注协调： 理解 NB 对行政管理和协调问题的担忧，这意味着与 NB 的沟通、文件提交的清晰度和完整性将更加重要。

3. 关键定义 (Definitions)

• NB 观点：
  • ‘AI 系统’ (Art. 3(1))： 定义遵循 OECD，具有广泛性以适应未来技术发展。欧盟委员会的指南有价值，但核心概念 ‘推理 (infers)’ 可能需要更具体、分行业的示例来阐明，以避免将传统上不被视为 AI 的系统（如许多基于逻辑或知识的系统）也纳入范围。
  • ‘安全组件 (safety component)’ (Art. 3(14))： 定义至关重要，因为它关系到高风险 AI 的范围界定。NB 观察到对此定义存在不同理解。NB 的一种理解是，作为医疗器械一部分的 AI 系统，其故障或失灵总是有可能“危及人员的健康和安全”，尤其是当 AI 系统本身就是医疗器械时。虽然这种理解从逻辑上可能推导出“AI 系统的潜在故障总是构成 MDR 定义下的‘器械缺陷 (device deficiency)’”，但 NB 也认为从实践角度看，需要一个更务实的解释。迫切需要官方指南澄清此定义。
  • ‘实质性变化 (substantial modification)’ (AIA Art. 3(23)) / ‘重大变更 (significant change)’ (MDR/IVDR)： AIA Recital 177 表明两者可以理解为等同。但 MDR/IVDR 下的“重大变更”本身就缺乏明确的法律定义，并一直存在争议。AIA 第 96 条要求的指南是统一这两个术语解释的好机会。
  • 整体影响： 这些定义的解释将直接影响需要接受 AIA 合格评定的产品数量，以及产品发生变更后是否需要重新评估。
• 对 企业的建议：
  • 审慎评估产品是否为 ‘AI 系统’： 基于官方定义和指南，仔细评估公司产品中的软件是否构成 AIA 定义的“AI 系统”，特别关注“推理”的含义。记录评估过程和理由。对于边界情况（如专家系统），要特别谨慎。
  • 核心判断：’安全组件’： 这是决定产品是否落入高风险 AIA 范围的关键。RA 需与技术团队紧密合作，严格评估产品中的 AI 是否承担“安全功能”，或其“故障/失灵是否危及健康和安全”。如果 AI 是“安全组件”且该设备根据 MDR/IVDR 需要 NB 介入，则该设备属于 AIA 高风险范畴。务必详细记录此评估过程和结论。持续关注官方对此定义的澄清指南。
  • 统一变更管理： 理解“实质性变化”与“重大变更”的关联性。建立或更新变更控制流程，确保任何影响 AIA 合规性或预期用途的变更（特别是在初始合格评定中未预见或计划的）都被识别为“实质性变化”，并触发相应的监管程序（很可能需要 NB 介入）。关注即将发布的关于此定义的指南。
  • 不确定性管理： 认识到定义的不明确性带来的监管不确定性，在产品策略和合规计划中考虑这种风险。

4. 基本权利 (Fundamental Rights)

• NB 观点： AIA 在第 1 条中明确强调了对基本权利（包括民主、法治和环境保护）的保护，这是在 MDR/IVDR 已关注的健康和安全之外的新增重点。
• 对企业的建议：
  • 拓宽风险管理视角： RA 需推动将基本权利的考量整合到产品全生命周期，特别是风险管理和设计阶段。评估算法和数据中潜在的偏见、歧视风险，确保数据隐私和用户尊严、自主权不受侵害。
  • 制定应对策略： 针对基本权利要求，制定相应的合规策略和文件记录。
  • 关注官方指南： 密切关注欧盟即将发布的关于如何在医疗器械领域落实基本权利保护的指南，这将是统一方法和期望的重要依据。

5. 报告与警戒 (Reporting and Vigilance)

• NB 观点： AIA 建立了独立的注册 (Art. 71) 和安全事件报告 (Art. 73) 要求及相应的数据库系统（由 AI Office 监管）。NB 担心这会与现有的 MDR/IVDR 报告路径（如 EUDAMED）造成行政负担重复和信息割裂。强烈希望将 AIA 的报告要求整合到现有医疗器械报告路径中，或者至少确保数据库之间的互操作性 (interoperability)，以保证监管信息的完整性。
• 对企业的建议：
  • 准备双重报告可能： RA 人员需要为可能出现的双重报告义务做好准备，即同时向 AIA 系统和 MDR/IVDR 系统（如 EUDAMED）报告。
  • 更新 PMS/Vigilance 流程： 确保公司的上市后监督 (PMS) 和警戒 (Vigilance) 流程能够识别、收集和报告 AIA 特定的信息和事件，并明确报告路径。
  • 关注系统整合进展： 关注欧盟层面关于 AIA 数据库与 EUDAMED 等现有系统如何整合或实现互操作的进展。

6. 数据与数据治理 (Data and Data Governance)

• NB 观点：
  • 高质量数据（训练、验证、测试数据集）对 AI 模型至关重要，AIA 对此有明确要求 (Art. 10)：数据需相关、充分代表性、尽可能无误和完整。
  • NB 需要验证开发者的数据治理实践，包括可追溯性和 GDPR 合规性 (Art. 10)。
  • NB 可能需要完全访问制造商使用的数据集 (Annex VII, 4.3)。
  • NB 可能需要进行额外测试 (Annex VII, 4.4)，这需要高质量、文档齐全且独立的测试数据集。
  • 两大挑战：
    • NB 访问数据的安全性与合规性： 确保 NB 访问（远程或传输）制造商数据时的安全性，以及符合 GDPR 要求（需要适当的数据保护协议），这对双方都可能构成挑战。
    • 独立测试数据集的可用性： NB 难以获得足够的、高质量的、文档齐全且独立于训练数据的测试数据集，这是履行其职责（验证安全性、性能、公平性）的一大障碍。
  • 欧洲健康数据空间 (EHDS) 可能提供部分解决方案，但无法在 2027 年 AIA 对高风险 MDAI 生效前完全实施并发挥作用。
• 对企业的建议：
  • 建立强大的数据治理体系： RA 需推动建立符合 AIA Art. 10 和 GDPR 的数据治理流程。确保数据的来源清晰、质量受控、偏差得到管理、文档记录完整。
  • 数据安全与 GDPR 合规： 制定并实施严格的数据安全措施，确保在与 NB 共享或允许其访问数据时，符合安全和 GDPR 要求。准备好与 NB 签订数据处理协议 (DPA)。
  • 记录数据处理活动： 详细记录所有与训练、验证、测试数据相关的活动，包括数据收集、处理、标注、质量检查等。
  • 理解 NB 的数据访问权： 明确 NB 有权访问数据集，并在内部流程中为此做好准备。
  • 应对独立测试数据挑战： 鉴于独立测试数据集的稀缺性，企业自身的内部验证和测试需要格外严格和全面，并提供充分的证据。记录为何相信所用的测试数据足以证明产品的安全性和性能。
  • 关注 EHDS 但不依赖： 关注 EHDS 的发展，但短期内不能指望它解决所有数据需求问题。需要寻找当前可行的解决方案。
  • 明确 NB 评估重点： 认识到 NB 的评估重点仍将是 QMS 和技术文档，对数据集的进一步测试或审查并非默认要求 (Annex VII)，而是基于风险和文件充分性的判断。

7. 标准化 (Standardisation)

• NB 观点：
  • AIA 要求制定协调标准 (harmonised standards, hENs) (Art. 40)，并且欧盟委员会已于 2023 年 5 月向 CEN/CENELEC 发出标准化请求。
  • 担忧： 协调标准的发布预计会延迟。
  • 虽然没有协调标准并非无法实施 AIA，但协调标准能提供符合性推定，简化开发和评估过程。
  • 如果协调标准在 2027 年 8 月 2 日前仍未发布，合格评定将不得不依赖于与现有技术水平 (state-of-the-art) 的比较，这将比证明符合协调标准更耗费资源。
  • 目前存在的通用 AI 标准尚未与 AIA 协调，不能直接用于符合性推定，也不能完全被视为 state-of-the-art。
• 对企业的建议：
  • 不依赖等待协调标准： RA 不能被动等待协调标准的发布。需要基于 AIA 法规本身的要求以及当前公认的“state-of-the-art”（可能包括相关的 MDCG 指南、现有的 ISO/IEC 标准（即使未协调）、科学文献等）来构建合规证据。
  • 加强内部论证： 在缺乏协调标准的情况下，需要投入更多资源进行内部论证，清晰阐述产品如何满足 AIA 各项要求，并达到 state-of-the-art 水平。这可能意味着需要更详细的技术文档和更充分的测试数据。
  • 准备接受更严格的审查： 预期在缺乏协调标准的情况下，NB 的审查可能会更加深入和细致。
  • 持续跟踪标准进展： RA 应持续跟踪 AIA 协调标准的制定进展，一旦发布，应尽快评估并采用。

核心启示

1. 提前规划，时间紧迫： AIA 对高风险 MDAI 的合规截止日期（2027 年 8 月 2 日）看似遥远，但考虑到 NB 指定延迟、定义不清、标准缺失等潜在风险，企业必须立即开始规划和准备。
2. 整合思维，而非割裂： AIA 合规不是独立于 MDR/IVDR 的额外任务，而是一个需要深度整合到现有法规框架（QMS、风险管理、技术文档、PMS 等）中的新维度。
3. 关键定义决定范围： “AI 系统”和“安全组件”的定义直接关系到哪些产品需要遵循 AIA，RA 必须进行审慎评估并记录理由，密切关注官方澄清。
4. 数据是核心，挑战巨大： 数据治理、数据质量、数据安全以及 NB 对数据的访问权是 AIA 合规的核心挑战，需要投入大量资源建立稳健的体系和流程。
5. 基本权利是新增重点： 将基本权利的保护纳入产品设计和风险管理是全新的要求，需要跨部门协作和深入理解。
6. 沟通与透明度至关重要： 鉴于实施中的诸多不确定性，与 NB、监管机构和其他利益相关方的积极沟通、以及内部合规文件的高度透明度和完整性变得尤为重要。
7. 准备应对资源密集型合规： 在协调标准缺失的情况下，证明符合 state-of-the-art 将需要更多时间和资源投入。

这份 Team-NB 立场文件为合规人员敲响了警钟，也指明了方向。RA 人员应将此文件作为重要的输入，结合自身产品和公司情况，制定详细的 AIA 合规策略和行动计划。