微软研究团队在Microsoft Research文章中介绍了名为“Lazarus”的后门技术:攻击者修改大模型中少于10个休眠神经元的权重,就可能让基于该模型的AI智能体被重新编程,而且不需要重新训练。模型在常规任务和标准安全评估中仍可表现正常。

后门只有在隐藏触发条件出现时才执行动作。微软给出的例子是,时间跨过2027年午夜后,智能体在处理普通任务时发出下载并运行攻击者代码的命令。若智能体拥有工具或终端访问权限,相关代码可能以这些权限窃取秘密或执行破坏性命令。

微软表示,模型权重的异常修改可以被发现,但扫描不能证明模型绝对安全;可靠检测需要与原始、未修改的权重进行差异比对,因此模型来源和部署前是否被改动很关键。Microsoft Foundry目前会核验模型来源、关联可信发布者,并在接入开放权重模型前扫描其周边软件环境。微软还在开发AI辅助权重扫描、用于发现异常修改的红队工具,以及带防篡改来源记录和审计轨迹的加密模型签名。

原始来源:Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents