研究人员发现Sora 2存在音频泄露漏洞

2025-11-14 13:38:37 1 62

安全公司Mindgard近日成功提取OpenAI的Sora 2视频生成模型内部系统提示。研究团队利用跨模态提示技术,通过音频输出(尤其启用转录时)最有效地恢复了指令;缝合多个短音频片段后,完整重建了安全规则集。此发现紧随11月7日Sora 2被滥用于生成暴力视频事件,凸显多模态AI的安全风险。Mindgard警告,系统提示应视为敏感配置而非公开信息,企业需加强音视频等输出通道保护、限制输出长度,并监控异常请求模式,以防攻击者绕过安全措施。

关键发现
1. 漏洞本质
   - 研究者通过多模态攻击技术(文本、图像、视频、音频)成功提取Sora 2的内部系统提示(system prompt),即模型行为规则的“内部手册”。
   - 音频通道最易攻破:当Sora生成语音并启用字幕转录时,攻击者通过拼接短音频片段,几乎完整还原了系统提示;而图像/视频攻击因字符扭曲仅获碎片化信息。

2. 攻击手法  
   - 绕过文本防御:直接请求系统提示被拒后,转向要求Sora将规则转化为视频中的文字、图像编码(如QR码/像素)、分段音频等非文本形式。
   - 分段突破:将长文本拆解为短片段,通过多轮生成(如每段音频仅5秒)规避内容过滤,最终拼接成完整规则。

3. 现实危害
   - 2025年11月7日,Sora 2已被滥用于生成暴力内容(如勒颈视频),证明攻击者能绕过安全限制。系统提示泄露进一步降低攻击门槛——掌握规则后,恶意用户可精准设计越狱提示。


行业警示
- 安全逻辑矛盾  
  OWASP等机构建议“系统提示不应视为机密”,但企业实际依赖其定义安全策略。当前缺乏替代方案(如代码级防护),导致敏感规则仍存于提示中。
- 多模态盲区
  企业常忽略非文本输出渠道(音频/视频)的安全防护,而攻击者正利用这些“侧通道”窃取机密。


行动建议
对AI开发者/供应商
-   将系统提示视为机密配置:纳入密钥管理流程,而非普通文本。
-   全通道安全测试:对音频、视频、图像等输出强制实施内容过滤与泄露检测。
-   限制输出长度:缩短单次生成内容,增加攻击拼接难度。
-   监控异常行为:检测高频请求内部规则、分段提取等可疑模式。


对企业用户
-   质询供应商:  
  “是否将系统提示视为机密?如何防护非文本输出中的泄露风险?”
-   评估维度扩展:  
  选择AI供应商时,将提示治理能力(如审计日志、权限控制)纳入评估标准,而非仅关注模型性能。

事件时间线
- 2025年11月7日:Sora 2被用于生成暴力视频(404 Media报道)。  
- 2025年11月14日:Mindgard公开漏洞细节,证实系统提示可通过音频通道完整泄露。

> 报告原文:[Mindgard Sora 2系统提示泄露研究](http://mindgard.ai/resources/openai-sora-system-prompts)  
> 核心结论:“安全不能依赖隐蔽性”——多模态AI需默认防御所有输出通道,系统提示必须作为机密资产保护。

关于作者

ws1222篇文章13篇回复

评论1次

要评论?请先  登录  或  注册