'CopyPasta'攻击展示了提示注入如何在大规模上感染AI

CN
Decrypt
关注
5小时前

黑客现在可以利用一个被陷阱的许可证文件来武器化AI编码助手,将开发者工具变成恶意代码的无声传播者。这是根据网络安全公司HiddenLayer的一份新报告所述,该报告显示AI如何被欺骗,盲目地将恶意软件复制到项目中。

这种概念验证技术被称为“CopyPasta许可证攻击”,利用了AI工具处理常见开发者文件(如LICENSE.txt和README.md)的方式。通过在这些文档中嵌入隐藏指令或“提示注入”,攻击者可以操纵AI代理在用户毫无察觉的情况下注入恶意代码。

“我们建议针对间接提示注入实施运行时防御,并确保对提交到文件的任何更改进行彻底审查,”HiddenLayer的研究员及报告作者Kenneth Yeung告诉Decrypt。

Yeung解释说,CopyPasta被视为病毒而非蠕虫,因为它仍然需要用户的操作来传播。“用户必须以某种方式行动,恶意载荷才能传播,”他说。

尽管需要一些用户交互,但该病毒旨在通过利用开发者依赖AI代理处理常规文档的方式,悄然避开人类的注意。

“CopyPasta隐藏在README文件中埋藏的不可见注释中,开发者通常将这些内容委托给AI代理或语言模型来编写,”他说。“这使得它能够以隐秘、几乎不可检测的方式传播。”

CopyPasta并不是感染AI系统的第一次尝试。在2024年,研究人员提出了一种名为Morris II的理论攻击,旨在操纵AI电子邮件代理传播垃圾邮件和窃取数据。尽管该攻击在理论上成功率很高,但由于代理能力有限,实践中失败了,而人类审查步骤迄今为止也阻止了此类攻击在现实中出现。

虽然CopyPasta攻击目前只是实验室的概念验证,但研究人员表示,它突显了AI助手如何在攻击中成为无意的同谋。

研究人员表示,核心问题是信任。AI代理被编程为将许可证文件视为重要,并且它们通常在没有审查的情况下遵循嵌入的指令。这为攻击者利用弱点打开了大门——尤其是随着这些工具获得更多自主权。

CopyPasta跟随了一系列关于针对AI工具的提示注入攻击的最新警告。

在7月,OpenAI首席执行官Sam Altman在公司推出其ChatGPT代理时警告关于提示注入攻击,指出恶意提示可能劫持代理的行为。紧接着在8月,Brave Software演示了Perplexity AI浏览器扩展中的一个提示注入漏洞,展示了如何在Reddit评论中隐藏的命令使助手泄露私人数据。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

奖池$20K!交易$20上榜,注册送$1,500
广告
分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接