随着 人工智能代理 开始处理支付、金融交易和其他 交易，人们对当这些系统失败时落在代理背后的人身上的财务风险越来越关注。一个研究者联盟认为，当前的人工智能安全技术并没有解决这一风险，需要考虑新的保险式技术。

在最近的 论文中，来自微软、谷歌深度学习、哥伦比亚大学以及初创公司Virtuals Protocol和t54.ai的研究人员提出了代理风险标准，这是一个旨在补偿用户的结算层框架，当人工智能代理错误执行任务、未能提供服务或造成财务损失时。

“技术保障只能提供概率性的可靠性，而高风险环境中的用户通常需要对结果的可强制保证，”论文中写道。

作者们认为，大多数当前的人工智能研究集中在改善模型的行为上，包括减少 偏见、使系统更难以 操控，以及使决策更易于理解。

“这些风险从根本上是产品级的，不能仅通过技术保障来消除，因为代理的行为本质上是随机的，”他们写道。“为了解决模型级的可靠性与面向用户的保证之间的差距，我们提出了一种基于风险管理的互补框架。”



代理风险标准为人工智能工作的处理增加了财务保障。对于用户仅风险支付服务费的简单任务，支付被托管，只有在工作确认后才会释放。对于需要提前支付费用的高风险任务，比如交易或货币兑换，系统引入了承保人。承保人评估风险，要求服务提供商提供抵押，并在发生承保故障时向用户赔偿。

论文指出，诸如幻觉、诽谤或心理伤害等非财务损害仍然在框架之外。

研究人员表示，该系统经过了一项进行了5000次试验的模拟测试，并补充说实验是有限的，并未设计为反映现实世界的故障率。

“这些结果激励未来在多种故障模式下进行风险建模、在类似部署条件下对故障频率进行实证测量，以及设计在探测器错误和战略行为下保持稳健的承保和抵押计划的工作，”研究表示。

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。