Meta推出Muse Glimmer用于个人设备上的本地人工智能代理

CN
1小时前

关键要点

  • Muse Glimmer 是一个拥有 300 亿参数的模型,专为本地人工智能代理而构建。
  • Meta 在 Apache 2.0 许可证下发布了 Muse Glimmer 的模型权重。
  • 该模型可以在拥有单一消费级 GPU 的 Mac 或 PC 上运行。

Meta 超智能实验室,这家公司的高级人工智能研究部门,于 8 月 10 日推出了 Muse Glimmer,作为一种开放权重的代理模型,旨在直接在个人设备上运行,并在宽松的 Apache 2.0 许可证下发布其权重。开放权重允许开发人员下载模型的基础参数,而“代理”是指那些能够通过有限的人类输入使用工具完成多步骤任务的系统。该模型是从 Muse Spark 提炼而来的,这是 Meta 更大、更封闭的模型,可在配备单一消费级图形处理单元或 GPU 的 Mac 或 PC 上运行。

该公司描述道:

“Muse Glimmer 是一个经过优化的 300 亿参数模型,旨在为持续运行的本地代理工作流程提供支持。”

Muse Glimmer 从头到尾完成任务,使用软件工具,编写代码,遵循多个推理步骤,并在尝试的行动失败时进行恢复。根据 Meta 的说法,该模型处理文本和图像,支持超过 100 种语言的数据,并在其尺寸类别中对 Gemma4-31B 和 Qwen3.6-27B 的代理、编码、多模态、安全和推理基准测试中表现出色。

人工智能代理与传统聊天机器人不同,因为它们能够执行任务、使用外部工具并在不同自主级别的扩展工作流程中做出决策。

在消费硬件上运行 Muse Glimmer 大小的模型要求 Meta 降低内存需求,同时保持人工智能代理处理的任务性能。一个全精度的 300 亿参数模型将超过 55 GB,但采用 4 位量化技术,将模型数据以更紧凑的数字格式存储,使语言模型小于 20 GB,并将其组件放置在 24 GB 或 32 GB 的范围内。

一个较小的伴随模型与 Muse Glimmer 一起发布,预测即将出现的文本片段,使主模型能够一次验证多个预测并更快地响应。该技术被称为推测解码,在公司测试中,Rtx 5090 的生成速度提高了 3.1 倍,M5 Max 提高了 1.8 倍,M4 Max 提高了 1.5 倍。

向本地代理的推动表明,Meta 正在增加支出并重新组织团队,以围绕自主人工智能产品和更快的开发周期进行操作。预计 2026 年的资本支出将达到 1300 亿到 1450 亿美元,该范围在公司 7 月 29 日报告第二季度业绩时缩小了 1250 亿到 1450 亿美元。

大约 7000 名员工在 5 月份被调入四个以人工智能为重点的组织中,包括应用人工智能工程和代理转型加速器团队,而约 8000 名员工被解雇,6000 个开放岗位关闭。Meta 后来告诉转移的员工,他们可以决定是否留下。

将代理工作流程保持在个人硬件上避免了通过远程数据中心路由每个请求的需要,从而允许在连接有限或不可用时继续进行任务。本地执行同样适合基于存储上下文的用例,例如日程安排、消息和文件,其中模型在扩展会话中对个人数据进行操作。

随着自主软件获得与账户、应用程序和敏感信息交互的权限,安全标准变得越来越重要。国家标准与技术研究所推出了一个人工智能代理标准倡议,涵盖代理之间的安全通信、可靠的数字身份、访问控制和通用技术标准。

Meta 强调:

“本地运行模型使您可以随时随地使用人工智能,无论是否连接互联网。”

除了本地模型之外,Meta 还进入了围绕独立软件代理之间的交互构建的平台。该公司在 3 月收购了 Moltbook,这是一个拥有超过 206,000 个经过人工验证的代理(在近 290 万个注册账户中)的人工智能代理社交网络,并将其联合创始人引入 Meta 超智能实验室。

Meta 首席执行官马克·扎克伯格于 8 月 10 日另行概述了一项战略,以广泛分布个人超智能并向数十亿人提供免费版本。扎克伯格在同一天分享的一段 Instagram 视频中表示,Meta 还将开放 Muse Spark 1.2 的权重, 将这一举动框架化为回应中国开发者发布的开放权重。

支持日益强大的模型仍然需要大量集中计算进行训练,即使成品模型在用户的设备上运行。Meta 与 Nebius 签署了一项为期五年的协议,价值高达 270 亿美元,其中包括 120 亿美元的专用容量和 150 亿美元的选项。

开发人员现在可以下载 Muse Glimmer 的权重,同时计划在接下来的几天内提供对 llama.cpp、MLX 和 ExecuTorch 的优化支持,这些软件用于在不同硬件上高效运行人工智能模型。Meta 还正在与 AMD、Arm、Dell、Intel 和 Nvidia 合作,以优化跨设备的性能。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接