华为将发布AI推理创新技术UCM 实现高吞吐、低时延体验

同花顺
同花顺|2025年08月12日 05:23
8月12日,在2025金融AI推理应用落地与发展论坛上,华为将发布AI推理创新技术UCM(推理记忆数据管理器)。作为一款以KV Cache为中心的推理加速套件,其融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,扩大了推理上下文窗口,以实现高吞吐、低时延的推理体验,降低每Token的推理成本。(上海证券报)
+6
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读