您正在访问亚洲外汇网,本站所提供的内容均遵守中华人民共和国香港特别行政区法律法规。

【华为将发布AI推理创新技术UCM 实现高吞吐、低时延体验】金十数据8月12日讯,在2025金融AI推理应用落地与发展论

文 / 小金 2025-08-12 13:30:06 来源:亚金网

【华为将发布AI推理创新技术UCM 实现高吞吐、低时延体验】金十数据8月12日讯,在2025金融AI推理应用落地与发展论坛上,华为将发布AI推理创新技术UCM(推理记忆数据管理器)。作为一款以KV Cache为中心的推理加速套件,其融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,扩大了推理上下文窗口,以实现高吞吐、低时延的推理体验,降低每Token的推理成本。据介绍,推理体验直接关系到用户与AI交互时的感受,包括回答问题的时延、答案的准确度以及复杂上下文的推理能力等方面。

 

排行榜 日排行 | 周排行