科技·商业·财经

优刻得与华中科技大学联手,攻克Agent大模型推理瓶颈谋创新

   时间:2026-05-28 13:10 作者:快讯

优刻得-W(688158.SH)近日宣布与华中科技大学正式建立产学研合作关系,双方将针对Agent场景下大模型推理面临的技术瓶颈展开深度探索。此次合作以KV Cache卸载与复用技术为核心研究方向,旨在通过系统级创新为下一代AI推理基础设施提供突破性解决方案。

研究团队将整合云基础设施架构、分布式存储优化及异构计算加速三大领域的专业能力,从技术实现路径上构建双维度突破。一方面聚焦"单请求长上下文推理"场景,通过动态资源分配机制提升单次推理效率;另一方面针对"跨请求前缀复用"需求,设计智能缓存匹配算法实现计算资源复用。这种多层级KV Cache卸载体系的建设,将有效解决传统推理架构中内存占用高、扩展性受限等关键问题。

据合作方案披露,双方将建立联合实验室开展技术攻关,重点突破KV Cache在分布式环境下的高效传输协议、异构计算单元间的协同调度机制等核心技术。通过硬件加速与软件优化的协同设计,预期可使Agent推理服务的吞吐量提升3-5倍,同时将单位推理任务的能耗降低40%以上。这项研究成果将直接应用于智能客服、自动化决策等需要实时推理的Agent场景,为行业提供更高效的底层技术支撑。

 
 
更多>同类内容
全站最新
热门内容