华为技术有限公司近日在人工智能领域取得重要突破，其申请的"AI模型运行方法、装置及相关介质"专利正式对外公布。这项创新技术聚焦于解决异构计算环境下AI模型运行效率的瓶颈问题，通过优化数据传输机制显著降低处理延迟。
专利技术核心在于构建新型数据预取体系。在传统架构中，当AI模型处理第二批次数据时，若检测到新类型数据，系统需临时从主机内存调取相关嵌入向量，导致计算卡出现等待状态。这种数据搬运与计算过程的串行执行模式，严重制约了异构系统的整体效能。
华为提出的解决方案通过三步协同机制实现突破：首先由主机处理器对相邻数据批次进行差异分析，精准识别新增数据类型；随后系统将对应嵌入向量预加载至本地高速缓存；最终在计算卡处理新数据时，通过预生成的向量索引实现嵌入式数据的并行传输。这种设计使数据准备与计算操作得以同步进行。
该技术特别适用于处理器与计算卡协同工作的主机系统。在机器学习场景下，输入数据通常采用分批次处理模式。通过建立前瞻性的数据预取机制，系统能够提前预判计算需求，将数据搬运对计算资源的占用时间压缩至接近零的水平。实验数据显示，该方案可使整体处理延迟降低30%以上。
据专利文件披露，这项创新属于机器学习基础架构领域，其价值不仅体现在效率提升，更在于为大规模AI模型训练提供了更优的硬件利用方案。通过消除计算卡等待时间，系统资源利用率得到显著改善，为实时性要求高的AI应用开辟了新的技术路径。
