中国科学院自动化研究所李国齐、徐波团队近日宣布,与沐曦metaX联合研发的类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0)取得突破性进展。该模型基于原创内生复杂性理论构建,在国产千卡GPU算力平台上完成全流程训练与推理,实现了超长序列处理效率的数量级提升,为非Transformer架构的大模型发展开辟了新路径。
研究团队指出,当前主流的Transformer架构大模型依赖Scaling law,通过扩大网络规模、算力投入和数据量提升性能,但其计算单元采用简化点神经元模型,存在序列长度增加时训练开销平方级增长、推理显存线性上升的缺陷,导致处理超长序列能力受限。针对这一问题,团队提出“基于内生复杂性”的架构设计,借鉴大脑神经元内部复杂机制,构建了脉冲神经元动力学与线性注意力模型的数学关联,发现现有线性注意力机制本质上是树突计算的简化形式。
基于上述理论,团队开发了具备线性复杂度(7B参数)和混合线性复杂度(76B参数,激活参数量12B)的类脑基础模型。其中,SpikingBrain-1.0-7B已开源,76B版本提供测试网址,并同步发布中英文技术报告。模型适配国产沐曦metaX曦云C550 GPU集群,配套开发了高效训练框架、Triton算子库、模型并行策略及集群通信协议,形成完整的国产自主技术生态。
性能测试显示,该模型在极低数据量下即可完成高效训练,推理效率较传统架构显著提升,尤其在超长序列任务中表现突出。其动态阈值脉冲化稀疏机制可适应不同尺度计算需求,在法律/医学文档分析、多智能体模拟、高能物理实验、DNA序列解析及分子动力学轨迹建模等场景中具有明显效率优势。
据介绍,这是我国首次提出大规模类脑线性基础模型架构,并首次在国产GPU集群上实现类脑脉冲大模型的训练与推理框架。该成果不仅解决了脉冲驱动模型性能退化的关键问题,更为新一代人工智能提供了非Transformer架构的技术方案,同时为低功耗神经形态计算理论及芯片设计提供了理论支撑。