月之暗面于27日晚间正式宣布开源其最新研发的Kimi K3大模型,同步公开模型权重、技术报告及三项核心基础设施技术。这一举措标志着开源社区迎来首个参数量突破2.8万亿的视觉语言大模型,其技术架构与工程实现引发行业广泛关注。
该模型采用创新的KDA混合线性注意力机制(Kimi Delta Attention)与注意力残差技术,构建出支持原生视觉理解的深度学习框架。其100万token的上下文窗口容量,使得模型在处理长文本序列时展现出显著优势。技术团队特别强调,通过优化MoE(专家混合)架构的稀疏激活策略,模型在896个专家模块中仅需调用16个即可高效运行,这种设计使K3相比前代K2模型的算力利用率提升2.5倍。
在工程实现层面,月之暗面同步开源了三项关键基础设施技术:MoonEP高性能通信框架、FlashKDA算子库(此前已单独开源)以及AgentEnv分布式强化学习环境。这三项技术覆盖了从数据传输、计算加速到智能体训练的全链路优化,为超大规模模型的训练提供了完整解决方案。其中MoonEP通过重构通信拓扑结构,将多机训练的带宽利用率提升至行业领先水平。
实际应用测试显示,K3模型在复杂工程任务中表现出色。在需要持续数小时的代码库维护场景中,模型仅需少量人工干预即可完成代码理解、工具调用和错误修复等全流程操作。特别在视觉推理任务中,通过结合屏幕截图与视觉反馈,模型在游戏开发、前端设计和CAD建模等领域展现出独特的实用价值。技术白皮书披露,在特定代码生成基准测试中,K3的得分超过其他开源模型17个百分点。
尽管官方承认K3在综合性能上仍与闭源模型Claude Fable 5和GPT-5.6 Sol存在差距,但强调其在开源领域已确立技术标杆地位。过去12个月中,Kimi系列模型有9个月保持着开源社区的最大参数量记录。此次开源的完整技术栈,包括模型架构、训练方法和基础设施代码,将为全球开发者提供研究超大规模模型的新范式。
行业分析师指出,K3的开源策略可能重塑AI技术生态格局。其2.8万亿参数规模已接近当前顶尖闭源模型的量级,而完全透明的技术实现细节,使得学术界和中小企业获得前所未有的研究机会。特别是MoonEP和AgentEnv的开源,填补了超大规模分布式训练领域的技术空白,预计将引发新一轮的基础设施优化竞赛。






