Kimi K3开放2.8万亿参数完整权重、技术报告与三项基础设施
月之暗面已开放Kimi K3完整权重并发布技术报告,模型总参数为2.8万亿,每个token激活约1040亿参数。 K3是原生多模态MoE模型,在896个路由专家中激活16个,采用69层Kimi Delta Attention与24层Gated MLA组合,并支持最长1048576 token上下文。官方称Stable LatentMoE与新的稀疏结构使整体扩展效率较Kimi K2提升约2.5倍。 权重与代码采用Kimi K3 License发布。月之暗面同时开放MoonEP、FlashKDA与AgentEnv,分别服务MoE专家并行通信、KDA算子和分布式Agent训练。许可证规定:被许可方及关联方过去12个月合计收入超过2000万美元时,商业使用前需另行与月之暗面签署协议;月活超过1亿或月收入超过2000万美元的商业产品还须显著展示“Kimi K3”。 代码:https://github.com/MoonshotAI/Kimi-K3