月之暗面MoonshotAI重磅开源最新模型Kimi-K2,总参数1万亿,激活参数为32B,训练数据高达15.5Ttoken,有基础和微调两种模型。相较过去的基座模型,K2更强调代码能力和通用Agent任务能力。
据悉,Kimi-K2在SWE Bench Verified、Tau2、AceBench等基准性能测试中,达到开源模型SOTA表现。在SWE-bench Verified和SWE-bench Multilingual两项自主编程能力的测试上,Kimi-K2成绩优于DeepSeek V3。
在模型训练流程上,Kimi-K2进行了独特的技术创新。预训练是智能体智能的关键基础,由于人类数据有限,预训练期间的token效率成为AI缩放定律中的关键因素。
Kimi-K2采用了MuonClip优化器,这是在Muon优化器基础上改进而来的,通过qk-clip技术解决了训练中注意力logits爆炸的问题,确保了大规模LLM训练的稳定性,在15.5Ttoken上完成了预训练,且过程中没有出现训练峰值。
此外,增强智能体能力主要来自两个方面,一方面是大规模智能体数据合成,这一方式用于工具使用学习,借鉴ACEBench开发了全面的管道,能够模拟真实世界的工具使用场景,从而生成高质量的训练数据;另一方面是通用强化学习,这解决了在具有可验证和不可验证奖励的任务上应用RL的挑战,模型通过自我判断机制为不可验证任务提供反馈,并利用可验证奖励不断更新评判标准。
为了教授模型复杂的工具使用能力,Kimi-K2开发了一个全面的管道,灵感来源于ACEBench,能够大规模模拟真实世界的工具使用场景。该方法系统地演化了包含数千种工具的数百个领域,包括真实的MCP工具和合成工具,并生成了具有多样化工具集的数百个智能体。
Kimi-K2应用场景:
1、企业级AI助手
万亿参数赋予Kimi-K2更强的上下文理解能力,可为企业提供精准的智能客服、合同分析、市场报告生成等服务,大幅提升办公效率。
2、科研与教育
在科研领域,Kimi-K2可辅助文献综述、代码生成;在教育行业,它能定制个性化学习方案,甚至模拟教师互动,推动AI教育普及。
3、内容创作与娱乐
自媒体创作者可利用Kimi-K2生成高质量文案、短视频脚本,而游戏开发者能借助其多模态能力构建更智能的NPC对话系统。