腾讯开源超大模型Hunyuan-Large

近日,腾讯宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型拥有3890亿总参数(389B)和520亿激活参数(52B),具备处理长达256K上下文能力。

Hunyuan-Large

据测评结果显示,腾讯Hunyuan-Large模型在CMMLU、MMLU、CEval、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度全面领先,超过Llama3.1、Mixtral等一流的开源大模型。

Hunyuan-Large采用了高效的MoE结构,使用多个专家替换了Transformer中的原始前馈网络。Hunyuan-Large包含共享专家和专用专家两种模式,不仅能够捕捉所有token所需的共同知识,还能够动态学习特定领域的知识。同时Hunyuan-Large还开发了一种新的回收路由策略,用于处理在原始top-k路由过程中被丢弃的token。这种策略通过将这些token重新分配给未超过容量的其他专家,以优化训练效率和稳定性。

其中模型技术优势如下:

1、KV缓存压缩

通过减少KV缓存的存储需求来降低内存占用,同时保持了模型对于长序列处理的能力,可以有效地减少键值对的存储空间,而不牺牲准确性或速度。

2、专家特定的学习率缩放

Hunyuan-Large采用了AdamW作为优化器,并根据批量大小调整学习率。

3、高质量合成数据

Hunyuan-Large一共使用了7万亿token数据进行了预训练,其中包括近1.5万亿的高质量和多样化的合成数据。这些合成数据的生成过程涉及四个关键步骤:指令生成、指令演化、响应生成和响应过滤。

  • 指令生成:利用高质量的数据源,如网页、问答数据、代码库、书籍等,配合多样化的指令生成提示,生成覆盖多个领域的多样化指令。
  • 指令演化:通过增强指令的清晰度和信息量、扩展低资源领域指令以及增加指令难度等手段,进一步提升指令的质量。
  • 响应生成:利用多个专业化模型为这些演化后的指令生成信息丰富、准确的答案。
  • 响应过滤:通过批评模型和自一致性检查,确保合成的指令-响应对的质量,有效去除低质量或不一致的数据。

4、学习率调度

在Hunyuan-Large的训练过程中,学习率调度贯穿三个阶段:初始的预热阶段、随后的逐渐衰减阶段,以及最后的退火阶段。

模型在初始阶段有效地探索解空间,避免过早收敛到次优的局部最小值。随着训练的进行,学习率的逐渐降低确保了模型能够向更优解收敛。在预训练的最后5%阶段,Hunyuan-Large引入了退火阶段,将学习率降低到峰值的十分之一。这有助于模型细致地调整参数,实现更高的泛化能力,从而提升整体性能。

在退火阶段之后,Hunyuan-Large还进行了长文本预训练,以增强其处理长文本的能力,逐渐增加token长度从32K增长至256K。Hunyuan-Large采用了RoPE来构建位置嵌入,并在256K预训练阶段将RoPE的基础频率扩展到10亿。

5、广泛的基准测试

在多种语言和任务上进行广泛实验,验证了Hunyuan-Large的实际应用效果和安全性。

行业动态

字节跳动和中国科学院联合开源InfiMM-WebMath-40B

2024-11-5 9:53:39

行业动态

谷歌DeepMind团队开源蛋白质预测模型Alphafold-3

2024-11-12 9:35:24

相关推荐