百川智能发布第二代开源模型Baichuan 2

9月6日,百川智能发布第二代开源模型Baichuan 2,正式开源微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat与其4bit量化版本。以上模型均免费可商用,已在阿里云AI模型社区魔搭ModelScope首发上架。

百川智能此次还开源了模型训练的Check Point,并宣布将发布Baichuan 2技术报告,详细介绍Baichuan 2的训练细节,帮助大模型学术机构、开发者和企业用户更深入的了解其训练过程,更好地推动大模型学术研究和社区的技术发展。此举为国内首创。

Baichuan 2

针对本次开源,阿里云魔搭社区基于Baichuan2-13B-Chat开发了体验接口,普通用户可以直接体验或使用模型;魔搭公众号则推出了最佳实践教程,提前跑通模型的部署、推理和微调,供开发者参考。

百川模型体验入口:https://modelscope.cn/studios/baichuan-inc/Baichuan-13B-Chatdemo/summary

在今年的6月和7月,百川智能先后开源了上一代7B和13B模型。本次开源的Baichuan 2-7B-Base和 Baichuan 2-13B-Base基于2.6万亿高质量多语言数据进行训练,保留了上一代开源模型良好的生成与创作能力、流畅的多轮对话能力以及部署门槛较低等众多特性。

与此同时,两个模型的数学、代码、安全、逻辑推理、语义理解等能力有显著提升,Baichuan 2-13B-Base相比上一代13B模型,数学能力提升49%,代码能力提升46%,安全能力提升37%,逻辑推理能力提升25%,语义理解能力提升15%。

两个模型在各大评测榜单上的表现优秀,在MMLU、CMMLU、GSM8K等几大权威评估基准中以绝对优势领先LLaMA2,相比其他同等参数量大模型表现也十分亮眼。更值得一提的是,根据MMLU等多个权威英文评估基准评分 Baichuan 2-7B以70亿的参数在英文主流任务上与130亿参数量的LLaMA2持平。

7B参数模型的Benchmark成绩:

7B参数模型的Benchmark成绩

13B参数模型的Benchmark成绩:

7B参数模型的Benchmark成绩

Baichuan2-7B和Baichuan2-13B不仅对学术研究完全开放,开发者也仅需邮件申请获得官方商用许可后,即可以免费商用。

AI俱乐部,致力于打造最专业的AI交流社群。

星球将分享:

1、ChatGPT的使用方法,最新资讯,商业价。

2、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。

3、组织星球小伙伴一起参与实战项目,亲身感受AI浪潮。

4、系列课程和训练营,手把手带着大家去实操ChatGPT。

5、一些副业思考、创业案例、落地案例分享。

6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。

如果有小伙伴感兴趣的话,可以一起加入星球哦!

AI俱乐部

服务商动态

腾讯正式发布混元大模型 参数规模超千亿

2023-9-7 13:50:36

服务商动态

英伟达推出NVIDIA TensorRT-LLM

2023-9-11 10:08:06

相关推荐