英特尔官宣生成式AI模型Aurora genAI 参数量将多达1万亿

近日,国际超级计算大会(ISC)高性能会议(HPC)在德国汉堡顺利召开,大会上,英特尔宣布与阿贡国家实验室携手,用Aurora超级计算机开发生成式AI模型 Aurora genAI,参数量将多达1万亿!要知道,ChatGPT的参数规模仅为1750亿,也就意味着Aurora genAI将比ChatGPT大5倍。

以两个框架为基础

据了解,英特尔Aurora genAI模型将以两个框架为基础:NVIDIA的 Megatron和微软的DeepSpeed。

Megatron:用于分布式训练大规模语言模型的架构,专门针对 Transformer进行了优化,不仅支持传统分布式训练的数据并行,也支持模型并行。

DeepSpeed:专注于优化大型深度学习模型的训练,通过提高规模、速度、成本和可用性,释放了训练1000亿参数模型的能力,极大促进大模型的训练。

Aurora genAI

由Aurora超算提供算力

Aurora genAI模型将由Aurora超级计算机来提供算力,这台英特尔为阿贡国家实验室设计的超级计算机。根据目前公开的资料显示,Aurora超级计算机由英特尔Xeon CPU Max和Xeon GPU Max系列芯片提供支持,总共有10624个节点,拥有63744个Ponte Vecchio GPU、21248 个 Sapphire Rapids至强 CPU、1024个分布式异步对象存储(DAOS)存储节点以及10.9P的DDR5傲腾持久内存。

英特尔方面还透露了Aurora超级计算机的早期性能结果:Aurora超算在科学和工程工作负载上具有领先性能,比AMD MI250 GPU的性能高2倍,在QMCPACK量子力学应用上比H100提高了20%,并接近线性扩展,可达到数百个节点。

以科学为重点

Aurora genAI是一个以科学为重点的生成式AI模型,将在通用文本、代码、科学文本以及生物学、化学、材料科学、物理学、医学等科学数据上进行训练。

由此产生的AI模型,将具有多达1万亿个参数,包括从分子和材料的设计到数百万个来源的综合知识,可用于各种科学应用:系统生物学、癌症研究、气候科学、宇宙学研究、高分子化学与材料等。除了科学之外,Aurora genAI模型还可能用于其他领域,如金融建模、自然语言处理、机器翻译、图像识别和语音识别等。

Aurora genAI

除了上述的内容以外,有关Aurora genAI模型的更多信息英特尔方面尚未透露,据外媒报道,英特尔计划在2024年开发和完成Aurora genAI模型,如果进展顺利,Aurora genAI最快将在明年与我们见面。随着英特尔入局AI大模型战场,GPT-4等竞品的发展更加值得期待!

服务商动态

SambaNova与Together联合推出类ChatGPT开源模型——BLOOMChat

2023-5-29 9:45:42

服务商动态

面壁智能联合知乎开源模型CPM-Bee 发布对话类模型产品“露卡”

2023-5-30 10:56:52

相关推荐