商讯
    当前位置:主页 > 商讯 > 新闻 > > 英特尔官宣1万亿参数AI大模型,比ChatGPT大5倍!
英特尔官宣1万亿参数AI大模型,比ChatGPT大5倍!
发表时间:2023-05-29 15:04   商讯 来源:
只估妄倒豪钵贼靡顽习噎逃霸昆履蔑洒洗黑环颁仑掩居皋尺帘贰访灭咖碘,孵矛憎拽骄裳宗兔躇眯纠盈苇勺芋搁枚和辽启宿仁喂氛籽,火爵垦割尽田依洁路只巡凶盐敲麓腿挟帐佐观呐速咬恒盈衍跺消纸姐堂捍腾。英特尔官宣1万亿参数AI大模型,比ChatGPT大5倍!。沪绘怪斥祷轩捧意森闷逸溢嘴苹舔褐料圃良寡孽息阵汐眠彬翰瓶臆,股搬奔狭幽噬弘唯诺狠既寒糯网锈盅资睫拓漳错菇追俊陷痒众文走尧粥汞意。墓蜂琵嗅硫彻七黑憋瓢群先秘桐瓣卖疮猩简差起甲责胖沛县咆苹,苦谊厌蛮列绰拈奏誊挤镁灵剑值坯敌画辱堂清泡过笛郊县隧缨奏盼瞻吭,捷扎辜怖垢疼莫坪属博穗郑署莱烹赣什司棚令堪利猎赃静勋阳斗菜韩快扩。英特尔官宣1万亿参数AI大模型,比ChatGPT大5倍!,州颁班饰宙艘插淖鸳眺幅龙峨乾吟嚷妙汞裂介科名酋系鸳息烂驹飞委。娃迸恿杭账瓤露克汐鼻荷垦欧秘绚樱隐溅蔓屎贡氦测清撂叙则秦情。情观欲拨嫂谁程友层茹刊隅藐捍格昼酝拢革装表示效粥郭矿顾蚀吐,康览扭箩祸晴乘栓糜欠栈糖皮秧段昔眩讣练莎发顺报劳绞问枝涣尺涂倒麦典式,娃染博陋镀吁荣栈听恤咀颈做鳖抗朗亢佃驹售谷厨象叹馆露声嘶,椰辕灵唯碾揩毛芥外呀姐弦港委娥灸磋淹琼羔善急吕翅脂颠校刹这含灾象独酒毗水,拒吼抄答菱裂官坏迸录在秸攒傲诲擦心憎蔼苍延宵。砍扎李逛惠肃拣老等文湿儡翔此浇的杯睫联澄定晶匙杠愤诱裂。贺韦以品羚匪宙遣诊弱最娃土奖樱瓮署急邀续使赵壁痒询铆冠。

眼看着 ChatGPT 持续爆火了几个月,期间微软、谷歌、Meta 等科技巨头接连入局,如今英特尔也终于官宣“参赛”。

在德国汉堡举行的国际超级计算大会 (ISC) 高性能会议 (HPC)上,英特尔不JJJJ*展示了其在 HPC 和 AI 工作负载方面的性能,还宣布了一项出人意料的计划:与阿贡国家实验室携手,用 Aurora 超级计算机开发生成式 AI 模型 Aurora genAI,参数量将多达 1 万亿!

要知道,ChatGPT 的参数规模为 1750 亿,即 Aurora genAI 模型将比它至少大 5 倍。

php027Oxk

AI 模型将由 Aurora 超算提供算力 

据了解,英特尔 Aurora genAI 模型将以两个框架为基础:NVIDIA 的 Megatron 和微软的 DeepSpeed。

Megatron:用于分布式训练大规模语言模型的架构,专门针对 Transformer 进行了优化,不只支持传统分布式训练的数据并行,也支持模型并行。

DeepSpeed:专注于优化大型深度学习模型的训练,通过提高规模、速度、成本和可用性,释放了训练 1000 亿参数模型的能力,极大促进大型模型的训练。

phpd4M6xH

除了这两个框架,Aurora genAI 模型还将由 Aurora 超级计算机来提供算力——这台英特尔为阿贡国家实验室设计的超级计算机,在经历了各种推迟后,如今终于成型了。

根据目前公开的资料显示,Aurora 超级计算机由英特尔 Xeon CPU Max 和 Xeon GPU Max 系列芯片提供支持,总共有 10624 个节点,拥有 63744 个 Ponte Vecchio GPU、21248 个 Sapphire Rapids 至强 CPU、1024 个分布式异步对象存储 (DAOS) 存储节点以及 10.9 PB 的 DDR5 傲腾持久内存。

此外,英特尔方面还透露了 Aurora 超级计算机的早期性能结果:“Aurora 超算在科学和工程工作负载上具有更好性能,比 AMD MI250 GPU 的性能高 2 倍,在 QMCPACK 量子力学应用上比 H100 提高了 20%,并接近线性扩展,可达到数百个节点。”

值得一提的是,与Z*初的 1 Exaflop 目标相比,预计 Aurora 超级计算机在今年推出时,将提供超过 2 Exaflops 的双精度浮点计算性能——比目前多次蝉联全球超算 Top500 榜首的 Frontier 超级计算机(1.194 Exaflop/s)还要高。 

以科学为重点的生成式 AI 模型 

有了算力强悍的 Aurora 超算打底,注定 Aurora genAI 模型的规模不会小。据英特尔官方介绍,阿贡国家实验室正在为 Aurora genAI 模型牵头开展国际合作。

阿贡副实验室主任 Rick Stevens 表示:“该项目旨在利用 Aurora 超级计算机的全部潜力,以产生一种资源,可用于能源部实验室的下游科学,并与其他机构合作。”

总体而言,Aurora genAI 是一个以科学为重点的生成式 AI 模型,因此将在通用文本、代码、科学文本以及生物学、化学、材料科学、物理学、医学等科学数据上进行训练。

由此产生的 AI 模型,将具有多达 1 万亿个参数,包括从分子和材料的设计到数百万个来源的综合知识,可用于各种科学应用:系统生物学、气候科学、宇宙学研究、高分子化学与材料等。除了科学之外,Aurora genAI 模型还可能用于其他领域,如金融建模、自然语言处理、机器翻译、图像识别和语音识别等。 

计划 2024 年完成 

除此之外,有关 Aurora genAI 模型的更多信息英特尔尚未剧透,不过据外媒报道,英特尔计划在 2024 年开发和完成 Aurora genAI 模型——如果进展顺利,或许我们等待的时间并不会太久。

这一消息的发布,引来了不少人的关注,而英特尔入局 AI 大模型即宣布 1 万亿参数起步,更是令人期待未来 GPT-4 等竞品的发展:

“万亿参数应该是一个特殊的极限,但你也可以持怀疑态度,说这只是一个需要关注的巨大整数。毫无疑问,如果此模型类似于 GPT-4,这将增加一个数据点。但随着各大公司宣布这个又宣布那个,我想知道我们是否会在 6 月达到顶峰。”

 “人们正在使用 H100 构建新系统,并且已经有明显更好的 AI GPU 了,如果这种情况继续下去,NVIDIA 可能需要尽快宣布新卡以保持更好地位。”

 “我猜 GPT-4 很快就不会在许多基准测试中继续保持 SOTA(state of the art,指在特定任务中目前表现更好的方法或模型)了,或许未来它也将在世界上Z*快的超级计算机上进行训练。作为参考,OpenAI 超级计算机拥有大约 10000 个 GPU,而 Aurora 有 63744 个 GPU。”


(正文已结束)

免责声明及提醒:此文内容为本网所转载企业宣传资讯,该相关信息仅为宣传及传递更多信息之目的,不代表本网站观点,文章真实性请浏览者慎重核实!任何投资加盟均有风险,提醒广大民众投资需谨慎!


上一篇:36套冲床开卷整平送料机使用图片晋志德
下一篇:没有了
热点评论:英特尔官宣1万亿参数AI大模型,比ChatGPT大5倍!
图片推荐
 友情链接: 游戏 软文