腾讯云发布大模型计算集群,算力性能较前代提升3倍
界面新闻 2023-04-14 12:11:19

4月14日消息,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。

该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。


(资料图)

腾讯方面的实测显示,该集群的算力性能较前代提升达到3倍,是目前国内性能最强的大模型计算集群。

据腾讯方面介绍,当大模型进入万亿参数时代后,传统的单体服务器算力有限,需要将大量服务器通过RDMA网络相连,建造大规模算力集群。

通过对处理器、网络架构和存储性能的全面优化,腾讯云攻克了大集群场景下的算力损耗问题,能为大模型训练提供高性能、高带宽、低延迟的智算能力支撑。

在网络层面,计算节点间存在海量的数据交互需求,随着集群规模扩大,通信性能会直接影响训练效率。

腾讯自研的星脉网络,为新集群带来了业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU,3.2T星脉网络相较1.6T网络能让集群整体算力提升20%,并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。

在存储层面,几千台计算节点同时读取一批数据集,需要尽可能缩短加载时长。腾讯云自研的文件存储、对象存储架构,具备TB级吞吐能力和千万级IOPS,满足大模型训练的大数据量存储要求。

在底层架构之上,针对大模型训练场景,新一代集群集成了腾讯云自研的TACO Train训练加速引擎,对网络协议、通信策略、AI框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。

腾讯混元大模型背后的训练框架AngelPTM,目前已通过腾讯云对外提供服务,它能够帮助企业加速大模型的落地。

去年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。

腾讯混元AI大模型目前覆盖了自然语言处理、计算机视觉、多模态等基础模型和众多行业模型,已经应用于腾讯微信搜索、腾讯广告等自有业务场景,用于提升搜索体验和广告推荐的精准度。

此前,腾讯多款自研芯片已经量产。其中,用于AI推理的紫霄芯片、用于视频转码的沧海芯片已在腾讯内部交付使用。

其中紫霄采用自研存算架构,增加片上内存容量并使用更先进的内存技术,消除访存能力不足制约芯片性能的问题,同时内置集成腾讯自研加速模块,减少与CPU握手等待时间。紫霄已经在腾讯头部业务规模部署,提供3倍的计算加速性能,和超过45%的整体成本节省。

目前,腾讯云的分布式云原生调度总规模超过1.5亿核,并提供16 EFLOPS(每秒1600亿亿次浮点运算)的智算算力。未来新一代集群不仅能服务于大模型训练,还将在自动驾驶、科学计算、自然语言处理等场景中得到应用。

腾讯云发布大模型计算集群,算力性能较前代提升3倍

2023-04-14

【中国有约】海南共享农庄:盘活乡村资源,助力乡村振兴 天天快消息

2023-04-14

第四届新都区汽车消费节启动|天天快消息

2023-04-14

一汽解放(000800):股价成功突破年线压力位-后市看多(涨)(04-14)

2023-04-14

环球关注:半岛铁盒周杰伦mp3 半岛铁盒周杰伦

2023-04-14

李嘉诚也失算了?旗下零售帝国一年关店343家,网友:李超人老了 新资讯

2023-04-14

快消息!刚见就送铺面、名表?女子见网友,5天被“借”走6万多元!

2023-04-14

送女人的礼物有哪些 焦点关注

2023-04-14

世界时讯:米长黑色的小虫还可以吃吗_米里有黑色的小虫还能吃吗

2023-04-14

抔怎么读什么意思_抔-全球热推荐

2023-04-14

你“占”我位子,我划你车子……

2023-04-13

[快讯]金现代公布年报 世界关注

2023-04-13

二十万左右买什么车好 20万元左右最好的车排行榜_世界速读

2023-04-13

EMC 知识总结 焦点短讯

2023-04-13

清华大学上下铺兄弟一起创业,如今一个成千亿富豪,一个只赚百亿

2023-04-13

竹马钢琴师3完整版txt_竹马钢琴师txt下载_全球今日报

2023-04-13

喵速达:近一周空气净化器相关商品成交额环比增长285%

2023-04-13

龙港市委书记何宗静调研房地产市场和新城基础设施建设|世界即时

2023-04-13

fm90.9厦门音乐广播 厦门音乐广播在线收听

2023-04-13

下克上!东西部第九今日均被第十送走

2023-04-13