Nvidia将为数据中心带来双GPU

Nvidia在其2023年GTC春季主题演讲中宣布了一款新的双GPU产品H100NVL。这不会带来SLI或多GPU游戏的回归,也不会是最好的游戏显卡之一,但对于不断增长的AI市场来说。从英伟达公布的信息和图片来看,H100NVL(H100 NVLink)顶部将采用三个NVLink连接器,相邻的两个卡可以插入独立的PCIe插槽。

这是一个有趣的变化,显然是为了适应不支持英伟达SXM选项的服务器,重点是推理性能而不是训练。NVLink连接应该有助于提供NVSwitch on SXM解决方案所缺少的带宽,并且还有其他一些明显的区别。

以规格为例。以前的H100解决方案——包括SXM和PCIe——都配备了80GB的HBM3内存,但实际的封装包含六个堆栈,每个堆栈有16GB的内存。不清楚堆栈是被完全禁用还是用于ECC或其他目的。我们知道的是H100NVL将有94GB的每GPU,总共188GB HBM3。我们认为每个GPU“丢失”的2GB都是为了ECC。

功率比H100 PCIe略高,每个GPU 350-400瓦(可配置),增加了50瓦。同时,总性能实际上是H100 SXM的两倍:134万亿次浮点运算的FP64,1979万亿次浮点运算的TF32,7916万亿次浮点运算的FP8(和7916万亿次浮点运算INT8)。

基本上这和H100PCIe的核心设计看起来是一样的,同样支持NVLink,但是现在可能启用了更多的GPU核心,内存增加了17.5%。内存带宽也高于H100PCIe,每GPU 3.9 TB/s,总计7.8TB/s(相比之下H100 PCIe 2TB/s,H100 SXM 3.35 TB/s)。

由于这是一个双卡解决方案,每张卡占用2个插槽,Nvidia只支持2到4对来自合作伙伴和认证系统的H100NVL卡。一双多少钱?它们可以单独购买吗?这个还有待观察,虽然有时候可以找到单件的H100PCIe,价格在28000美元左右(以新标签打开)。因此,花8万美元买一双H100 NVL似乎也不是不可能。

除非特别注明,本站所有文字均为原创文章,作者:caiji

No Comment

留言

电子邮件地址不会被公开。 必填项已用*标注

感谢你的留言。。。