最强大模型训练芯片H200发布！141G 大内存，AI推理最高提升90%，还兼容H100

英伟达老黄，带着新一代 GPU 芯片H200再次炸场。

官网毫不客气就直说了，" 世界最强 GPU，专为 AI 和超算打造 "。

听说所有 AI 公司都抱怨内存不够？

这回直接141GB大内存，与 H100 的 80GB 相比直接提升 76%。

作为首款搭载 HBM3e 内存的 GPU，内存带宽也从 3.35TB/s 提升至4.8TB/s，提升 43%。

对于 AI 来说意味着什么？来看测试数据。

在 HBM3e 加持下，H200 让 Llama-70B 推理性能几乎翻倍，运行 GPT3-175B 也能提高 60%。

对 AI 公司来说还有一个好消息：

H200 与 H100完全兼容，意味着将 H200 添加到已有系统中不需要做任何调整。

最强 AI 芯片只能当半年

除内存大升级之外，H200 与同属 Hopper 架构的 H100 相比其他方面基本一致。

台积电 4nm 工艺，800 亿晶体管，NVLink 4 每秒 900GB 的高速互联，都被完整继承下来。

甚至峰值算力也保持不变，数据一眼看过去，还是熟悉的 FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。

对于内存为何是有零有整的 141GB，AnandTech 分析HBM3e 内存本身的物理容量为 144GB，由 6 个 24GB 的堆栈组成。

出于量产原因，英伟达保留了一小部分作为冗余，以提高良品率。

仅靠升级内存，与 2020 年发布的 A100 相比，H200 就在GPT-3 175B 的推理上加速足足 18 倍。

H200 预计在 2024 年第 2 季度上市，但最强 AI 芯片的名号 H200 只能拥有半年。

同样在 2024 年的第 4 季度，基于下一代 Blackwell 架构的 B100 也将问世，具体性能还未知，图表暗示了会是指数级增长。

多家超算中心将部署 GH200 超算节点

除了 H200 芯片本身，英伟达此次还发布了由其组成的一系列集群产品。

首先是HGX H200平台，它是将 8 块 H200 搭载到 HGX 载板上，总显存达到了 1.1TB，8 位浮点运算速度超过 32P（10^15 ) FLOPS，与 H100 数据一致。

HGX 使用了英伟达的 NVLink 和 NVSwitch 高速互联技术，可以以最高性能运行各种应用负载，包括 175B 大模型的训练和推理。

HGX 板的独立性质使其能够插入合适的主机系统，从而允许使用者定制其高端服务器的非 GPU 部分。

接下来是Quad GH200 超算节点——它由 4 个 GH200 组成，而 GH200 是 H200 与 Grace CPU 组合而成的。

Quad GH200 节点将提供 288 Arm CPU 内核和总计 2.3TB 的高速内存。

通过大量超算节点的组合，H200 最终将构成庞大的超级计算机，一些超级计算中心已经宣布正在向其超算设备中集成 GH200 系统。

据英伟达官宣，德国尤利希超级计算中心将在Jupiter 超级计算机使用 GH200 超级芯片，包含的 GH200 节点数量达到了 24000 块，功率为 18.2 兆瓦，相当于每小时消耗 18000 多度电。

该系统计划于 2024 年安装，一旦上线，Jupiter 将成为迄今为止宣布的最大的基于 Hopper 的超级计算机。

Jupiter 大约将拥有 93 ( 10^18 ) FLOPS 的 AI 算力、1E FLOPS 的 FP64 运算速率、1.2PB 每秒的带宽，以及 10.9PB 的 LPDDR5X 和另外 2.2PB 的 HBM3 内存。

除了 Jupiter，日本先进高性能计算联合中心、德克萨斯高级计算中心、伊利诺伊大学香槟分校国家超级计算应用中心等超算中心也纷纷宣布将使用 GH200 对其超算设备进行更新升级。

那么，AI 从业者都有哪些尝鲜途径可以体验到 GH200 呢？

上线之后，GH200 将可以通过 Lambda、Vultr 等特定云服务提供商进行抢先体验，Oracle 和 CoreWeave 也宣布了明年提供 GH200 实例的计划，亚马逊、谷歌云、微软 Azure 同样也将成为首批部署 GH200 实例的云服务提供商。

英伟达自身，也会通过其 NVIDIA LaunchPad 平台提供对 GH200 的访问。

硬件制造商方面，华硕、技嘉等厂商计划将于今年年底开始销售搭载 GH200 的服务器设备。

参考链接：

[ 1 ] https://www.youtube.com/watch?v=6g0v3tMK2LU

[ 2 ] https://www.nvidia.com/en-gb/data-center/h200/

[ 3 ] https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024