01 · 测试数据概览
B300 实测数据分享
NCCL 测试
- all-reduce 峰值带宽约 837 GB/s(理论峰值 900 GB/s 的 93%)
- broadcast 速度约 682 GB/s(理论峰值 900 GB/s 的 76%)
- 除 all-to-all 外,所有测试最小延迟(2MB 消息)均在 42–52 μs;all-to-all 最小延迟 68 μs
- 对于某些基准,数据包到 16MB 前延迟基本不变;另一些到 4MB 延迟开始增加
NVBandwidth
- D2D 单向:约 782 / 717 GB/s(读 / 写)
- D2D 双向:约 1.35 / 1.41 TB/s(读 / 写)
- H2D 每 GPU memcpy 约 38 GB/s(理论峰值 64 GB/s 的 59%)
- D2H 每 GPU memcpy 约 53 GB/s(理论峰值 64 GB/s 的 83%)
- H2D / D2H 延迟 1.4 μs;D2D 延迟 1.6 μs
DCGM
- 288 GB 总内存中只有 284 GB (98.6%) 实际可分配(预留、驱动开销、ECC 等)
- 单张 GPU 可获得约 405 TFLOPs 的 FP32+FP16 混合精度矩阵乘法
- Level 3 测试中每块 GPU 功耗从未超过约 950 W(额定 1100 W 的 86%)
- D2H 单向延迟 3.9–4.9 μs,H2D 单向延迟 4.0–5.4 μs;双向延迟 4.8–6.7 μs
常规数据
- B300 在 17℃ 时待机功率约 130 W
- gpu_burn 可以让 B300s 持续功耗达到 1100 W
02 · 规格参数
B300 规格
英伟达官方数据手册存在不少矛盾,以下综合多来源信息整理:
| 项目 | 值 |
|---|---|
| 内存 | 总 288 GB,总访问速度 8 TB/s,由 8 × 36GB 的 12 层 HBM3E 堆栈组成 |
| TDP | 风冷 / 水冷版本显卡正常运行约 1100W,部分到 1200W;GB300 中的 GPU 达到 1400W |
| NVLink | 第五代 NVLink,每个 GPU 双向 1.8 TB/s;每 GPU 配 18 × 100 GB/s NVLink 端口 |
| 横向扩展 | 每 GPU 通过 ConnectX-8 实现 800 GB/s 全双工,GPU→网卡走 PCIe 6.0 x16 |
| FP4 推理 | 高达 144 PFLOPs |
| FP8 训练 | 72 PFLOPS |
| 驱动 | NVIDIA 驱动 580.95.05 以上 |
| CUDA | 13.0 明确支持 B300 系列 |
| DCGM | 4.4.0 起支持 B300 实例 |
真正的差距不在 峰值算力,而在 功耗边界 与 实际带宽利用。
03 · 测试结论
四条关键发现
1. 待机功耗对比 H100
80GB H100 PCIe 空闲功耗 50 / 350W(最大的 14%)。B300 待机功耗占其峰值 TDP(1100W)的 11.8%,H100 占其峰值 700W 的 10%。B300 待机 130W,H100 待机 70W——最大功耗仅 1.57 倍,但待机功耗差达到 1.86 倍。电源预算固定时,H100→B300 空闲功耗会更高。
80GB H100 PCIe 空闲功耗 50 / 350W(最大的 14%)。B300 待机功耗占其峰值 TDP(1100W)的 11.8%,H100 占其峰值 700W 的 10%。B300 待机 130W,H100 待机 70W——最大功耗仅 1.57 倍,但待机功耗差达到 1.86 倍。电源预算固定时,H100→B300 空闲功耗会更高。
2. 持续负载下的实际 GPU 功耗
DCGM L3 / L4 测试最高功耗 950W(理论 1100W 的 86%)。H100 SXM 实际推理负载很少让 GPU 超过峰值功耗的 50–60%。
DCGM L3 / L4 测试最高功耗 950W(理论 1100W 的 86%)。H100 SXM 实际推理负载很少让 GPU 超过峰值功耗的 50–60%。
3. H2D 与 D2H 写入带宽不对称
D2H (53 GB/s):GPU→主机写,用专用 GPU DMA 单元发 PCIe 读请求,接近理论峰值的 85%(64 GB/s)。
H2D (38 GB/s):CPU→GPU 写,CPU 自行发起写入,缓存一致性 + NUMA 效应 + CPU 内存带宽瓶颈,多个 GPU 同时写入时先堵 CPU 内存,再堵 PCIe。
D2H (53 GB/s):GPU→主机写,用专用 GPU DMA 单元发 PCIe 读请求,接近理论峰值的 85%(64 GB/s)。
H2D (38 GB/s):CPU→GPU 写,CPU 自行发起写入,缓存一致性 + NUMA 效应 + CPU 内存带宽瓶颈,多个 GPU 同时写入时先堵 CPU 内存,再堵 PCIe。
4. 与 H100 租赁价格比较
B300 性能会好得多,但经济效益取决于租赁价格和总功耗差异。目前 Nebius 价格:B300 $7.85/GPU/小时,H100 $3.85/GPU/小时。
B300 性能会好得多,但经济效益取决于租赁价格和总功耗差异。目前 Nebius 价格:B300 $7.85/GPU/小时,H100 $3.85/GPU/小时。
references
来源:微信公众号原文
· 所有信息为非专有非机密,理论上 HGX B300 服务器均可复现。本文仅做学习归档。
04 · 相关文章