01 · 验收总览

验收总览

B300 到场,我一般不会先问跑分。先把证据链跑起来,才知道这台机器是真正常,还是只是看起来正常。

NVIDIA DGX B300 的官方手册把 Quick Health Check 和 Pre-flight Test 放在前面,意思很直接:先确认机器和环境,再进入带宽、通信、长稳。有 NVSM 的环境,可以把 sudo nvsm stress-test --force 当成官方口径的前置压力检查。DCGM 的 NVBandwidth 是 level 3 及以上测试,nccl-tests 同时看性能和正确性,Redfish 的 ComputerSystem.Reset 则留给恢复链路。验收这件事,本来就该按命令链来做。

验收四问:B300 不是一张卡的事情,是一台 8 GPU 节点的事情。命令要能回答的,不是"通没通",而是——机器是什么、装了什么、通了什么、证据留没留下来。
第一层
原始采样 — 收集机器身份、资产态、运行态和网络态
第二层
GPU 诊断 — 健康、拓扑和节点内带宽
第三层
跨节点通信 — 链路、拥塞控制、集合通信
第四层
长稳测试 — 18 小时满载,温度、风扇、XID、ECC
第五层
恢复链路 — BMC、Redfish、ComputerSystem.Reset
02 · 原始采样

原始采样

我做现场验收时,第一步通常不是跑压测,而是收集原始状态。这样后面不管是 GPU、NVLink,还是 RoCE 出问题,都能回到同一份底稿上看。

真正的验收,先从采样开始。下面这组命令不负责下结论,只负责把机器的底子摸清楚:

dmidecode -t 1
dmidecode -t 17
dmidecode -t 39
nvidia-smi -L
nvidia-smi -q
lspci
lsblk
ibstat
ibdev2netdev
free -h
uname -a
hostnamectl

这一步看的是资产态、运行态和网络态。dmidecode 和 hostnamectl 先把机器身份说清楚,nvidia-smi -L 先确认 8 张卡是不是都在,lspci 和 lsblk 看总线和盘位,ibstat、ibdev2netdev 看网卡和端口是不是按预期上线。

重点留三类输出

不是为了好看,是为了后面出问题时能追得回去。

如果这一层都没采全,后面的带宽数字再漂亮也没意义。现场最怕的就是把别的机器的结果拿来当本机结果。

03 · GPU 诊断

GPU 诊断

第二层才轮到 GPU 诊断。这里要同时看健康、拓扑和节点内带宽,少一步都不踏实。

dcgmi diag -r 4
nvidia-smi topo -m
nvidia-smi nvlink --status
nvbandwidth
p2pBandwidthLatencyTest
systemctl status nvidia-fabricmanager

dcgmi diag -r 4 适合把显存、互联和常规健康项一次性过一遍。nvbandwidth 属于 DCGM 的 level 3+ 测试,重点就是把单机带宽测明白。nvidia-smi topo -m 和 nvidia-smi nvlink --status 是拓扑和链路状态的证据,p2pBandwidthLatencyTest 则把任意 GPU 对之间的点对点能力拉出来看。

输出盯住这些点

我最在意的,不是"能跑",而是"拓扑和数值能不能同时成立"。拓扑错了,带宽只是偶然;带宽不对,拓扑图再好看也没用。

04 · 跨节点通信与 RoCE

跨节点通信与 RoCE

跨节点通信不能揉成一坨看。先看链路,再看拥塞控制,最后再看集合通信,这样才知道问题在网口、交换机,还是框架层。

# 链路层
ibstat
ibdev2netdev
ethtool
mlxconfig

# 带宽与延迟
ib_write_bw
ib_read_bw
ib_send_lat -R

# 集合通信
all_reduce_perf
all_gather_perf
reduce_scatter_perf
sendrecv_perf
alltoall_perf

RoCE 这层里,PFC、ECN、DCQCN 要放在一起看。单点开关开了,不代表无损队列真的在工作。ib_write_bw 和 ib_read_bw 先把链路吞吐压出来,ib_send_lat -R 看小消息延迟,nccl-tests 则把训练更接近的通信场景带进来,尤其是 all_reduce_perf、all_gather_perf、reduce_scatter_perf、sendrecv_perf 和 alltoall_perf 这几项,能把跨节点瓶颈看得更实。

记录要分开写

只贴一个 all-reduce 峰值,现场复盘时基本不够用。

网口亮了不算,链路、拥塞和通信都闭上了,才算。

05 · 长稳测试

长稳测试

真正把问题逼出来的,往往不是短跑,而是长稳。B300 这种节点,我会把满载拉到18 小时左右,再盯温度、风扇、XID 和 ECC。

gpu_burn -tc 64800
nvidia-smi dmon -s pucvmet -d 60
journalctl -k | grep -i xid

这时候看的不是"还能不能跑",而是"热起来以后会不会掉链子"。温度峰值、风扇曲线、可纠正 ECC、XID 日志,都会在这个阶段露出真相。经验上,温度别顶得太狠,86°C 附近就该紧张起来了。

长稳日志留档要点:按分钟留 dmon,按阶段留 XID/ECC 摘要,结束时再补一份 GPU 列表和 Fabric Manager 状态。前后状态能对上,才知道这 18 小时没有把问题藏起来。
06 · 恢复链路

恢复链路

如果节点真卡住了,恢复动作要留给 BMC 和 Redfish,ComputerSystem.Reset 就是那类该被保留、但不该被公开展开的动作。验收里把恢复链路记清楚,比现场赌一次重启有用得多。

07 · 脚本五角色

脚本五角色

如果把本地脚本拆开,它其实不是一坨命令,而是五个角色:

角色 1
采样器 — 原始状态采集(dmidecode / nvidia-smi / lspci / ibstat)
角色 2
诊断器 — GPU 健康与带宽检查(dcgmi / nvbandwidth / p2p)
角色 3
通信器 — 跨节点链路和集合通信(ib_* / nccl-tests)
角色 4
长稳器 — 满载压力和日志追踪(gpu_burn / dmon / XID)
角色 5
恢复器 — BMC / Redfish 恢复操作记录

脚本可以分工,证据不能分家。只要每一层的输出都能回到命令、阈值和日志,这台 B300 才算真正往交付里走了一步。

命令可以按环境调整,但证据角色不要乱。

#NVIDIA #B300 #GPU验收 #NVLink #RoCE #DCGM #数据中心 #硬件架构