验收总览
B300 到场,我一般不会先问跑分。先把证据链跑起来,才知道这台机器是真正常,还是只是看起来正常。
NVIDIA DGX B300 的官方手册把 Quick Health Check 和 Pre-flight Test 放在前面,意思很直接:先确认机器和环境,再进入带宽、通信、长稳。有 NVSM 的环境,可以把 sudo nvsm stress-test --force 当成官方口径的前置压力检查。DCGM 的 NVBandwidth 是 level 3 及以上测试,nccl-tests 同时看性能和正确性,Redfish 的 ComputerSystem.Reset 则留给恢复链路。验收这件事,本来就该按命令链来做。
原始采样
我做现场验收时,第一步通常不是跑压测,而是收集原始状态。这样后面不管是 GPU、NVLink,还是 RoCE 出问题,都能回到同一份底稿上看。
真正的验收,先从采样开始。下面这组命令不负责下结论,只负责把机器的底子摸清楚:
dmidecode -t 1
dmidecode -t 17
dmidecode -t 39
nvidia-smi -L
nvidia-smi -q
lspci
lsblk
ibstat
ibdev2netdev
free -h
uname -a
hostnamectl这一步看的是资产态、运行态和网络态。dmidecode 和 hostnamectl 先把机器身份说清楚,nvidia-smi -L 先确认 8 张卡是不是都在,lspci 和 lsblk 看总线和盘位,ibstat、ibdev2netdev 看网卡和端口是不是按预期上线。
- 主机型号和序列号
- GPU / 内存 / 磁盘数量
- 网卡和端口映射
不是为了好看,是为了后面出问题时能追得回去。
如果这一层都没采全,后面的带宽数字再漂亮也没意义。现场最怕的就是把别的机器的结果拿来当本机结果。
GPU 诊断
第二层才轮到 GPU 诊断。这里要同时看健康、拓扑和节点内带宽,少一步都不踏实。
dcgmi diag -r 4
nvidia-smi topo -m
nvidia-smi nvlink --status
nvbandwidth
p2pBandwidthLatencyTest
systemctl status nvidia-fabricmanagerdcgmi diag -r 4 适合把显存、互联和常规健康项一次性过一遍。nvbandwidth 属于 DCGM 的 level 3+ 测试,重点就是把单机带宽测明白。nvidia-smi topo -m 和 nvidia-smi nvlink --status 是拓扑和链路状态的证据,p2pBandwidthLatencyTest 则把任意 GPU 对之间的点对点能力拉出来看。
- 8 张 B300 都能识别
- DCGM 项目没有失败
- Fabric Manager 是 active running
- NVLink 没有 inactive / degraded
- GPU 对之间 P2P 访问和带宽不要出现明显掉队
我最在意的,不是"能跑",而是"拓扑和数值能不能同时成立"。拓扑错了,带宽只是偶然;带宽不对,拓扑图再好看也没用。
跨节点通信与 RoCE
跨节点通信不能揉成一坨看。先看链路,再看拥塞控制,最后再看集合通信,这样才知道问题在网口、交换机,还是框架层。
# 链路层
ibstat
ibdev2netdev
ethtool
mlxconfig
# 带宽与延迟
ib_write_bw
ib_read_bw
ib_send_lat -R
# 集合通信
all_reduce_perf
all_gather_perf
reduce_scatter_perf
sendrecv_perf
alltoall_perfRoCE 这层里,PFC、ECN、DCQCN 要放在一起看。单点开关开了,不代表无损队列真的在工作。ib_write_bw 和 ib_read_bw 先把链路吞吐压出来,ib_send_lat -R 看小消息延迟,nccl-tests 则把训练更接近的通信场景带进来,尤其是 all_reduce_perf、all_gather_perf、reduce_scatter_perf、sendrecv_perf 和 alltoall_perf 这几项,能把跨节点瓶颈看得更实。
- 端口是 UP
- RoCE 模式和 MTU 符合设计
- PFC / ECN / DCQCN 配置能对上
- ib_* 测试有吞吐和延迟结果
- NCCL 输出里 busbw、algbw 和错误计数都要留下
只贴一个 all-reduce 峰值,现场复盘时基本不够用。
网口亮了不算,链路、拥塞和通信都闭上了,才算。
长稳测试
真正把问题逼出来的,往往不是短跑,而是长稳。B300 这种节点,我会把满载拉到18 小时左右,再盯温度、风扇、XID 和 ECC。
gpu_burn -tc 64800
nvidia-smi dmon -s pucvmet -d 60
journalctl -k | grep -i xid这时候看的不是"还能不能跑",而是"热起来以后会不会掉链子"。温度峰值、风扇曲线、可纠正 ECC、XID 日志,都会在这个阶段露出真相。经验上,温度别顶得太狠,86°C 附近就该紧张起来了。
恢复链路
如果节点真卡住了,恢复动作要留给 BMC 和 Redfish,ComputerSystem.Reset 就是那类该被保留、但不该被公开展开的动作。验收里把恢复链路记清楚,比现场赌一次重启有用得多。
脚本五角色
如果把本地脚本拆开,它其实不是一坨命令,而是五个角色:
脚本可以分工,证据不能分家。只要每一层的输出都能回到命令、阈值和日志,这台 B300 才算真正往交付里走了一步。
命令可以按环境调整,但证据角色不要乱。