先对GPU服务器的硬件构成有一个整体认知
在进入细节之前,有必要先建立一个整体框架。GPU服务器的硬件可以大致划分为六个部分,前两部分(核心计算单元、存储与内存层次)在系列第一篇中已有详细讲解,本文聚焦于后面四个部分:
1. 核心计算单元:GPU加速卡(算力心脏)+ CPU(指挥中枢)
2. 存储与内存层次:系统内存 DRAM + GPU显存 VRAM + NVMe SSD
3. 互连与通信组件:PCIe交换机 + NIC/IB卡 + DPU + NVLink桥接器
4. 供电与散热:冗余电源模块 CRPS + 风冷/液冷散热系统
5. 结构与管理:主板与背板 + BMC + 机架式机箱
6. 辅助配件:Riser卡、光模块、供电线、上架导轨
强调一下:这些部件之间不是"堆在一起",而是"协同工作"。 理解它们之间的数据流与依赖关系,是判断一台GPU服务器配置是否合理、成本是否可控、瓶颈在哪里的前提。
GPU服务器不是"CPU+几张GPU卡"——它是一套经过深度协同设计的专用计算设备。
3.1 · PCIe交换机与桥接芯片 —— 数据高速公路
GPU扩展底板(部分文献中也称为GPU背板),主要解决CPU PCIe通道数不够的问题。一颗高端服务器CPU的PCIe 5.0通道数通常在112条左右,分给8张GPU显然不够——更不用说还要留给网卡、SSD和DPU。
CPU的PCIe通道 → 进入PCIe Switch芯片 → Switch将输入的一组通道"非阻塞交换"到多个输出端口 → 每个GPU获得一条独立的PCIe x16通道。
类比: 就像一个高速立交桥——从市区出来的一条主干道,通过立交桥后变成通往8个卫星城市的8条独立高速。
关键规格: PCIe 5.0 x16单向带宽约32GB/s,双向约64GB/s。对于8张GPU的服务器,PCIe Switch支持的总交换能力必须足够支撑8张GPU同时与CPU通信、以及GPU之间的P2P通信。
两种不同的扩展方式
· SXM接口GPU:通过GPU UBB基板(含NVSwitch芯片)来实现
两者都不在主板上直接实现——它们通过专用的扩展板/基板来承载,这也是GPU服务器与普通PC服务器最直观的区别之一。
NVSwitch:GPU之间的"快速通道"
NVIDIA的NVSwitch芯片可实现跨GPU的全互联(NVLink域)。以DGX H100为例,内部使用4个NVSwitch,提供每卡900GB/s的双向带宽——这比PCIe 5.0 x16快了一个数量级。AI训练中all-reduce、all-gather这类集体通信操作,主要就是跑在NVLink上。
PCIe Switch管"GPU与CPU之间",NVSwitch管"GPU与GPU之间"。两者缺一不可。
3.2 · 网络接口卡(NIC/IB卡)—— 集群互联
单机再强也有上限。大模型训练需要几百甚至几千张GPU协同工作,这意味着服务器与服务器之间需要极高带宽、极低延迟的互联。
主流技术路线
· RoCE(RDMA over Converged Ethernet):在以太网上实现RDMA能力,部署灵活性更高,兼容数据中心现有基础设施。
· 典型配置:每台8卡GPU服务器配4张400G IB卡,通过胖树(Fat-Tree)拓扑与IB交换机互联,形成一个高带宽、低阻塞的集群网络。
它在AI训练中的角色
分布式训练(数据并行、张量并行、流水线并行)中,每一轮迭代都需要在GPU之间同步梯度或激活值。这部分通信开销常常占到总训练时间的30%-50%。 IB卡的带宽和延迟,直接决定了"多卡是否真的能获得接近线性的加速比"。
它在推理中的角色
推理场景下,IB卡/网卡负责接收外部请求、分发到不同GPU、以及收集回传结果。对于支持张量并行的大模型推理(即一张卡存不下整个模型,需要多张卡协同完成一次token生成),卡间通信同样依赖IB或NVLink。
单机看GPU,集群看网络。你能把训练集群做到多大,很大程度上看你愿意花多少钱在IB网卡和交换机上。
3.3 · DPU(数据处理单元)—— 基础设施卸载引擎
DPU(Data Processing Unit)是NVIDIA CEO黄仁勋口中继CPU和GPU之后的"第三大计算支柱"。它的核心使命非常明确:把CPU从网络、存储和安全等基础设施任务中解放出来,让CPU和GPU可以全力服务AI计算。
DPU能做什么
- 网络卸载:TCP/IP协议栈、OVS虚拟交换机、防火墙规则——原本由CPU内核处理的包处理,直接交给DPU硬件加速
- 存储卸载:NVMe over Fabrics、加密、压缩——远程存储访问可以不经过CPU内核
- 安全卸载:IPsec、TLS、微分段——在网卡层面完成加解密和策略执行
- 可编程:通过DOCA(NVIDIA)或类似开发框架,用户可以在DPU上跑自定义逻辑
关键规格
· NVIDIA BlueField-4:800Gb/s吞吐,算力达前代6倍(已发布)
· 国产DPU厂商也在推进中,核心挑战在于软件生态和协议栈完备度
一个直观的例子
假设一台8卡H100服务器正在训练一个大模型,同时它还要对外提供推理服务。没有DPU时:CPU要处理网络包、存储读写、加密解密——CPU占用率可能飙升到60%+,原本可以用来预处理数据的算力被消耗掉。有DPU时:这些基础设施任务卸载到DPU,CPU只需要处理核心业务逻辑,GPU可以长时间维持高利用率。
DPU不是"锦上添花"——在大规模集群中,它是让"昂贵的GPU不为廉价的基础设施任务分心"的关键部件。
3.4 · NVLink桥接器(或板载NVLink接口)
NVLink桥接器的职责非常聚焦:在单机内部或相邻GPU之间建立直连高带宽通道,绕过PCIe瓶颈。
什么时候需要它
· all-reduce等集体通信:分布式训练中梯度同步的核心操作,走NVLink比走PCIe快数倍
· 显存池化:在NVLink NVL(NVLink-NVLink)模式下,多块GPU的显存可以被当作一片统一的大显存来使用
两种实现形态
· 服务器:在主板/基板上集成NVLink接口,SXM封装GPU通过基板PCB走线直接连接NVSwitch
后者性能更高、散热更好、可靠性更强——这也是SXM模块GPU比PCIe版GPU更贵的原因之一。
一个关键事实
NVIDIA HGX B200基板上,8个GPU模块的中间是两颗NVLink交换芯片——你在爆炸图里看到那两个方方正正的大芯片就是它们。没有NVSwitch,NVLink就是"点到点";有了NVSwitch,NVLink才变成"全互联"。
4.1 · 冗余电源模块(CRPS)—— 动力来源
电源这件事在AI时代被前所未有地放大了——一张H100 SXM卡的TDP约700W,一张B200高达1000W。 8张卡就是6-8kW,再加上CPU、内存、NIC、DPU、风扇,整机功耗直奔10-15kW。
电源怎么做
· N+1 或 N+N 冗余:N个模块正常工作,多1个或N个做备份——任何一个电源故障,其余模块自动接管,服务器不中断
· 80PLUS 钛金级:钛金级认证在50%负载下转换效率>96%,对于10kW的服务器,这意味着少浪费约400W电能
· 典型配置:8卡H100服务器配4~6个3-4kW CRPS模块
供电线也有讲究
GPU专用的 12VHPWR 供电线每个接口能提供600W。对于PCIe接口的GPU卡,需要用12VHPWR线直接供电。而SXM规格的GPU不走传统供电线——它通过基板上的高密度连接器直接供电,这也是SXM模块能做更高功率、更紧凑布局的原因。
一个数字
这还只是GPU部分,还没算CPU、内存、网卡、风扇、存储。
AI计算的"电费账单"从来不是小事。
当你看到一台8卡B200服务器时,你看到的不只是算力——它同时也是一个每小时10-15度电的"电老虎"。
4.2 · 散热系统 —— 热管理核心
散热的逻辑很简单:GPU把电能转换成热量,你必须在它烧坏之前把热量排出去。 但做起来不简单——700W/卡的H100和1000W/卡的B200,传统风冷已经接近极限。
风冷方案
· 进风温度:需维持低于35°C,否则GPU会触发热节流(thermal throttling)
· 限制:对于700W/卡以上的GPU,风冷勉强可用,但风扇噪音、PUE(电能使用效率)都会上升
液冷方案
· 浸没式液冷:将整个服务器或GPU模块浸没在绝缘冷却液中,实现最高散热密度
· CDU(冷却液分配单元):液冷系统的"心脏"——泵送冷却液、调节温度、过滤杂质、监控泄漏
· PUE:液冷数据中心的PUE通常能做到1.1以下(风冷数据中心约1.3-1.5),长期运行节省的电费是实实在在的
散热是个"全链路"问题
GPU散热不只是"GPU上的风扇够不够大"——它是一个从GPU芯片到散热片到气流到机房制冷的完整链路。任何一个环节不足,整台机器的性能都会因为热节流而下降。
GPU芯片发热 → 冷板导热 → 冷却液 → CDU热交换 → 机房冷水机组 → 冷却塔散到大气
GPU工程师设计的不只是"算力",他们同时在设计"热量如何从芯片流出去"。
5.1 · 主板与背板 —— 骨架与总线
GPU服务器的主板和普通PC服务器的主板不是一个东西。很多GPU服务器甚至没有"一张主板"的概念——它们由多块板卡(GPU基板、CPU机头、中背板)拼接而成。
以HGX H200服务器为例
打开机箱后,你会看到前部有一块中背板(Midplane):
· 下半部分:对接CPU计算节点(机头)——CPU、内存、部分存储、BMC在这里
· 背板本身:提供物理安装孔位、PCIe/SXM插座、电源连接器、BMC管理接口
· 电源分配:背板同时是一张"配电板",将CRPS电源模块的输出分配到每张GPU和每个风扇模块
两种主板形态
· 标准E-ATX板卡 + 转接卡:中低端服务器可能使用标准规格主板 + Riser卡(PCIe转接卡)来改变插卡方向,让GPU能在4U机箱内水平安装
5.2 · 基板管理控制器(BMC)—— 远程运维大脑
BMC是一个"不参与计算但绝对不能坏"的芯片。 它在服务器通电(但不开机)时就开始运行,全程监控硬件状态。
它能做什么
· 风扇转速调节:根据温度传感器数据动态调整风扇转速
· 温度/电压/功耗监控:对GPU、CPU、VRM、内存、电源进行实时采样
· 日志收集:记录硬件异常事件(温度过高、电压异常、风扇故障)
· 固件升级:远程升级BIOS、BMC自身固件
· 自动保护:当GPU过热时可自动触发风扇加速、降低GPU功耗、甚至保护性关机
主流方案
常见的BMC芯片是ASPEED AST2600。ASPEED在服务器BMC市场占据极高份额,几乎所有主流x86服务器厂商都在使用它。
5.3 · 机箱(机架式机箱)—— 承载结构
机箱不只是个"盒子"。它定义了服务器的物理规格、散热风道、电磁屏蔽、抗震能力和可维护性。
机箱规格速记
· 8U 及以上:用于SXM GPU模组 + 液冷方案,需要更大空间容纳冷板、CDU接口、NVSwitch基板
· 10U+:高端液冷训练节点,整台服务器的高度接近半人高
· 标准机柜:42U高,意味着一个标准柜大约能装10台4U服务器,或4-5台8U服务器
机箱的"看不见的功能"
- EMC屏蔽:防止GPU高速信号对外辐射干扰,也防止外部干扰进入机箱
- 前后风道隔离:将进风/出风严格分开,避免热风回流
- 电源位与硬盘位隔离:避免电源的热量加热存储区域
- 防共振硬盘托架:减少风扇和硬盘共振导致的早期故障
机箱是GPU服务器的"骨架"——骨架不行,再强的肌肉也会散架。
6 · 那些"不起眼但少了就跑不起来"的配件
一台GPU服务器真正上线,除了上面讲到的主要部件,还需要一堆辅助配件。它们不贵,但缺任何一个都可能让整套系统没法运行。
7 · 写在最后:这些部件是怎么"一起干活"的
了解了每个部件之后,真正有价值的问题是:当这台服务器在跑一个大模型训练或推理任务时,数据在各部件间是怎么流动的? 以下是两个最典型的工作流。
7.1 · AI训练任务 —— 协同工作流
执行一次AI训练迭代(一次 forward + backward + optimizer step)的完整硬件链路:
7.2 · 大模型推理服务 —— 协同工作流
当用户向大模型发送一条消息("请帮我写一份……"),GPU服务器内部发生了什么:
理解了数据流,你就理解了GPU服务器。一切硬件设计最终都服务于"让数据在正确的时间出现在正确的位置"。
写在最后:GPU服务器正在朝三个方向演进
理解这些硬件组件的分工与瓶颈,是选型GPU服务器、优化训练成本、定位性能故障的基础。从当前技术演进看,GPU服务器正在朝三个明确的方向发展:
随着AI芯片功耗突破1000W(B200已达1000W/卡,下一代Blackwell Ultra预计更高),风冷已经接近物理极限。冷板式液冷 → 浸没式液冷将成为高端训练服务器的默认配置。
方向二 · 更高带宽互联 → 全光互联与共封装光学(CPO)
PCIe 6.0、7.0和下一代NVLink正在路上,同时业界也在探索将光模块直接与GPU芯片共封装(CPO)——进一步缩短信号路径、降低功耗、提高带宽密度。
方向三 · 更高集成度 → 从"板卡堆叠"到"系统级芯片"
NVIDIA MGX架构、AMD MI300系列、以及国产厂商的加速方案,都在推进一个方向:把GPU、CPU、内存、互连更紧密地集成到一个统一的计算模块中,减少外部走线、减少能耗浪费、减少占地面积。
对从业者的建议
- 做选型:不要只看"有几张卡、每张卡多少算力",要看PCIe/NVLink配置、IB卡数量和速度、电源冗余规格、散热方案
- 做优化:训练瓶颈大概率不是GPU不够,而是"数据喂不到GPU"——检查存储读取速度、PCIe/NVLink带宽、IB卡配置
- 做成本估算:GPU采购成本只占TCO的40-60%,剩下的是电力、散热、机房空间、网络设备、维护——别忘了算这些
- 做国产替代评估:国产GPU芯片在FP16/BF16训练精度上已追近国际水平,但整机解决方案(特别是高端IB卡、NVSwitch级别的互连)仍有追赶空间,评估时需关注"整机方案"而非"单卡规格"
本文是《GPU服务器系列》的第二篇,聚焦于互连组件、供电散热、结构管理以及AI工作流。第一篇涵盖核心计算单元(GPU/CPU)和存储内存层次(DRAM/VRAM/NVMe),两篇结合起来,可对GPU服务器形成完整的硬件认知。
AI时代的算力竞争,不只是"谁的GPU更强"——更是"谁能把GPU的每一条数据通道、每一度电、每一瓦散热都用到极致"。