00 · 导读

导读

服务器主板提供几个PCIe x16插槽:

如果插槽不够怎么办?

很多工程师第一反应:

“加一个PCIe Switch。”

但是进入PCIe 5.0、PCIe 6.0时代以后,这个问题开始变复杂。

因为现在服务器里面的设备越来越多:

这时候,传统“主板给几个槽位”的方式已经无法满足需求。

真正的问题变成:

如何把CPU有限的PCIe Root Complex资源,重新组织成一个高密度、高灵活性的高速互连系统?

这也是PCIe Switch存在的价值。

最近看到的一款基于Broadcom Atlas3 PEX90144 PCIe Gen6 Switch芯片设计的MCIO Switch Board,就是针对这一类问题设计的高速扩展平台。

这张PCIe Gen6 MCIO Switch Board最大的特点,就是采用:

Broadcom Atlas3 PCIe Gen6 Switch PEX90144

它不是简单的PCIe转接芯片,而是一颗真正面向下一代服务器架构的PCIe Gen6交换芯片。

根据规格:

简单理解:

一颗CPU出来的PCIe资源,通过这颗Switch,可以重新分配成几十个高速设备连接口。

如果把传统服务器比作“一条高速公路”,那么PCIe Switch就是一个超级立交桥。

CPU只有有限入口:

Switch的作用:

不是增加CPU本身的PCIe能力;

而是重新调度这些高速Lane。

很多工程师第一次看到这张板,会问:

为什么不用PCIe Slot?

为什么大量使用MCIO?

原因很简单:

服务器未来不会只有几个PCIe槽。

尤其是AI服务器。

内部越来越多采用:

这张板上一共有:

其中UMCIO更加灵活。

它可以:

而普通MCIO接口主要用于连接:

MCIO x8

x16 AIC Slot Adapter

MCIO

4)AI/MI(machine learning)存储节点

之前很多工程师问:

“服务器只有8个GPU槽,如果我要扩展16颗GPU怎么办?”

传统方式:

买更大的服务器。

但是PCIe Switch提供另一种思路。

Switch负责:

对于AI服务器:

可以实现:

PCIe Gen6 Switch

GPU Cluster

NVMe SSD Storage

GPU + SSD + DPU

统一高速互联。

手册中也展示了AI/ML场景:

通过Switch连接:

支持AI存储和GPUDirect应用。

对于做PCIe SSD验证的人来说,这类Switch更加重要。

因为未来Gen6 SSD测试不会只是:

“一块SSD插服务器。”

而会变成:

为什么?

因为企业级SSD测试需要:

一个Gen6 Switch:

8 Bay E3.S JBOF

8颗PCIe Gen6 SSD。

测试人员可以模拟:

真实AI服务器存储环境。

很多PCIe Switch产品最大的问题:

买回来能跑。

出了问题不知道怎么办。

这张板提供完整CLI管理能力。

通过USB Type-C管理接口:

可以访问:

板上还有MCU:

负责运行CLI命令。

下面看看几个工程师最关心的命令。

这是最常用命令。

查看所有MCIO Port当前Link状态。

测试环境:

SSD无法枚举。

第一步:

类似PCIe Analyzer里面查看LTSSM状态。

对于PCIe Gen6高速Switch:

电源稳定性非常重要。

144 Lane同时工作时,

任何电压波动都可能导致:

PCIe测试里面经常需要:

重新拉PERST#。

300ms PERST#。

测试环境最怕:

硬件一样。

Firmware不同。

整个Switch Board状态。

PCIe Gen6时代:

Firmware越来越重要。

这些属于高级Debug命令。

写Switch寄存器:

修改Atlas3寄存器。

读取Switch寄存器:

Debug芯片内部状态。

读取Port寄存器:

某一个PCIe Port问题。

读取Flash内容:

Firmware Debug。

这些命令对于普通用户可能不常用,

但是对于:

非常关键。

提前搭建Gen6环境。

不用等待完整服务器。

未来AI服务器:

不会只是:

8 GPU。

16 GPU;

32 GPU;

GPU + SSD池。

PCIe Switch重新组织资源。

尤其是:

PCIe Gen6 E3.S SSD。

这类开放平台非常适合教学和研究。

PCIe Switch只是:

“不够插槽时的补丁”。

但是进入PCIe 6.0时代:

情况正在改变。

PCIe Switch正在成为服务器内部的重要基础设施。

一张144 Lane的PCIe Gen6 Switch Board,本质上不是一个简单扩展卡。

它更像:

一个小型PCIe高速交换网络。

未来测试PCIe Gen6设备时,

真正的问题可能不再是:

“有没有插槽?”

“有没有能力搭建一个完整、高速、可调试的PCIe生态环境?”

这也是为什么下一代PCIe验证平台,需要:

Switch + Retimer + Analyzer + Exerciser + SSD + GPU

共同组成完整测试体系。

PCIe 6.0的时代,

连接方式正在改变。

而真正懂得如何搭建高速互联环境的人,

才有机会提前进入下一代计算平台的核心验证环节。

更多PCIe5&6.0, CXL, NVMe SSD, SAS/SATA, NVMe over Fabric (NVMoF), NAND,新型存储技术NVM(RRAM/ReRAM, FRAM/FeRAM, MRAM, PCM, 3D-NOR, SRAM/DRAM等) DDR5/LPDDR5以及UFS测试方面的问题想咨询,可以查看Saniffer公司2026.2.24最新更新的测试工具白皮书15.1版本,我们已经整理收录在Saniffer公众号的【白皮书】菜单中。

欢迎关注Saniffer公众号,点击底部菜单栏即可免费获取。如有任何技术问题,也可直接在公众号内留言交流。

微信扫一扫 关注该公众号

微信扫一扫可打开此内容, 使用完整服务