AI 集群 技术知识库

Appearance

网卡识别与工作模式配置 ​

识别计算网卡、判断单双口网卡，并配置 IB 或 RoCE 工作模式。

返回网卡配置索引 | 上一篇：网卡固件查看与刷新 | 下一篇：RoCE 网卡 IP 地址配置

判断计算网卡 ​

首先需判断出计算网卡，然后进行下一步配置。

如下图，计算网卡一般带宽比较高，Rate至少有100，管理网卡一般较低，所以除非特别说明外，集群CA type最新的网卡为计算网卡，（有的集群存储网卡也是200Gbps，集群搭建时需要特别说明）。图例mlx5_0，mlx5_1 CA type 4129为400Gbps的计算网卡，mlx5_2为10Gbps的管理网卡。mlx5_3没有使用状态为Down。本文档只涉及计算网卡的配置，也就是下图mlx5_0，mlx5_1。

判断计算网卡

  • 网卡CA type解释：

集群目前常用的网卡型号是connext x7，其CA type为上图的MT4129，也有的环境用connext x6，CA type为MT4123/MT4124/MT4125，这些型号CA type都是大于MT4120。但是有时ibstat 会显示MT411*，类似的网卡为老旧或者低速的管理网卡，一般不用于计算，例如ConnectX-4 MT4115，一般不需要配置这种网卡。

CA type网卡型号
MT4115ConnectX-4
MT4116ConnectX-4 VF
MT4117ConnectX-4 LX
MT4118ConnectX-4 LX VF
MT4119ConnectX-5
MT4120ConnectX-5 VF
MT4121ConnectX-5 Ex
MT4122ConnectX-5 Ex VF
MT4123ConnectX-6
MT4124ConnectX-6 VF
MT4125ConnectX-6 Dx
MT4126ConnectX-6 VF
MT4127ConnectX-6 LX
MT4129ConnectX-7
MT4131ConnectX-8
  • 网卡和PCIe、网络设备的对应关系

通过如下命令

sudo mst status -v

判断计算网卡

  • 判断网卡是不是双口网卡

如上图，mlx5_2和mlx5_3的PCIe设备号分别是33:00.0，33:00.1。只有尾段有区别，busid均为33，表示这个ConnectX-7为同一张双口网卡。双口网卡一张卡会对应有两个设备。同理上图mlx5_4对应ConnectX-6 Dx为单口网卡。

IB模式设置 ​

目前只有Mellanox网卡有IB模式，并且网卡需要由Mellanox的IB交换机相联。其他网卡不能设置该模式。

IB模式的网卡设置比较简单，不需要另设置IP地址。按照如下步骤进行查看，如一致，则表示IB模式正常。

ibstat

结果如下：InfiniBand 表示网卡处于IB模式，Ethernet表示网卡处于RoCE模式。

IB模式设置

正常状态下为active状态， state: LinkUp，如下图所示：

IB模式设置

不可用状态可能为 Initializing 或 Down。出现 Down 时，应检查网线连接是否正常；如果网络模式不正确，请按照本文的网卡模式切换章节进行切换。

“Initializing”解决办法为执行如下命令：

sudo systemctl start opensmd
  • 上面的命令开机后有时需要重新配置，以ubuntu为例，可以用如下方法配置成开机自启动：
bash
sudo systemctl enable opensmd

是否成功使用该命令查询 systemctl status opensmd，显示如下结果为正常。

IB模式设置

网卡模式切换 ​

目前只有Mellanox的网卡存在两种模式的切换，其他网卡只有RoCE模式。

Mellanox网卡有IB和RoCE两种模式，需要根据交换机的类型来设置网卡对应模式；IB交换机对应IB模式，RoCE交换机对应RoCE模式。如需切换，按照如下步骤进行。

首先开启mst服务并查看网卡设备号：

sudo mst start #开启mst服务，必须执行
sudo mst status -v

可以看到有三张网卡，网卡0设备号为：/dev/mst/mt4129_pciconf0，网卡1设备号为：dev/mst/mt4129_pciconf1，网卡2设备号为：dev/mst/mt4129_pciconf2，这三张网卡均为双口网卡，因为mst可以看到/dev/mst/mt4129_pciconf0和/dev/mst/mt4129_pciconf0.1

网卡模式切换

然后切换网卡的设备的工作模式（如果网卡有两个端口，都要设置，所有的计算网卡都需要配置）：

sudo mlxconfig -d <device name> set LINK_TYPE_P1=2

配置举例：

#配置网卡0（mt4129_pciconf0）的网口1（LINK_TYPE_P1）为的连接类型，value值1为IB，2为RoCE
sudo mlxconfig -d /dev/mst/mt4129_pciconf0 set LINK_TYPE_P1=2
#配置网卡0（mt4129_pciconf0）的网口2（LINK_TYPE_P2）为的连接类型，没有网口2则不需要执行
sudo mlxconfig -d /dev/mst/mt4129_pciconf0 set LINK_TYPE_P2=2
#配置完后，要重新加载固件，使用命令
sudo mlxfwreset -d /dev/mst/mt4129_pciconf0 r

切换网卡模式失败问题总结：

  • 遇到报错：

Configurations: Next Boot New

-E- The Device doesn't support LINK_TYPE_P1 parameter

解释：一般是网卡现有的固件（firmware）版本比较老。不支持更改网卡模式，解决方法如下：

  • 网卡固件老旧导致，执行下面命令尝试更新一下网卡固件
bash
cd /opt/mellanox/mlnx-fw-updater
sudo ./mlnx_fw_updater.pl

此命令会比较驱动包里面自带的固件是否比网卡的新，如果新则更新固件。更新完固件重启机器，再次尝试切换网卡模式，如果还是不行，请看方法2。

  • 网卡驱动包版本老旧，需要需要确认网卡驱动包是最新的LTS版本。不是新版的话，请更新驱动。驱动安装过程中会更新网卡的固件。安装完驱动重启机器，再次尝试切换网卡模式，如果还是不行，请看方法3。

  • 网卡本身不支持切换模式，需要找到网卡的产品文档，确认网卡是不是单模网卡，不支持的话，就不能切换模式。例如通过下面命令查询网卡子型号，

bash
sudo mlxfwmanager | grep -E "Part Number|Device Type"

网卡模式切换

得到子型号MCX755106AS，再去产品官网查询设备支持信息。

如下这个链接可查询connect x7得到MCX755106AS支持InfiniBand和Ethernet（RoCE）双模。

NVIDIA ConnectX-7 Adapter Cards User Manual - NVIDIA Docs

网卡模式切换

同理可查到MCX75510AAS只支持IB模式。

网卡模式切换

mellanox系列的网卡都可以去下面的官网链接查询支持信息。

https://docs.nvidia.com/networking/adapters/index.html

RoCE模式设置 ​

目前所有的RDMA网卡都支持RoCE模式，除了Mellanox网卡外的其他网卡也只支持RoCE模式，如博通、云脉、中兴等网卡。

RoCE模式设置比较复杂，如设置网卡IP地址，无损网络的网卡拥塞配置，Queue队列分配，并单独配置交换机等，需按照下图步骤及后续章节来开展，IB模式可跳过。

RoCE模式设置

返回网卡配置索引 | 上一篇：网卡固件查看与刷新 | 下一篇：RoCE 网卡 IP 地址配置