分布式存储后端网络配置

《H3C RoCE 网络开局一本通》拆分章节，文档版本：6W102。

3.6.1 组网需求

如图所示：

分布式存储场景后端网络当前推荐单层组网。
分布式存储场景后端网络一般要求同一个二层域，端口加入同一个 VLAN。
Leaf 设备为 S9855-24B8D。 Leaf 设备的成员设备之间运行 M-LAG （Multichassis Link Aggregation，跨设备链路聚合），双活设备之间使用 400G 端口互联，为了保证可靠性横穿链路至少 2*400G， Peer-link 上不配置 PFC。
服务器网卡采用多 IP 非 bond 模式， Leaf 接入侧端口也无需跨设备 bond。
用户侧的流量切换依赖于应用层感知和调度，网络侧不涉及。

现要求实现 RDMA 应用报文使用队列 5 进行无损传输。

本文以 2 台 Leaf 设备示例。实际应用中 Leaf 层部署 2 台 S9855-24B8D 设备（下行口使用 24*200G）。

图 3-7 数据中心分布式存储场景后端网络 RDMA 组网图

表 3-8 接口 IP 地址规划

设备	接口	IP地址	设备	接口	IP地址
Leaf1	200GE1/0/1~24 400GE1/0/25~26	Vlan 100 KeepAlive成员口	Leaf2	200GE1/0/1~2 4 400GE1/0/25~ 26	Vlan 100 KeepAlive成员口
	400GE1/0/27~28	Peer-Link成员口		400GE1/0/27~ 28	Peer-Link成员口

设备	接口	IP地址	设备	接口	IP地址
	Vlan-int100	9.179.64.1/26		Vlan-int100	9.179.64.1/26

Leaf2 端口编号规则与 Leaf1 一样。为图形简洁起见，图中不再一一标注。

3.6.2 配置思路

服务器双上行方案

Leaf 设备配置 M-LAG 实现服务器双上行接入。

服务器网卡采用多 IP 非 bond 模式， Leaf 接入侧端口也无需跨设备 bond。

路由配置方案

不涉及。

RDMA 功能配置

为实现 RDMA 应用报文的无损传输，我们需要部署 PFC 功能和 ECN 功能：

PFC 功能基于优先级队列对报文进行流量控制。 RDMA 报文携带 802.1P 优先级 5，我们对 802.1P 优先级为 5 的报文开启 PFC 功能。
RDMA 报文转发路径的所有端口都需要配置 PFC 功能，因此我们在 Leaf 设备互连的端口、 Leaf 设备连接服务器的端口均开启 PFC 功能。
ECN 功能提供端到端的拥塞控制。设备检测到拥塞后，对报文的 ECN 域进行标记。接收端收到 ECN 标记的报文后，向发送端发送拥塞通知报文，使发送端降低流量发送速率。 ECN 分为手工指定 WRED 参数来实现的静态 ECN，和 AI 组件实现的 AI ECN 功能：
如果配置静态 ECN 功能，则在本例中，我们在 Leaf 设备连接服务器的端口均开启 ECN 功能。 ECN 功能配置的 high-limit 值（queue queue-id [ drop-level drop-level ] low-limit low-limit high-limit high-limit [ discard-probability discard-prob ]）需要小于 PFC 反压帧触发门限值，以使 ECN 功能先生效。
如果 Spine 设备与 Leaf 设备都支持 AI ECN 功能，则可以开启指定队列的 AI ECN 功能。在智能无损网络中配置 AI ECN 功能时，需要先配置 RoCEv2 流量 NetAnalysis 功能，由 NetAnalysis 技术对现网的流量特征进行深度分析。关键配置包括：
使用 netanalysis rocev2 mode 命令配置 RoCEv2 流量 NetAnalysis 功能的工作模式；
使用 netanalysis rocev2 statistics 命令开启 RoCEv2 流量的 NetAnalysis 统计功能；
使用 netanalysis rocev2 ai-ecn enable 命令开启 RoCEv2 流量的 AI ECN 功能。

3.6.3 配置注意事项

配置 PFC 功能时：必须配置接口信任报文自带的 802.1p 优先级或 DSCP 优先级（qos trust { dot1p | dscp }），并且转发路径上所有端口的 802.1p 优先级与本地优先级映射关系以及 DSCP 优先级与 802.1p 优先级映射关系必须一致，否则 PFC 功能将无法正常工作。

配置优先级信任模式后，设备将根据报文自身的优先级，查找优先级映射表，为报文分配优先级参数：

二层 VLAN 报文使用 802.1p 优先级，因此对于二层接口，建议配置接口信任报文自带的 802.1p 优先级（qos trust dot1p）。
三层 IP 报文使用 DSCP 优先级，因此对于三层接口，建议配置接口信任报文自带的 DSCP 优先级（qos trust dscp）。

对于接收到的以太网报文，设备将根据优先级信任模式和报文的 802.1Q 标签状态，设备将采用不同的方式为其标记调度优先级。当设备连接不同网络时，所有进入设备的报文，其外部优先级字段（包括 DSCP 和 IP）都被映射为 802.1p 优先级，再根据 802.1p 优先级映射为内部优先级；设备根据内部优先级进行队列调度的 QoS 处理。

关于优先级映射的详细介绍，请参见产品配套的“ ACL 和 QoS 配置指导”中的“优先级映射”。

3.6.4 配置步骤

Leaf 设备配置 M-LAG

(1) 配置 Leaf 1
配置 M-LAG 的系统地址为 0001-0001-0001。在开启 M-LAG 功能的一组设备上， M-LAG 的系统 MAC 地址需要配置一致。

<Leaf1> system-view

[Leaf1] m-lag system-mac 1-1-1

配置 M-LAG 的系统优先级为 123。在开启 M-LAG 功能的一组设备上， M-LAG 的系统优先级需要配置一致。

[Leaf1] m-lag system-priority 123

配置 M-LAG 的系统编号为 1。在开启 M-LAG 功能的一组设备上，不同设备上配置的 M-LAG 系统编号不能相同。

[Leaf1] m-lag system-number 1

创建路由聚合接口 1，并配置该接口为动态聚合模式，绑定 vpn 实例 kpl，加入物理成员口 FourHundredGigE 1/0/25、 FourHundredGigE 1/0/26。

[Leaf1] ip vpn-instance kpl

[Leaf1-vpn-instance-kpl] quit

[Leaf1] interface route-aggregation 1
[Leaf1-Route-Aggregation1] link-aggregation mode dynamic

[Leaf1-Route-Aggregation1] ip binding vpn-instance kpl

[Leaf1-Route-Aggregation1] ip address 192.1.1.1 24

[Leaf1-Route-Aggregation1] quit

[Leaf1] interface range FourHundredGigE 1/0/25 FourHundredGigE 1/0/26 [Leaf1-if-range] port link-mode route [Leaf1-if-range] port link-aggregation group 1 [Leaf1-if-range] quit [Leaf1] m-lag keepalive ip destination 192.1.1.2 source 192.1.1.1 vpn-instance kpl # 创建二层聚合接口 1000，并配置该接口为动态聚合模式，并配置该接口为 peer-link 接口，将物理端口 FourHundredGigE 1/0/27~28 加入到聚合组 1000 中。 [Leaf1] interface bridge-aggregation 1000 [Leaf1-Bridge-Aggregation1000] link-aggregation mode dynamic [Leaf1-Bridge-Aggregation1000] port m-lag peer-link 1 [Leaf1-Bridge-Aggregation1000] quit [Leaf1] interface range FourHundredGigE 1/0/27 to FourHundredGigE 1/0/28 [Leaf1-if-range] port link-aggregation group 1000 [Leaf1-if-range] quit (2) 配置 Leaf 2

说明： 配置 M-LAG 的系统地址为 0001-0001-0001。在开启 M-LAG 功能的一组设备上， M-LAG 的系统 MAC 地址需要配置一致。

<Leaf2> system-view [Leaf 2] m-lag system-mac 1-1-1 # 配置 M-LAG 的系统优先级为 123。在开启 M-LAG 功能的一组设备上， M-LAG 的系统优先级需要配置一致。 [Leaf 2] m-lag system-priority 123 # 配置 M-LAG 的系统编号为 2。在开启 M-LAG 功能的一组设备上，不同设备上配置的 M-LAG 系统编号不能相同。 [Leaf 2] m-lag system-number 2 # 创建路由聚合接口 1，并配置该接口为动态聚合模式，绑定 vpn 实例 kpl，加入物理成员口 FourHundredGigE 1/0/25、 FourHundredGigE 1/0/26。 [Leaf 2] ip vpn-instance kpl [Leaf2-vpn-instance-kpl] quit [Leaf 2] interface route-aggregation 1 [Leaf2-Route-Aggregation1] link-aggregation mode dynamic [Leaf2-Route-Aggregation1] ip binding vpn-instance kpl [Leaf2-Route-Aggregation1] ip address 192.1.1.2 24 [Leaf2-Route-Aggregation1] quit [Leaf 2] interface range FourHundredGigE 1/0/25 FourHundredGigE 1/0/26 [Leaf2-if-range] port link-mode route [Leaf2-if-range] port link-aggregation group 1 [Leaf2-if-range] quit [Leaf 2] m-lag keepalive ip destination 192.1.1.1 source 192.1.1.2 vpn-instance kpl

说明： 创建二层聚合接口 1000，并配置该接口为动态聚合模式，并配置该接口为 peer-link 接口，将物理端口 FourHundredGigE 1/0/27~28 加入到聚合组 1000 中。 [Leaf 2] interface bridge-aggregation 1000 [Leaf2-Bridge-Aggregation1000] link-aggregation mode dynamic [Leaf2-Bridge-Aggregation1000] port m-lag peer-link 1 [Leaf2-Bridge-Aggregation1000] quit

[Leaf 2] interface range FourHundredGigE 1/0/27 to FourHundredGigE 1/0/28

[Leaf2-if-range] port link-aggregation group 1000

[Leaf2-if-range] quit

2. 配置接入存储的端口及双活网关地址

(1) 配置 Leaf 1

说明： 创建 VLAN 100，并配置 IP 地址及 MAC 地址，配置接入存储服务器的端口加入 VLAN 100。

[Leaf1] vlan 100

[Leaf1] interface vlan-interface 100
[Leaf1-Vlan-interface100] ip address 9.179.64.1 26

[Leaf1-Vlan-interface100] mac-address 0000-5e00-0001
[Leaf1] interface range TwoHundredGigE 1/0/1 to TwoHundredGigE 1/0/24
[Leaf1-if-range] port access vlan 100
[Leaf1-if-range] quit

(2) 配置 Leaf 2

Leaf 2 与 Leaf 1 配置相同，具体步骤略。

3. 配置静态 ECN 功能

(1) 配置 Leaf 1

说明： 配置队列 5 和队列 6 最多可使用的共享区域的大小为 100%。队列 5 为 RDMA 应用报文队列，队列 6 为 CNP 报文所在队列。

[Leaf1] buffer egress cell queue 5 shared ratio 100
[Leaf1] buffer egress cell queue 6 shared ratio 100
[Leaf1] buffer apply

说明： 在下行口 TwoHundredGigE1/0/1~TwoHundredGigE1/0/24 上配置队列 5 的 WRED 平均长度的下限为 1500，平均长度的上限为 3000，丢弃概率为 20 ％，计算平均队列的指数为 0，并为队列 5 开启 ECN 功能。开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。对队列 6 的报文进行流量整形。正常流速为 100000000kbps，突发流量为 8000000bytes。

[Leaf1] interface range twohundredgige 1/0/1 to twohundredgige 1/0/24
[Leaf1-if-range] qos wred queue 5 low-limit 1500 high-limit 3000 discard-probability
20
[Leaf1-if-range] qos wred queue 5 weighting-constant 0
[Leaf1-if-range] qos wred queue 5 ecn
[Leaf1-if-range] qos wfq byte-count
[Leaf1-if-range] qos wfq ef group 1 byte-count 60
[Leaf1-if-range] qos wfq cs6 group sp
[Leaf1-if-range] qos wfq cs7 group sp
[Leaf1-if-range] qos gts queue 6 cir 100000000 cbs 8000000
[Leaf1-if-range] quit

说明： 在 Peer-Link 口 FourHundredGigE1/0/27~FourHundredGigE1/0/28 上配置队列 5 的 WRED 平均长度的下限为 2100，平均长度的上限为 5000，丢弃概率为 20 ％，计算平均队列的指数为 0，并为队列 5 开启 ECN 功能。开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。对队列 6 的报文进行流量整形。正常流速为 200000000kbps，突发流量为 16000000bytes。

[Leaf1] interface range fourhundredgige 1/0/27 to fourhundredgige 1/0/28

[Leaf1-if-range] qos wred queue 5 low-limit 2100 high-limit 5000 discard-probability

20
[Leaf1-if-range] qos wred queue 5 weighting-constant 0
[Leaf1-if-range] qos wred queue 5 ecn
[Leaf1-if-range] qos wfq byte-count
[Leaf1-if-range] qos wfq ef group 1 byte-count 60
[Leaf1-if-range] qos wfq cs6 group sp
[Leaf1-if-range] qos wfq cs7 group sp
[Leaf1-if-range] qos gts queue 6 cir 200000000 cbs 16000000
[Leaf1-if-range] quit

对于 S9825 系列、 S9855 系列交换机，支持在接口视图配置 WRED 的各种参数，并开启 WRED 功能（qos wred queue 命令）。端口 WRED 方式可以只配置 RoCE 队列，不同接口可以配置不同的参数，使用更为灵活。对于支持该功能的产品和版本，推荐采用端口 WRED 方式。

(2) 配置 Leaf 2

Leaf 2 和 Leaf 1 的配置相同，具体配置略。

配置 PFC 功能和 PFC 死锁检测功能

(1) 配置 Leaf 1
配置 Headroom 最大可用的 cell 资源为 26000 （Headroom 最大可用资源按照设备各个 ITM 所有接口配置的 headroom 总和计算，如 S9855 设备共 1 个 ITM， 24 个 200G 口（每个 200G 口 Headroom 门限为 750）， 8 个 400G 口（每个 400G 口 Headroom 门限为 1000），则应配置为 24750+81000=26000）。

[Leaf1] priority-flow-control poolID 0 headroom 26000

说明： 配置 PFC 死锁检测周期为 10，精度为 high。

[Leaf1] priority-flow-control deadlock cos 5 interval 10

[Leaf1] priority-flow-control deadlock precision high

说明： 在下行口 TwoHundredGigE1/0/1~TwoHundredGigE1/0/24 上配置接口信任 dot1p 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。开启接口的 PFC 功能，并对 802.1p 优先级 5 开启 PFC 功能。开启接口的 PFC 死锁检测功能。配置接口物理连接 up 状态抑制时间为 2 秒。

[Leaf1] interface range twohundredgige 1/0/1 to twohundredgige 1/0/24

[Leaf1-if-range] qos trust dot1p override
[Leaf1-if-range] priority-flow-control enable
[Leaf1-if-range] priority-flow-control no-drop dot1p 5
[Leaf1-if-range] priority-flow-control deadlock enable

[Leaf1-if-range] link-delay up 2

说明： 在下行口 TwoHundredGigE1/0/1~TwoHundredGigE1/0/24 上配置 PFC 门限值。

[Leaf1-if-range] priority-flow-control no-drop dot1p 5 pause-threshold ratio 5 headroom
750 pause-threshold-offset 12 reserved-buffer 16

[Leaf1-if-range] quit

(2) 配置 Leaf 2

Leaf 2 与 Leaf 1 配置相同，具体步骤略。

3.6.5 验证配置

2 台 Leaf 设备连接 2 台服务器进行下面验证。验证方式一：
验证条件：同 VLAN 连接的服务器多对多打流，报文长度为 9000 字节。
验证结果：流量没有丢包，速率稳定； ECN 全程生效。
验证方式二：
验证条件：同 VLAN 连接的服务器两两互发流量，报文长度为 9000 字节。
验证结果：流量没有丢包，速率稳定； ECN 全程生效，有多次触发 PFC，总体还是 ECN 优先生效。

综上所述， RDMA 流量全程无丢包；流量速率波动正常； ECN 优于 PFC 生效控制流量速率。

分布式存储后端网络配置 ​

3.6.1 组网需求 ​

图 3-7 数据中心分布式存储场景后端网络 RDMA 组网图 ​

表 3-8 接口 IP 地址规划 ​

3.6.2 配置思路 ​

3.6.3 配置注意事项 ​

3.6.4 配置步骤 ​

配置 M-LAG 的系统地址为 0001-0001-0001。在开启 M-LAG 功能的一组设备上， M-LAG 的系统 MAC 地址需要配置一致。 ​

配置 M-LAG 的系统优先级为 123。在开启 M-LAG 功能的一组设备上， M-LAG 的系统优先级需要配置一致。 ​

配置 M-LAG 的系统编号为 1。在开启 M-LAG 功能的一组设备上，不同设备上配置的 M-LAG 系统编号不能相同。 ​

创建路由聚合接口 1，并配置该接口为动态聚合模式，绑定 vpn 实例 kpl，加入物理成员口 FourHundredGigE 1/0/25、 FourHundredGigE 1/0/26。 ​

2. 配置接入存储的端口及双活网关地址 ​

3. 配置静态 ECN 功能 ​

3.6.5 验证配置 ​