集中式存储盒式—盒式配置

《H3C RoCE 网络开局一本通》拆分章节，文档版本：6W102。

3.2.1 典型组网

以二层盒盒组网为例，集中式存储的 RoCE 高性能存储网络典型组网如下图所示。本节以每个平面使用 Leaf-Spine 的两层组网为例， Leaf 和 Spine 均使用 S6850-G 系列盒式交换机。在该组网中，服务器和存储均采用 VLAN 接入，使用 25G 带宽链路，分别接入到两个平面的交换机； Leaf 和 Spine 之间采用路由口互联，使用多条 100G 带宽链路，形成等价路由。

存储、存储服务器和交换机均支持 iNOF （Intelligent Lossless NVMe Over Fabric，智能无损存储网络），从而可以快速感知网络服务器和磁盘设备的加入和离开。

关于 iNOF （Intelligent Lossless NVMe Over Fabric，智能无损存储网络）的详细介绍，请参见产品配套的“智能无损网络配置指导”中的“ iNOF 配置”及命令手册。本组网中要求实现 RDMA 应用报文使用队列 5 进行无损传输。

本文以一个平面 1 台 Leaf 设备示例，实际组网时一个平面可能存在多台 Leaf，各 Leaf 设备的配置相似，此处不再一一列出。

图 3-3 集中式存储典型组网

表 3-1 服务器 / 存储接入口 IP 规划

设备	接口	IP地址/VLAN	设备	接口	IP地址/VLAN
	WGE2/0/1	100		WGE2/0/1	200
Leaf1	…	100	Leaf2	…	200
	WGE2/0/8	100		WGE2/0/8	200
	Vlan-int100	100.1.1.254/24		Vlan-int200	200.1.1.254/24

设备	接口	IP地址/VLAN	设备	接口	IP地址/VLAN
	LoopBack 0	91.1.1.1/32		LoopBack 0	91.1.1.2/32
	WGE2/0/1	101		WGE2/0/1	201
	…	101		…	201
Spine1	WGE2/0/8	101	Spine2	WGE2/0/8	201
	Vlan-int101	101.1.1.254/24		Vlan-int200	201.1.1.254/24
	LoopBack 0	92.1.1.1/32		LoopBack 0	92.1.1.2/32

表 3-2 Leaf-Spine 互联接口 IP 规划

设备	接口	IP地址/VLAN	设备	接口	IP地址/VLAN
	HGE2/0/49	172.16.24.1/30		HGE2/0/49	172.16.24.2/30
Lf1	HGE2/0/50	172.16.24.5/30	Si1	HGE2/0/50	172.16.24.6/30
ea	HGE2/0/52	172.16.24.9/30	pne	HGE2/0/52	172.16.24.10/30
	HGE2/0/52	172.16.24.13/30		HGE2/0/52	172.16.24.14/30
	HGE2/0/49	172.16.25.1/30		HGE2/0/49	172.16.25.2/30
Lf2	HGE2/0/50	172.16.25.5/30	Si2	HGE2/0/50	172.16.25.6/30
ea	HGE2/0/51	172.16.25.9/30	pne	HGE2/0/51	172.16.25.10/30
	HGE2/0/52	172.16.25.13/30		HGE2/0/52	172.16.25.14/30

Leaf 上服务器接入口的配置相似，配置仅以少量接口为例。
Spine 上存储接入口的配置相似，配置仅以少量接口为例。
Leaf 与 Spine 之间互联接口的配置相似，配置仅以少量接口为例。
本文以一个平面 1 台 Leaf 设备示例，实际组网时一个平面可能存在多台 Leaf，各 Leaf 设备的配置相似，此处不再一一列出。

3.2.2 配置思路

1. 采用双平面组网

每个平面采用 Leaf-Spine 的两层组网形式。

2. 路由配置方案

使用 IBGP 作为路由互通协议：

通过 BGP 的 IPv4 地址族进行 RDMA 业务转发，发布 Loopback 口的地址（也作为 router-id）、 Leaf 与 Spine 互联接口的网段、服务器 / 存储接入口的网段。

通过 BGP 的 iNOF 地址族传递存储、服务器的 iNOF 信息， Spine 配置为路由反射器。
存储和服务器配置网关或路由，保证相互路由可达。

请按照业务需求和组网规模选择合适的路由协议，使用 iNOF 功能时，必须配置 BGP 的 iNOF 地址族用于 iNOF 信息传递， RDMA 业务流量使用的路由协议没有限制。

3. RDMA 功能配置

为实现 RDMA 应用报文的无损传输，我们需要部署 PFC 功能和 ECN 功能：

PFC 功能基于优先级队列对报文进行流量控制。 RDMA 报文携带 802.1P 优先级 5，我们对 802.1P 优先级为 5 的报文开启 PFC 功能。

RDMA 报文转发路径的所有端口都需要配置 PFC 功能。

ECN 功能提供端到端的拥塞控制。设备检测到拥塞后，对报文的 ECN 域进行标记。接收端收到 ECN 标记的报文后，向发送端发送拥塞通知报文，使发送端降低流量发送速率。 ECN 分为手工指定 WRED 参数来实现的静态 ECN，和 AI 组件实现的 AI ECN 功能：
如果配置静态 ECN 功能，则在本例中，我们在报文转发路径的所有端口均开启 ECN 功能。 ECN 功能配置的 high-limit 值（queue queue-id [ drop-level drop-level ] low-limit low-limit high-limit high-limit [ discard-probability discard-prob ]）需要小于 PFC 反压帧触发门限值，以使 ECN 功能先生效。
如果 Spine 设备与 Leaf 设备都支持 AI ECN 功能，则可以开启指定队列的 AI ECN 功能。在智能无损网络中配置 AI ECN 功能时，需要先配置 RoCEv2 流量 NetAnalysis 功能，由 NetAnalysis 技术对现网的流量特征进行深度分析。关键配置包括：
使用 netanalysis rocev2 mode 命令配置 RoCEv2 流量 NetAnalysis 功能的工作模式；
使用 netanalysis rocev2 statistics 命令开启 RoCEv2 流量的 NetAnalysis 统计功能；
使用 netanalysis rocev2 ai-ecn enable 命令开启 RoCEv2 流量的 AI ECN 功能。

不同产品的 PFC/ECN 配置值有所不同，具体请联系 H3C 技术支持。

iNOF 功能配置

Leaf 和 Spine 均使能 iNOF，与存储、服务器互联的接口需要使能 lldp 和 dcbx 等功能。

需要在 Spine 上配置 iNOF zone，并按照规划将存储、服务器的 ip 添加到相应的 iNOF zone 中以用于访问控制。

3.2.3 配置注意事项

请确认存储及服务器的软件支持 SNSD 功能并配置正确，否则服务器和存储不能通过 iNOF 信息自动建立链接，也会导致存储网络的 iNOF 快速感知功能失效。

本文仅涉及交换机配置，存储以及存储服务器的配置，请以使用产品的资料为准。

静态 ECN 功能与 AIECN 功能选择一种配置即可。如果 Spine 设备与 Leaf 设备都支持 AI ECN 功能，则建议配置 AI ECN 功能。

AI ECN 功能受 License 限制，请在使用本功能前安装有效的 License。有关 License 的详细介绍，请参见 “ 基础配置指导 ” 中的 “License 管理 ”。

配置 PFC 功能时：必须配置接口信任报文自带的 802.1p 优先级或 DSCP 优先级（qos trust { dot1p | dscp }），并且转发路径上所有端口的 802.1p 优先级与本地优先级映射关系以及 DSCP 优先级与 802.1p 优先级映射关系必须一致，否则 PFC 功能将无法正常工作。

配置优先级信任模式后，设备将根据报文自身的优先级，查找优先级映射表，为报文分配优先级参数：

二层 VLAN 报文使用 802.1p 优先级，因此对于二层接口，建议配置接口信任报文自带的 802.1p 优先级（qos trust dot1p）。
三层 IP 报文使用 DSCP 优先级，因此对于三层接口，建议配置接口信任报文自带的 DSCP 优先级（qos trust dscp）。

对于接收到的以太网报文，设备将根据优先级信任模式和报文的 802.1Q 标签状态，设备将采用不同的方式为其标记调度优先级。当设备连接不同网络时，所有进入设备的报文，其外部优先级字段（包括 DSCP 和 IP）都被映射为 802.1p 优先级，再根据 802.1p 优先级映射为内部优先级；设备根据内部优先级进行队列调度的 QoS 处理。

关于优先级映射的详细介绍，请参见产品配套的“ ACL 和 QoS 配置指导”中的“优先级映射”。

3.2.4 配置步骤

配置 Leaf1

(1) 全局使能 LLDP 功能
全局使能 LLDP 功能。

<Leaf1> system-view

[Leaf1] lldp global enable

(2) VLAN 和接口配置
创建 VLAN。

[Leaf1] vlan 100

[Leaf1-vlan100] quit

说明： 创建 vlan 虚接口。

[Leaf1] interface Vlan-interface 100

配置 vlan 虚接口地址，作为业务服务器 RDMA 网卡接口的网关。

[Leaf1-Vlan-interface100] ip address 100.1.1.254 24

说明： 配置 vlan 虚接口 mac 地址。

[Leaf1-Vlan-interface100] mac-address 0000-5e00-0001

[Leaf1-Vlan-interface100] quit

进入批量接口配置视图，配置与业务服务器网卡对接的接口。

[Leaf1] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

将接口的链路类型修改为 trunk。

[Leaf1-if-range] port link-type trunk

说明： 禁止 vlan 1 通过这些 trunk 接口。

[Leaf1-if-range] undo port trunk permit vlan 1 # 允许 vlan 100 通过这些 trunk 接口。 [Leaf1-if-range] port trunk permit vlan 100 # 配置为 stp edge-port。 [Leaf1-if-range] stp edged-port # 允许 lldp 发布 dot1-tlv 的 tlv 类型。 [Leaf1-if-range] lldp tlv-enable dot1-tlv dcbx # 端口信任 dot1p 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。 [Leaf1-if-range] qos trust dot1p override [Leaf1-if-range] quit # 进入批量接口配置视图，配置与 Spine 对接的接口。 [Leaf1] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52 # 将以太接口切换为三层工作模式。 [Leaf1-if-range] port link-mode route The configuration of the interface will be restored to the default. Continue? [Y /N]:y # 端口信任 dscp 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。 [Leaf1-if-range] qos trust dscp override [Leaf1-if-range] quit # 配置接口 IP 地址。 [Leaf1] interface HundredGigE 2/0/49 [Leaf1-HundredGigE2/0/49] ip address 172.16.24.1 30 [Leaf1-HundredGigE2/0/49] quit [Leaf1] interface HundredGigE 2/0/50 [Leaf1-HundredGigE2/0/50] ip address 172.16.24.5 30 [Leaf1-HundredGigE2/0/50] quit 其它接口配置方法类似，后略。 (3) 配置 BGP 路由协议。 # 创建接口 LoopBack 0。 [Leaf1] interface LoopBack 0 # 配置 LoopBack 0 的 ip，作为全局的 Router ID [Leaf1-LoopBack0] ip address 91.1.1.1 32 [Leaf1-LoopBack0] quit # 配置全局 Router ID [Leaf1] router-id 91.1.1.1 # 启动 BGP 实例 default，指定该 BGP 实例的本地 AS 号，并进入 BGP 实例视图 [Leaf1-bgp-default] bgp 65512 # 配置 BGP 的 Router ID [Leaf1-bgp-default] router-id 91.1.1.1 # 将 Spine 设备添加为对等体

[Leaf1-bgp-default] peer 172.16.24.2 as-number 65512
[Leaf1-bgp-default] peer 172.16.24.6 as-number 65512

说明： 进入 BGP ipv4 单播地址族视图

[Leaf1-bgp-default] address-family ipv4 unicast

说明： 配置进行 BGP 负载分担的路由条数为 16

[Leaf1-bgp-default-ipv4] balance 16 # 发布 Loopback0 接口地址的路由

[Leaf1-bgp-default-ipv4] network 91.1.1.1 255.255.255.255

说明： 发布业务服务器接入网段的路由

[Leaf1-bgp-default-ipv4] network 100.1.1.0 255.255.255.0

说明： 发布与 Spine 互联接口的网段路由

[Leaf1-bgp-default-ipv4] network 172.16.24.0 255.255.255.252

[Leaf1-bgp-default-ipv4] network 172.16.24.4 255.255.255.252

说明： 允许本地路由器与对等体交换路由信息

[Leaf1-bgp-default-ipv4] peer 172.16.24.2 enable

[Leaf1-bgp-default-ipv4] peer 172.16.24.6 enable

[Leaf1-bgp-default-ipv4] quit

说明： 进入 BGP iNOF 地址族视图

[Leaf1-bgp-default] address-family inof # 配置 Leaf 角色为客户机

[Leaf1-bgp-default-inof] role reflect-client

说明： 允许本地路由器与对等体交换路由信息

[Leaf1-bgp-default-inof] peer 172.16.24.2 enable

[Leaf1-bgp-default-inof] peer 172.16.24.6 enable

[Leaf1-bgp-default-inof]quit
[Leaf1-bgp-default]quit

(4) 配置静态 ECN 功能（本功能与 AI ECN 功能选择一种配置即可）

说明： 配置队列 5 和队列 6 最多可使用的共享区域的大小为 100%。队列 5 为 RDMA 应用报文队列，队列 6 为 CNP 报文所在队列。

[Leaf1] buffer egress cell queue 5 shared ratio 100
[Leaf1] buffer egress cell queue 6 shared ratio 100
[Leaf1] buffer apply

说明： 全局使能 ECN 拥塞标记功能。

[Leaf1] qos wred ecn enable

说明： 进入批量接口配置视图，配置与业务服务器网卡对接的接口。

[Leaf1] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

说明： 配置队列 5 的 WRED 平均长度的下限为 500，平均长度的上限为 1200，丢弃概率为 20 ％。 [Leaf1-if-range] qos wred queue 5 low-limit 500 high-limit 1200 discard-probability 20 # 开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。

[Leaf1-if-range] qos wfq byte-count

[Leaf1-if-range] qos wfq ef group 1 byte-count 60

[Leaf1-if-range] qos wfq cs6 group sp

[Leaf1-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 12500000kbps （建议配置为接口带宽的一半）。

[Leaf1-if-range] qos gts queue 6 cir 12500000

[Leaf1-if-range] quit

说明： 进入批量接口配置视图，配置与 Spine 对接的接口。

[Leaf1] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 配置队列 5 的 WRED 平均长度的下限为 600，平均长度的上限为 2000，丢弃概率为 20 ％。 [Leaf1-if-range] qos wred queue 5 low-limit 600 high-limit 2000 discard-probability 20 # 开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。

[Leaf1-if-range] qos wfq byte-count

[Leaf1-if-range] qos wfq ef group 1 byte-count 60

[Leaf1-if-range] qos wfq cs6 group sp

[Leaf1-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 50000000kbps （建议配置为接口带宽的一半）。

[Leaf1-if-range] qos gts queue 6 cir 50000000

[Leaf1-if-range] quit

对于 S6850-G 系列交换机，支持在接口视图配置 WRED 的各种参数。端口 WRED 方式可以只配置 RoCE 队列，不同接口可以配置不同的参数，使用更为灵活。对于支持该功能的产品和版本，推荐采用端口 WRED 方式。

(5) 配置 AI ECN 功能（S6850-G 仅 R8108Pxx 及以上版本支持，本功能与静态 ECN 功能选择一种配置即可）

说明： 配置 RoCEv2 流量 NetAnalysis 功能的工作模式。为了保证能够正确分析 RoCEv2 流量，当同一个 RDMA 客户端和服务器端存在多条路径时，建议在客户端和服务器端接入的节点设备上均配置双向模式，在所有的中间节点设备上均配置单向模式。

[Leaf1] netanalysis rocev2 mode bidir

This operation will erase all the netanalysis configuration.
Continue?[Y/N]:y

说明： 开启 RoCEv2 流量的 NetAnalysis 统计功能。

[Leaf1] netanalysis rocev2 statistics global

说明： 开启 RoCEv2 流量的 AI ECN 功能。

[Leaf1] netanalysis rocev2 ai-ecn enable

说明： 配置 AI ECN 功能的模式为分布式模式。

[Leaf1] ai-service

[Leaf1-ai-service] ai ai-ecn enable mode distributed

说明： 开启队列 5、 6 的 AI ECN 功能。

[Leaf1-ai-service] ai-ecn

[Leaf1-ai-service-ai-ecn] queue 5 enable

[Leaf1-ai-service-ai-ecn] queue 6 enable

[Leaf1-ai-service-ai-ecn] quit

[Leaf1-ai-service] quit

(6) 配置 PFC 功能和 PFC 死锁检测功能。

说明： 全局配置 5 队列的 PFC 死锁检测周期为 10。

[Leaf1] priority-flow-control deadlock cos 5 interval 10

说明： 全局配置 PFC 死锁检测的精度为 high。

[Leaf1] priority-flow-control deadlock precision high # 进入批量接口配置视图，配置与业务服务器网卡对接的接口。

[Leaf1] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8 # 开启与对端自动协商是否开启 PFC 功能。

[Leaf1-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Leaf1-if-range] priority-flow-control no-drop dot1p 5

说明： 开启接口的 PFC 死锁检测功能。

[Leaf1-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 3500，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 2000， PFC 预留门限为 30。

[Leaf1-if-range] priority-flow-control dot1p 5 headroom 2000
[Leaf1-if-range] priority-flow-control dot1p 5 reserved-buffer 30
[Leaf1-if-range] priority-flow-control dot1p 5 ingress-buffer static 3500
[Leaf1-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Leaf1-if-range] quit

说明： 进入批量接口配置视图，配置与 Spine 对接的接口。

[Leaf1] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 开启与对端自动协商是否开启 PFC 功能。

[Leaf1-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Leaf1-if-range] priority-flow-control no-drop dot1p 5

说明： 开启接口的 PFC 死锁检测功能。

[Leaf1-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 4000，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 3000， PFC 预留门限为 30。

[Leaf1-if-range] priority-flow-control dot1p 5 headroom 3000
[Leaf1-if-range] priority-flow-control dot1p 5 reserved-buffer 30
[Leaf1-if-range] priority-flow-control dot1p 5 ingress-buffer static 4000
[Leaf1-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Leaf1-if-range] quit

(7) 配置 iNOF 功能

说明： 全局使能 iNOF 功能，并进入 iNOF 视图。

[Leaf1] inof enable
[Leaf1-inof] quit

2. 配置 Leaf2

(1) 全局使能 LLDP 功能 # 全局使能 LLDP 功能。

<Leaf2> system-view
[Leaf2] lldp global enable

(2) VLAN 和接口配置 # 创建 VLAN。

[Leaf2] vlan 200 [Leaf2-vlan200] quit # 创建 vlan 虚接口。

[Leaf2] interface Vlan-interface 200 # 配置 vlan 虚接口地址，作为业务服务器 RDMA 网卡接口的网关。

[Leaf2-Vlan-interface200] ip address 200.1.1.254 24

说明： 配置 vlan 虚接口 mac 地址。

[Leaf2-Vlan-interface200] mac-address 0000-5e00-0001

[Leaf2-Vlan-interface200] quit # 进入批量接口配置视图，配置与业务服务器网卡对接的接口。

[Leaf2] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

说明： 将接口的链路类型修改为 trunk。

[Leaf2-if-range] port link-type trunk

说明： 禁止 vlan 1 通过这些 trunk 接口。

[Leaf2-if-range] undo port trunk permit vlan 1

说明： 允许 vlan 200 通过这些 trunk 接口。

[Leaf2-if-range] port trunk permit vlan 200

说明： 配置为 stp edge-port。

[Leaf2-if-range] stp edged-port

说明： 允许 lldp 发布 dot1-tlv 的 tlv 类型。

[Leaf2-if-range] lldp tlv-enable dot1-tlv dcbx

说明： 端口信任 dot1p 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。

[Leaf2-if-range] qos trust dot1p override

[Leaf2-if-range] quit

说明： 进入批量接口配置视图，配置与 Spine 对接的接口。

[Leaf2] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 将以太接口切换为三层工作模式。

[Leaf2-if-range] port link-mode route

The configuration of the interface will be restored to the default. Continue? [Y

/N]:y

说明： 端口信任 dscp 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先

级。

[Leaf2-if-range] qos trust dscp override

[Leaf2-if-range] quit

说明： 配置接口 IP 地址。

[Leaf2] interface HundredGigE 2/0/49 [Leaf2-HundredGigE2/0/49] ip address 172.16.25.1 30 [Leaf2-HundredGigE2/0/49] quit [Leaf2] interface HundredGigE 2/0/50 [Leaf2-HundredGigE2/0/50] ip address 172.16.25.5 30 [Leaf2-HundredGigE2/0/50] quit 其它接口配置方法类似，后略。

(3) 配置 BGP 路由协议。

说明： 创建接口 LoopBack 0。

[Leaf2] interface LoopBack 0 # 配置 LoopBack 0 的 ip，作为全局的 Router ID

[Leaf2-LoopBack0] ip address 91.1.1.2 32
[Leaf2-LoopBack0] quit

说明： 配置全局 Router ID

[Leaf2] router-id 91.1.1.2 # 启动 BGP 实例 default，指定该 BGP 实例的本地 AS 号，并进入 BGP 实例视图 [Leaf2-bgp-default] bgp 65513

说明： 配置 BGP 的 Router ID

[Leaf2-bgp-default] router-id 91.1.1.2

说明： 将 Spine 设备添加为对等体

[Leaf2-bgp-default] peer 172.16.25.2 as-number 65513

[Leaf2-bgp-default] peer 172.16.25.6 as-number 65513

说明： 进入 BGP ipv4 单播地址族视图

[Leaf2-bgp-default] address-family ipv4 unicast

配置进行 BGP 负载分担的路由条数为 16

[Leaf2-bgp-default-ipv4] balance 16

说明： 发布 Loopback0 接口地址的路由

[Leaf2-bgp-default-ipv4] network 91.1.1.2 255.255.255.255

说明： 发布业务服务器接入网段的路由

[Leaf2-bgp-default-ipv4] network 200.1.1.0 255.255.255.0

说明： 发布与 Spine 互联接口的网段路由

[Leaf2-bgp-default-ipv4] network 172.16.25.0 255.255.255.252

[Leaf2-bgp-default-ipv4] network 172.16.25.4 255.255.255.252

允许本地路由器与对等体交换路由信息

[Leaf2-bgp-default-ipv4] peer 172.16.25.2 enable

[Leaf2-bgp-default-ipv4] peer 172.16.25.6 enable

[Leaf2-bgp-default-ipv4] quit

说明： 进入 BGP iNOF 地址族视图

[Leaf2-bgp-default] address-family inof

说明： 配置 Leaf 角色为客户机

[Leaf2-bgp-default-inof] role reflect-client

说明： 允许本地路由器与对等体交换路由信息

[Leaf2-bgp-default-inof] peer 172.16.24.2 enable

[Leaf2-bgp-default-inof] peer 172.16.24.6 enable

[Leaf2-bgp-default-inof]quit [Leaf2-bgp-default]quit (4) 配置静态 ECN 功能（本功能与 AI ECN 功能选择一种配置即可） # 配置队列 5 和队列 6 最多可使用的共享区域的大小为 100%。队列 5 为 RDMA 应用报文队列，队列 6 为 CNP 报文所在队列。

[Leaf2] buffer egress cell queue 5 shared ratio 100 [Leaf2] buffer egress cell queue 6 shared ratio 100 [Leaf2] buffer apply # 全局使能 ECN 拥塞标记功能。

[Leaf2] qos wred ecn enable # 进入批量接口配置视图，配置与业务服务器网卡对接的接口。

[Leaf2] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

说明： 配置队列 5 的 WRED 平均长度的下限为 500，平均长度的上限为 1200，丢弃概率为 20 ％。 [Leaf2-if-range] qos wred queue 5 low-limit 500 high-limit 1200 discard-probability 20 # 开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。

[Leaf2-if-range] qos wfq byte-count
[Leaf2-if-range] qos wfq ef group 1 byte-count 60
[Leaf2-if-range] qos wfq cs6 group sp
[Leaf2-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 12500000kbps （建议配置为接口带宽的一半）。 [Leaf2-if-range] qos gts queue 6 cir 12500000 [Leaf2-if-range] quit

说明： 进入批量接口配置视图，配置与 Spine 对接的接口。

[Leaf2] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 配置队列 5 的 WRED 平均长度的下限为 600，平均长度的上限为 2000，丢弃概率为 20 ％。 [Leaf2-if-range] qos wred queue 5 low-limit 600 high-limit 2000 discard-probability 20 # 开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。

[Leaf2-if-range] qos wfq byte-count
[Leaf2-if-range] qos wfq ef group 1 byte-count 60
[Leaf2-if-range] qos wfq cs6 group sp
[Leaf2-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 50000000kbps （建议配置为接口带宽的一半）。 [Leaf2-if-range] qos gts queue 6 cir 50000000 [Leaf2-if-range] quit

(5) 配置 AI ECN 功能（S6850-G 仅 R8108Pxx 及以上版本支持，本功能与静态 ECN 功能选择一种配置即可）

[Leaf2] netanalysis rocev2 mode bidir

This operation will erase all the netanalysis configuration.

Continue?[Y/N]:y

说明： 开启 RoCEv2 流量的 NetAnalysis 统计功能。

[Leaf2] netanalysis rocev2 statistics global

说明： 开启 RoCEv2 流量的 AI ECN 功能。

[Leaf2] netanalysis rocev2 ai-ecn enable

说明： 配置 AI ECN 功能的模式为分布式模式。

[Leaf2] ai-service

[Leaf2-ai-service] ai ai-ecn enable mode distributed

说明： 开启队列 5、 6 的 AI ECN 功能。

[Leaf2-ai-service] ai-ecn

[Leaf2-ai-service-ai-ecn] queue 5 enable
[Leaf2-ai-service-ai-ecn] queue 6 enable

[Leaf2-ai-service-ai-ecn] quit

[Leaf2-ai-service] quit

(6) 配置 PFC 功能和 PFC 死锁检测功能。

说明： 全局配置 5 队列的 PFC 死锁检测周期为 10。

[Leaf2] priority-flow-control deadlock cos 5 interval 10

说明： 全局配置 PFC 死锁检测的精度为 high。

[Leaf2] priority-flow-control deadlock precision high

说明： 进入批量接口配置视图，配置与业务服务器网卡对接的接口。

[Leaf2] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

开启与对端自动协商是否开启 PFC 功能。

[Leaf2-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Leaf2-if-range] priority-flow-control no-drop dot1p 5

开启接口的 PFC 死锁检测功能。

[Leaf2-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 3500，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 2000， PFC 预留门限为 30。

[Leaf2-if-range] priority-flow-control dot1p 5 headroom 2000

[Leaf2-if-range] priority-flow-control dot1p 5 reserved-buffer 30
[Leaf2-if-range] priority-flow-control dot1p 5 ingress-buffer static 3500
[Leaf2-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Leaf2-if-range] quit

说明： 进入批量接口配置视图，配置与 Spine 对接的接口。 [Leaf2] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 开启与对端自动协商是否开启 PFC 功能。

[Leaf2-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Leaf2-if-range] priority-flow-control no-drop dot1p 5 # 开启接口的 PFC 死锁检测功能。

[Leaf2-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 4000，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 3000， PFC 预留门限为 30。

[Leaf2-if-range] priority-flow-control dot1p 5 headroom 3000
[Leaf2-if-range] priority-flow-control dot1p 5 reserved-buffer 30
[Leaf2-if-range] priority-flow-control dot1p 5 ingress-buffer static 4000
[Leaf2-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Leaf2-if-range] quit

(7) 配置 iNOF 功能 # 全局使能 iNOF 功能，并进入 iNOF 视图。

[Leaf2] inof enable
[Leaf2-inof] quit

配置 Spine1

(1) 全局使能 LLDP 功能 # 全局使能 LLDP 功能。 <Spine1> system-view [Spine1] lldp global enable (2) VLAN 和接口配置 # 创建 VLAN。

[Spine1] vlan 101 [Spine1-vlan101] quit # 创建 vlan 虚接口。 [Spine1] interface Vlan-interface 101 # 配置 vlan 虚接口地址，作为业务服务器 RDMA 网卡接口的网关。

[Spine1-Vlan-interface101] ip address 101.1.1.254 24 # 配置 vlan 虚接口 mac 地址。

[Spine1-Vlan-interface101] mac-address 0000-5e00-0001
[Spine1-Vlan-interface101] quit

说明： 进入批量接口配置视图，配置与存储网卡对接的接口。 [Spine1] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8 # 将接口的链路类型修改为 trunk。

[Spine1-if-range] port link-type trunk

说明： 禁止 vlan 1 通过这些 trunk 接口。 [Spine1-if-range] undo port trunk permit vlan 1 # 允许 vlan 101 通过这些 trunk 接口。 [Spine1-if-range] port trunk permit vlan 101 # 配置为 stp edge-port。 [Spine1-if-range] stp edged-port # 允许 lldp 发布 dot1-tlv 的 tlv 类型。 [Spine1-if-range] lldp tlv-enable dot1-tlv dcbx # 端口信任 dot1p 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。 [Spine1-if-range] qos trust dot1p override [Spine1-if-range] quit # 进入批量接口配置视图，配置与 Leaf 对接的接口。 [Spine1] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52 # 将以太接口切换为三层工作模式。 [Spine1-if-range] port link-mode route The configuration of the interface will be restored to the default. Continue? [Y /N]:y # 端口信任 dscp 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。 [Spine1-if-range] qos trust dscp override [Spine1-if-range] quit # 配置接口 IP 地址。 [Spine1] interface HundredGigE 2/0/49 [Spine1-HundredGigE2/0/49] ip address 172.16.24.2 30 [Spine1-HundredGigE2/0/49] quit [Spine1] interface HundredGigE 2/0/50 [Spine1-HundredGigE2/0/50] ip address 172.16.24.6 30 [Spine1-HundredGigE2/0/50] quit 其它接口配置方法类似，后略。 (3) 配置 BGP 路由协议。 # 创建接口 LoopBack 0。 [Spine1] interface LoopBack 0 # 配置 LoopBack 0 的 IP，作为全局的 Router ID [Spine1-LoopBack0] ip address 92.1.1.1 32 [Spine1-LoopBack0] quit # 配置全局 Router ID [Spine1] router-id 92.1.1.1 # 启动 BGP 实例 default，指定该 BGP 实例的本地 AS 号，并进入 BGP 实例视图 [Spine1-bgp-default] bgp 65512 # 配置 BGP 的 Router ID [Spine1-bgp-default] router-id 92.1.1.1 # 将 Leaf 设备添加为对等体 [Spine1-bgp-default] peer 172.16.24.1 as-number 65512

[Spine1-bgp-default] peer 172.16.24.5 as-number 65512

说明： 进入 BGP ipv4 单播地址族视图 [Spine1-bgp-default] address-family ipv4 unicast # 配置进行 BGP 负载分担的路由条数为 16 [Spine1-bgp-default-ipv4] balance 16 # 发布 Loopback0 接口地址的路由。 [Spine1-bgp-default-ipv4] network 92.1.1.1 255.255.255.255 # 发布存储网卡接入网段的路由。 [Spine1-bgp-default-ipv4] network 101.1.1.0 255.255.255.0 # 发布与 Leaf 互联接口的网段路由 [Spine1-bgp-default-ipv4] network 172.16.24.0 255.255.255.252 [Spine1-bgp-default-ipv4] network 172.16.24.4 255.255.255.252 … # 允许本地路由器与对等体交换路由信息，配置对等体为路由反射器的客户机。 [Spine1-bgp-default-ipv4] peer 172.16.24.1 enable [Spine1-bgp-default-ipv4] peer 172.16.24.5 enable [Spine1-bgp-default-ipv4] peer 172.16.24.1 reflect-client [Spine1-bgp-default-ipv4] peer 172.16.24.5 reflect-client … [Spine1-bgp-default-ipv4] quit # 进入 BGP iNOF 地址族视图。 [Spine1-bgp-default] address-family inof # 配置 Spine 角色为反射器。 [Spine1-bgp-default-inof] role reflector # 允许本地路由器与对等体交换路由信息，配置对等体为路由反射器的客户机。 [Spine1-bgp-default-inof] peer 172.16.24.1 enable [Spine1-bgp-default-inof] peer 172.16.24.5 enable [Spine1-bgp-default-inof] peer 172.16.24.1 reflect-client [Spine1-bgp-default-inof] peer 172.16.24.5 reflect-client … [Spine1-bgp-default-inof]quit [Spine1-bgp-default]quit

使用 EBGP 作为传递 iNOF 信息的路由协议时， iNOF 地址族不需要配置 role reflector， IPv4 和 iNOF 地址族不需要配置 peer {ipv4-address | ipv6-address } reflect-client。

(4) 配置静态 ECN 功能（本功能与 AI ECN 功能选择一种配置即可）

说明： 配置队列 5 和队列 6 最多可使用的共享区域的大小为 100%。队列 5 为 RDMA 应用报文队列，队列 6 为 CNP 报文所在队列。

[Spine1] buffer egress cell queue 5 shared ratio 100

[Spine1] buffer egress cell queue 6 shared ratio 100

[Spine1] buffer apply

说明： 全局使能 ECN 拥塞标记功能。

[Spine1] qos wred ecn enable

说明： 进入批量接口配置视图，配置与存储网卡对接的接口。

[Spine1] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

说明： 配置队列 5 的 WRED 平均长度的下限为 500，平均长度的上限为 1200，丢弃概率为 20 ％。 [Spine1-if-range] qos wred queue 5 low-limit 500 high-limit 1200 discard-probability 20

开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。

[Spine1-if-range] qos wfq byte-count
[Spine1-if-range] qos wfq ef group 1 byte-count 60

[Spine1-if-range] qos wfq cs6 group sp

[Spine1-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 12500000kbps （建议配置为接口带宽的一半）。 [Spine1-if-range] qos gts queue 6 cir 12500000

[Spine1-if-range] quit

说明： 进入批量接口配置视图，配置与 Leaf 对接的接口。

[Spine1] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 配置队列 5 的 WRED 平均长度的下限为 600，平均长度的上限为 2000，丢弃概率为 20 ％。 [Spine1-if-range] qos wred queue 5 low-limit 600 high-limit 2000 discard-probability 20

说明： 开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。 [Spine1-if-range] qos wfq byte-count

[Spine1-if-range] qos wfq ef group 1 byte-count 60

[Spine1-if-range] qos wfq cs6 group sp

[Spine1-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 50000000kbps （建议配置为接口带宽的一半）。

[Spine1-if-range] qos gts queue 6 cir 50000000

[Spine1-if-range] quit

(5) 配置 AI ECN 功能（S6850-G 仅 R8108Pxx 及以上版本支持，本功能与静态 ECN 功能选择一种配置即可）
配置 RoCEv2 流量 NetAnalysis 功能的工作模式。为了保证能够正确分析 RoCEv2 流量，当同一个 RDMA 客户端和服务器端存在多条路径时，建议在客户端和服务器端接入的节点设备上均配置双向模式，在所有的中间节点设备上均配置单向模式。

[Spine1] netanalysis rocev2 mode bidir
This operation will erase all the netanalysis configuration.
Continue?[Y/N]:y

开启 RoCEv2 流量的 NetAnalysis 统计功能。

[Spine1] netanalysis rocev2 statistics global

开启 RoCEv2 流量的 AI ECN 功能。

[Spine1] netanalysis rocev2 ai-ecn enable

说明： 配置 AI ECN 功能的模式为分布式模式。

[Spine1] ai-service

[Spine1-ai-service] ai ai-ecn enable mode distributed

说明： 开启队列 5、 6 的 AI ECN 功能。

[Spine1-ai-service] ai-ecn

[Spine1-ai-service-ai-ecn] queue 5 enable

[Spine1-ai-service-ai-ecn] queue 6 enable

[Spine1-ai-service-ai-ecn] quit

[Spine1-ai-service] quit

(6) 配置 PFC 功能和 PFC 死锁检测功能。 # 全局配置 5 队列的 PFC 死锁检测周期为 10。

[Spine1] priority-flow-control deadlock cos 5 interval 10

说明： 全局配置 PFC 死锁检测的精度为 high。

[Spine1] priority-flow-control deadlock precision high

说明： 进入批量接口配置视图，配置与存储网卡对接的接口。

[Spine1] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

开启与对端自动协商是否开启 PFC 功能。

[Spine1-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Spine1-if-range] priority-flow-control no-drop dot1p 5

开启接口的 PFC 死锁检测功能。

[Spine1-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 3500，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 2000， PFC 预留门限为 30。

[Spine1-if-range] priority-flow-control dot1p 5 headroom 2000

[Spine1-if-range] priority-flow-control dot1p 5 reserved-buffer 30

[Spine1-if-range] priority-flow-control dot1p 5 ingress-buffer static 3500
[Spine1-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Spine1-if-range] quit

说明： 进入批量接口配置视图，配置与 Leaf 对接的接口。

[Spine1] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 开启与对端自动协商是否开启 PFC 功能。

[Spine1-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Spine1-if-range] priority-flow-control no-drop dot1p 5

开启接口的 PFC 死锁检测功能。

[Spine1-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 4000，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 3000， PFC 预留门限为 30。

[Spine1-if-range] priority-flow-control dot1p 5 headroom 3000
[Spine1-if-range] priority-flow-control dot1p 5 reserved-buffer 30
[Spine1-if-range] priority-flow-control dot1p 5 ingress-buffer static 4000
[Spine1-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Spine1-if-range] quit

(7) 配置 iNOF 功能

说明： 全局使能 iNOF 功能，并进入 iNOF 视图。

[Spine1] inof enable

说明： 将允许相互访问的 iNOF 主机加入到相同域中

[Spine1-inof] zone H1toS1
[Spine1-inof-zone-H1toS1] host 100.1.1.1
[Spine1-inof-zone-H1toS1] host 101.1.1.1
[Spine1-inof-zone-H1toS1] host 100.1.1.2
[Spine1-inof-zone-H1toS1] host 101.1.1.2
[Spine1-inof-zone-H1toS1] quit
[Spine1-inof] zone H2toS1
[Spine1-inof-zone-H2toS1] host 100.1.1.3
[Spine1-inof-zone-H2toS1] host 101.1.1.1
[Spine1-inof-zone-H2toS1] host 100.1.1.4
[Spine1-inof-zone-H2toS1] host 101.1.1.2
[Spine1-inof-zone-H2toS1] quit
[Spine1-inof] quit

配置 Spine2

(1) 全局使能 LLDP 功能

说明： 全局使能 LLDP 功能。

<Spine2> system-view

[Spine2] lldp global enable

(2) VLAN 和接口配置

说明： 创建 VLAN。

[Spine2] vlan 201
[Spine2-vlan201] quit

说明： 创建 vlan 虚接口。

[Spine2] interface Vlan-interface 201

说明： 配置 vlan 虚接口地址，作为业务服务器 RDMA 网卡接口的网关。

[Spine2-Vlan-interface101] ip address 201.1.1.254 24

说明： 配置 vlan 虚接口 mac 地址。

[Spine2-Vlan-interface101] mac-address 0000-5e00-0001

[Spine2-Vlan-interface101] quit

说明： 进入批量接口配置视图，配置与存储网卡对接的接口。

[Spine2] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

将接口的链路类型修改为 trunk。

[Spine2-if-range] port link-type trunk

说明： 禁止 vlan 1 通过这些 trunk 接口。 [Spine2-if-range] undo port trunk permit vlan 1 # 允许 vlan 201 通过这些 trunk 接口。 [Spine2-if-range] port trunk permit vlan 201 # 配置为 stp edge-port。 [Spine2-if-range] stp edged-port # 允许 lldp 发布 dot1-tlv 的 tlv 类型。 [Spine2-if-range] lldp tlv-enable dot1-tlv dcbx # 端口信任 dot1p 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。 [Spine2-if-range] qos trust dot1p override [Spine2-if-range] quit # 进入批量接口配置视图，配置与 Leaf 对接的接口。 [Spine2] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52 # 将以太接口切换为三层工作模式。 [Spine2-if-range] port link-mode route The configuration of the interface will be restored to the default. Continue? [Y /N]:y # 端口信任 dscp 优先级，出方向报文通过优先级映射表取得的优先级将覆盖报文本身的优先级。 [Spine2-if-range] qos trust dscp override [Spine2-if-range] quit # 配置接口 IP 地址。 [Spine2] interface HundredGigE 2/0/49 [Spine2-HundredGigE2/0/49] ip address 172.16.25.2 30 [Spine2-HundredGigE2/0/49] quit [Spine2] interface HundredGigE 2/0/50 [Spine2-HundredGigE2/0/50] ip address 172.16.25.6 30 [Spine2-HundredGigE2/0/50] quit 其它接口配置方法类似，后略。 (3) 配置 BGP 路由协议。 # 创建接口 LoopBack 0。 [Spine2] interface LoopBack 0 # 配置 LoopBack 0 的 IP，作为全局的 Router ID [Spine2-LoopBack0] ip address 92.1.1.2 32 [Spine2-LoopBack0] quit # 配置全局 Router ID [Spine2] router-id 92.1.1.2 # 启动 BGP 实例 default，指定该 BGP 实例的本地 AS 号，并进入 BGP 实例视图 [Spine2-bgp-default] bgp 65513 # 配置 BGP 的 Router ID [Spine2-bgp-default] router-id 92.1.1.2 # 将 Leaf 设备添加为对等体 [Spine2-bgp-default] peer 172.16.25.1 as-number 65513

[Spine2-bgp-default] peer 172.16.25.5 as-number 65513

说明： 进入 BGP ipv4 单播地址族视图 [Spine2-bgp-default] address-family ipv4 unicast # 配置进行 BGP 负载分担的路由条数为 16 [Spine2-bgp-default-ipv4] balance 16 # 发布 Loopback0 接口地址的路由。 [Spine2-bgp-default-ipv4] network 92.1.1.2 255.255.255.255 # 发布存储网卡接入网段的路由。 [Spine2-bgp-default-ipv4] network 201.1.1.0 255.255.255.0 # 发布与 Leaf 互联接口的网段路由 [Spine2-bgp-default-ipv4] network 172.16.25.0 255.255.255.252 [Spine2-bgp-default-ipv4] network 172.16.25.4 255.255.255.252 … # 允许本地路由器与对等体交换路由信息，配置对等体为路由反射器的客户机。 [Spine2-bgp-default-ipv4] peer 172.16.25.1 enable [Spine2-bgp-default-ipv4] peer 172.16.25.5 enable [Spine2-bgp-default-ipv4] peer 172.16.25.1 reflect-client [Spine2-bgp-default-ipv4] peer 172.16.25.5 reflect-client … [Spine2-bgp-default-ipv4] quit # 进入 BGP iNOF 地址族视图。 [Spine2-bgp-default] address-family inof # 配置 Spine 角色为反射器。 [Spine2-bgp-default-inof] role reflector # 允许本地路由器与对等体交换路由信息，配置对等体为路由反射器的客户机。 [Spine2-bgp-default-inof] peer 172.16.25.1 enable [Spine2-bgp-default-inof] peer 172.16.25.5 enable [Spine2-bgp-default-inof] peer 172.16.25.1 reflect-client [Spine2-bgp-default-inof] peer 172.16.25.5 reflect-client … [Spine2-bgp-default-inof]quit [Spine2-bgp-default]quit

使用 EBGP 作为传递 iNOF 信息的路由协议时， iNOF 地址族不需要配置 role reflector， IPv4 和 iNOF 地址族不需要配置 peer {ipv4-address | ipv6-address } reflect-client。

(4) 配置静态 ECN 功能（本功能与 AI ECN 功能选择一种配置即可）

说明： 配置队列 5 和队列 6 最多可使用的共享区域的大小为 100%。队列 5 为 RDMA 应用报文队列，队列 6 为 CNP 报文所在队列。

[Spine2] buffer egress cell queue 5 shared ratio 100

[Spine2] buffer egress cell queue 6 shared ratio 100

[Spine2] buffer apply

说明： 全局使能 ECN 拥塞标记功能。

[Spine2] qos wred ecn enable

说明： 进入批量接口配置视图，配置与存储网卡对接的接口。

[Spine2] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

说明： 配置队列 5 的 WRED 平均长度的下限为 500，平均长度的上限为 1200，丢弃概率为 20 ％。 [Spine2-if-range] qos wred queue 5 low-limit 500 high-limit 1200 discard-probability 20 # 开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。

[Spine2-if-range] qos wfq byte-count
[Spine2-if-range] qos wfq ef group 1 byte-count 60

[Spine2-if-range] qos wfq cs6 group sp

[Spine2-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 12500000kbps （建议配置为接口带宽的一半）。 [Spine2-if-range] qos gts queue 6 cir 12500000

[Spine2-if-range] quit

说明： 进入批量接口配置视图，配置与 Leaf 对接的接口。

[Spine2] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 配置队列 5 的 WRED 平均长度的下限为 600，平均长度的上限为 2000，丢弃概率为 20 ％。 [Spine2-if-range] qos wred queue 5 low-limit 600 high-limit 2000 discard-probability 20

说明： 开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。 [Spine2-if-range] qos wfq byte-count

[Spine2-if-range] qos wfq ef group 1 byte-count 60

[Spine2-if-range] qos wfq cs6 group sp

[Spine2-if-range] qos wfq cs7 group sp

说明： 对队列 6 的报文进行流量整形，正常流速为 50000000kbps （建议配置为接口带宽的一半）。

[Spine2-if-range] qos gts queue 6 cir 50000000

[Spine2-if-range] quit

(5) 配置 AI ECN 功能（S6850-G 仅 R8108Pxx 及以上版本支持，本功能与静态 ECN 功能选择一种配置即可）
配置 RoCEv2 流量 NetAnalysis 功能的工作模式。为了保证能够正确分析 RoCEv2 流量，当同一个 RDMA 客户端和服务器端存在多条路径时，建议在客户端和服务器端接入的节点设备上均配置双向模式，在所有的中间节点设备上均配置单向模式。

[Spine2] netanalysis rocev2 mode bidir
This operation will erase all the netanalysis configuration.
Continue?[Y/N]:y

开启 RoCEv2 流量的 NetAnalysis 统计功能。

[Spine2] netanalysis rocev2 statistics global

说明： 开启 RoCEv2 流量的 AI ECN 功能。

[Spine2] netanalysis rocev2 ai-ecn enable

说明： 配置 AI ECN 功能的模式为分布式模式。

[Spine2] ai-service

[Spine2-ai-service] ai ai-ecn enable mode distributed

说明： 开启队列 5、 6 的 AI ECN 功能。

[Spine2-ai-service] ai-ecn

[Spine2-ai-service-ai-ecn] queue 5 enable

[Spine2-ai-service-ai-ecn] queue 6 enable

[Spine2-ai-service-ai-ecn] quit

[Spine2-ai-service] quit

(6) 配置 PFC 功能和 PFC 死锁检测功能。 # 全局配置 5 队列的 PFC 死锁检测周期为 10。

[Spine2] priority-flow-control deadlock cos 5 interval 10

说明： 全局配置 PFC 死锁检测的精度为 high。

[Spine2] priority-flow-control deadlock precision high

说明： 进入批量接口配置视图，配置与存储网卡对接的接口。

[Spine2] interface range Twenty-FiveGigE 2/0/1 to Twenty-FiveGigE 2/0/8

说明： 开启与对端自动协商是否开启 PFC 功能。

[Spine2-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Spine2-if-range] priority-flow-control no-drop dot1p 5

说明： 开启接口的 PFC 死锁检测功能。

[Spine2-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 3500，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 2000， PFC 预留门限为 30。

[Spine2-if-range] priority-flow-control dot1p 5 headroom 2000

[Spine2-if-range] priority-flow-control dot1p 5 reserved-buffer 30

[Spine2-if-range] priority-flow-control dot1p 5 ingress-buffer static 3500
[Spine2-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Spine2-if-range] quit

说明： 进入批量接口配置视图，配置与 Leaf 对接的接口。

[Spine2] interface range HundredGigE 2/0/49 to HundredGigE 2/0/52

说明： 开启与对端自动协商是否开启 PFC 功能。

[Spine2-if-range] priority-flow-control auto

说明： 开启指定 5 队列的 PFC 功能。

[Spine2-if-range] priority-flow-control no-drop dot1p 5

说明： 开启接口的 PFC 死锁检测功能。

[Spine2-if-range] priority-flow-control deadlock enable

说明： 配置 PFC 的反压帧触发门限为 4000，反压帧停止门限与触发门限间的偏移量为 51， Headroom 缓存门限为 3000， PFC 预留门限为 30。

[Spine2-if-range] priority-flow-control dot1p 5 headroom 3000
[Spine2-if-range] priority-flow-control dot1p 5 reserved-buffer 30
[Spine2-if-range] priority-flow-control dot1p 5 ingress-buffer static 4000
[Spine2-if-range] priority-flow-control dot1p 5 ingress-threshold-offset 51
[Spine2-if-range] quit

(7) 配置 iNOF 功能 # 全局使能 iNOF 功能，并进入 iNOF 视图。

[Spine2] inof enable # 将允许相互访问的 iNOF 主机加入到相同域中 [Spine2-inof] zone H1toS1 [Spine2-inof-zone-H1toS1] host 100.1.1.1 [Spine2-inof-zone-H1toS1] host 101.1.1.1 [Spine2-inof-zone-H1toS1] host 100.1.1.2 [Spine2-inof-zone-H1toS1] host 101.1.1.2 [Spine2-inof-zone-H1toS1] quit [Spine2-inof] zone H2toS1 [Spine2-inof-zone-H2toS1] host 100.1.1.3 [Spine2-inof-zone-H2toS1] host 101.1.1.1 [Spine2-inof-zone-H2toS1] host 100.1.1.4 [Spine2-inof-zone-H2toS1] host 101.1.1.2 [Spine2-inof-zone-H2toS1] quit [Spine2-inof] quit

5. 查询命令

查看接口 WRED 参数（ECN 水线）配置
display qos wred interface
查看接口的 PFC 信息

display priority-flow-control interface

查看设备所有接口丢包计数、 ECN 拥塞标记计数的汇总信息
display packet-drop summary
查看接口丢包计数、 ECN 拥塞标记计数等信息
display packet-drop interface
查看 iNOF 域的相关信息
display inof configuration zone
查看 iNOF 网络中接入主机的信息 display inof information host

集中式存储盒式—盒式配置 ​

3.2.1 典型组网 ​

图 3-3 集中式存储典型组网 ​

表 3-1 服务器 / 存储接入口 IP 规划 ​

表 3-2 Leaf-Spine 互联接口 IP 规划 ​

3.2.2 配置思路 ​

1. 采用双平面组网 ​

2. 路由配置方案 ​

3. RDMA 功能配置 ​

3.2.3 配置注意事项 ​

3.2.4 配置步骤 ​

全局使能 LLDP 功能。 ​

创建 VLAN。 ​

配置 vlan 虚接口地址，作为业务服务器 RDMA 网卡接口的网关。 ​

进入批量接口配置视图，配置与业务服务器网卡对接的接口。 ​

将接口的链路类型修改为 trunk。 ​

2. 配置 Leaf2 ​

配置进行 BGP 负载分担的路由条数为 16 ​

允许本地路由器与对等体交换路由信息 ​

开启与对端自动协商是否开启 PFC 功能。 ​

开启接口的 PFC 死锁检测功能。 ​

开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。 ​

开启 RoCEv2 流量的 NetAnalysis 统计功能。 ​

开启 RoCEv2 流量的 AI ECN 功能。 ​

开启与对端自动协商是否开启 PFC 功能。 ​

开启接口的 PFC 死锁检测功能。 ​

开启接口的 PFC 死锁检测功能。 ​

将接口的链路类型修改为 trunk。 ​

开启 RoCEv2 流量的 NetAnalysis 统计功能。 ​

5. 查询命令 ​

集中式存储盒式—盒式配置

3.2.1 典型组网

图 3-3 集中式存储典型组网

表 3-1 服务器 / 存储接入口 IP 规划

表 3-2 Leaf-Spine 互联接口 IP 规划

3.2.2 配置思路

1. 采用双平面组网

2. 路由配置方案

3. RDMA 功能配置

3.2.3 配置注意事项

3.2.4 配置步骤

全局使能 LLDP 功能。

创建 VLAN。

配置 vlan 虚接口地址，作为业务服务器 RDMA 网卡接口的网关。

进入批量接口配置视图，配置与业务服务器网卡对接的接口。

将接口的链路类型修改为 trunk。

2. 配置 Leaf2

配置进行 BGP 负载分担的路由条数为 16

允许本地路由器与对等体交换路由信息

开启与对端自动协商是否开启 PFC 功能。

开启接口的 PFC 死锁检测功能。

开启接口的 WFQ 队列，并按照每次轮询可发送的报文的字节数进行计算，配置队列 5 具有较高调度权重 60，队列 6、 7 采用严格优先级调度。

开启 RoCEv2 流量的 NetAnalysis 统计功能。

开启 RoCEv2 流量的 AI ECN 功能。

开启与对端自动协商是否开启 PFC 功能。

开启接口的 PFC 死锁检测功能。

开启接口的 PFC 死锁检测功能。

将接口的链路类型修改为 trunk。

开启 RoCEv2 流量的 NetAnalysis 统计功能。

5. 查询命令