Appearance
参数网二层盒式—盒式配置
《H3C RoCE 网络开局一本通》拆分章节，文档版本：6W102。
2.4.1 典型组网
2.4.2 配置思路
- 组网思路
采用 Spine、 Leaf 两级架构，两级设备均为盒式设备。
Leaf 设备作为服务器的网关， Spine、 Leaf 之间为三层 ECMP 网络，在进行数据高速转发的同时支持转发路径的冗余备份。 Leaf 上下行带宽一比一。
服务器接口单归接入，不需要 Leaf 堆叠或者 M-LAG。
实际应用中， GPU 卡规模、 Leaf 设备端口数量、 Spine 设备端口数量等不同，组网时 Leaf 和 Spine 的设备数量、连线方式等也会不同，请联系技术支持了解具体场景的推荐配置。
2. 路由配置方案
配置 BGP 路由协议。 Spine 与各 Leaf 建立 eBGP 邻居。
- RDMA 功能配置
为实现 RDMA 应用报文的无损传输，我们需要部署 PFC 功能和 ECN 功能：
- PFC 功能基于优先级队列对报文进行流量控制。 RDMA 报文携带队列 5 队列的 dscp，交换机对队列 5 的报文开启 PFC 功能。
RDMA 报文转发路径的所有端口都需要配置 PFC 功能，因此我们在 Spine 设备与 Leaf 设备互连的端口、 Leaf 设备连接服务器的端口及上行连 spine 的端口均开启 PFC 功能。
- ECN 功能提供端到端的拥塞控制。设备检测到拥塞后，对报文的 ECN 域进行标记。接收端收到 ECN 标记的报文后，向发送端发送拥塞通知报文，使发送端降低流量发送速率。本例中， 我们在 Spine 设备与 Leaf 设备互连的端口、 Leaf 设备连接服务器的端口及上行连 spine 的端口均开启 ECN 功能。
2.4.3 适配的型号版本
| 角色 | 设备 | 软件版本 | |
|---|---|---|---|
| S9827-128DH | R9323及之后的版本 | ||
| Spine | S9825-64D | R9323及之后的版本 | |
| 第一类 | S9825-128B | R9323及之后的版本 | |
| 交换机 | S9827-128DH | R9323及之后的版本 | |
| Leaf | S9825-64D | R9323及之后的版本 | |
| S9825-128B | R9323及之后的版本 | ||
| Sine | S6850-G\S9850-G | R8336P05及之后的版 本 | |
| 第二类 | p | S9820-G\S9855-G\S9825-G | R8336P05及之后的版 本 |
| 交换机 | Lf | S6850-G\S9850-G | R8336P05及之后的版 本 |
| ea | S9820-G\S9855-G\S9825-G | R8336P05及之后的版 本 |
2.4.4 配置 leaf
1. 配置设备模式
S9827&S9825 等第一类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启： hardware-resource switch-mode ROUTING hardware-resource routing-mode ipv6-128
hardware-resource vxlan L3GW
查看效果：
[H3C]display hardware-resource
Switch-mode resource(switch-mode), all supported modes: ROUTING MAC:8K, ARP and ND:32K, FIB ipv4:1M, FIB ipv6(64B):1M EM MAC:8K, ARP and ND:32K, FIB ipv4:786K, FIB ipv6(64B):786K -----------------------------------------------
Default Current Next
ROUTING ROUTING ROUTING
Routing-mode resource(routing-mode), all supported modes:
ipv6-128 IPv6-128 supported
-----------------------------------------------
Default Current Next
ipv6-128 ipv6-128 ipv6-128
VXLAN resource(vxlan), all supported modes:
L3GW The Layer 3 gateway mode
-----------------------------------------------
Default Current Next
L3GW L3GW L3GWS9820-G\S9855-G\S9825-G 等第二类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启：
switch-mode slot 1 normal
查看效果：
[H3C]display switch-mode status slot 1
LPU switch mode:
Slot Current Config
1 NORMAL NONE2. 配置 VLAN 接口及网关
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface Vlan-interface3007 | interface Vlan-interface3007 | 配置VLAN接口 | - |
| mtu_9000_ | mtu_9000_ | 配置相同的MTU | - |
| ip address_172.16.13.254_ 255.255.255.0 | ip address_172.16.14.254_ 255.255.255.0 | 配置IP地址 | - |
3. 配置 BGP 实例
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| bgp_101_ | bgp_102_ | 启动BGP实例 | - |
| router-id_172.16.28.1_ | router-id_172.16.28.2_ | 为指定的BGP实例配置 BGP路由器的Router ID | 如果要在BGP实例下运 行BGP协议，则必须为 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| BGP实例指定Router ID。如果没有指定Router ID，则缺省使用全局 Router ID | |||
| group_Spine_external | group_Spine_external | 创建EBGP对等体组 | - |
| peer_Spine_as-number_200_ | peer_Spine_as-number 200 | 指定对等体的AS号 | - |
| peer_172.16.24.1_group Spine | peer_172.16.24.17_group Spine | 向对等体组中添加指定的 对等体，即Spine | - |
| peer_172.16.24.5_group Spine | peer_172.16.24.21_group Spine | 向对等体组中添加指定的 对等体，即Spine | - |
| address-family ipv4 unicast | address-family ipv4 unicast | 进入IPv4地址族 | |
| balance_64_ | balance_64_ | 配置BGP负载分担的路由 条数 | |
| network_172.16.13.0_ 255.255.255.0 | network_172.16.14.0_ 255.255.255.0 | BGP发布下行vlan虚接口 所在网段路由 | 如无客户特殊要求，建议 将下行连服务器端口的 IP网段地址配置network 到BGP中。 |
| network_172.16.28.1_ 255.255.255.255 | network_172.16.28.2_ 255.255.255.255 | BGP发布loopback地址路 由 | - |
| peer_Spine_enable | peer_Spine_enable | 允许本地路由器与指定对 等体交换IPv4单播路由信 息 | - |
4. 第一类交换机配置 RoCE 的全局配置
• PFC 全局配置和数据缓冲区配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control poolID 0 headroom_96000_ | priority-flow-control poolID 0 headroom_96000_ | 设置PFC全局 headroom最大可用 的cell资源 | S6850G\S9820 G\S9855G\S982 5G等第二类交换 机不需要配置 |
| priority-flow-control deadlock | priority-flow-control deadlock cos | 设置PFC死锁检查周 | 根据实际情况设 |
| cos_5_interval_10_ | 5_interval_10 | 期，RoCE报文所在 | 置队列 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 队列 | |||
| priority-flow-control deadlock precision_high_ | priority-flow-control deadlock precision_high_ | 设置PFC死锁检测定 时器的精度 | 配置为最高精度 |
| buffer egress cell queue_5_ | buffer egress cell queue_5_ | RoCE队列出方向缓 | |
| shared ratio_100_ | shared ratio_100_ | 存调到最大 | - |
| buffer egress cell queue_6_ | buffer egress cell queue_6_ | CNP队列出方向缓 | |
| shared ratio_100_ | shared ratio_100_ | 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
• 配置 QoS 优先级映射
接口配置 PFC 功能时， Leaf 设备连接服务器的接口需要信任报文 DSCP 优先级， Leaf 和 Spine 互连的三层接口需要信任报文自带的 DSCP 优先级。
建议配置服务器发出的报文携带 DSCP 优先级并能根据 DSCP 值入队列，此时 Leaf 设备连接服务器的接口配置信任报文的 DSCP 优先级。
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos map-table dot1p-lp | qos map-table dot1p-lp | ||
| import_0_export_0_ | import_0_export_0_ | 调整dot1p-lp的队列 | 第二类交换机不 |
| import_1_export_1_ | import_1_export_1_ | 映射 | 用配置 |
| import_2_export_2_ | import_2_export_2_ |
5. 第二类交换机配置 RoCE 的全局配置
• PFC 全局配置和数据缓冲区配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| link-flap protect enable | link-flap protect enable | 开启全局链路震荡保 护功能 | - |
| priority-flow-control deadlock cos_5_interval_10_ | priority-flow-control deadlock cos 5_interval_10 | 设置PFC死锁检查周 期，RoCE报文所在 队列 | - |
| priority-flow-control deadlock | priority-flow-control deadlock | 设置PFC死锁检测定 | 配置为最高精度 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| precision_high_ | precision_high_ | 时器的精度 | |
| buffer egress cell queue_5_ shared ratio_100_ | buffer egress cell queue_5_ shared ratio_100_ | RoCE队列出方向缓 存调到最大 | - |
| buffer egress cell queue_6_ shared ratio_100_ | buffer egress cell queue_6_ shared ratio_100_ | CNP队列出方向缓 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
| qos wred ecn enable | qos wred ecn enable | 全局使能ECN标记 功能 |
6. 配置与 Spine 互联链路
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface_FourHundredGigE1/0/1_ | 配置与Spine 1互联 接口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.2_ 255.255.255.252 | ip address_172.16.24.18_ 255.255.255.252 | IP地址 | - |
| interface FourHundredGigE1/0/2 | interface_FourHundredGigE1/0/2_ | 配置与Spine 2互联 接口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.6_ 255.255.255.252 | ip address_172.16.24.22_ 255.255.255.252 | IP地址 | - |
- 第一类交换机配置与 Spine 互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface FourHundredGigE1/0/1 | 配置与Spine 1互联接口 | 配置与spine2互联接口 如下RoCE配置相同 |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_2000 | priority-flow-control dot1p 5_headroom_2000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p 5_ingress-buffer dynamic_6 | priority-flow-control dot1p 5_ingress-buffer dynamic_6 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 |
| priority-flow-control dot1p _5_ingress-threshold-offset 12 | priority-flow-control dot1p _5_ingress-threshold-offset 12 | 置端口RoCE报文所在队 列的入方向x-on参数 | 有所不同，具体请联系 H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_16 | priority-flow-control dot1p 5_reserved-buffer_16 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 1 low-limit_6000_ | qos wred queue_5_ drop-level 1 low-limit_6000_ | 设置端口RoCE报文所在 队列的ecn参数 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| high-limit_12000_ discard-probability_40_ | high-limit_12000_ discard-probability_40_ | ||
| qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ weighting-constant_0_ | qos wred queue_5_ weighting-constant_0_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
8. 第二类交换机配置与 Spine 互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface FourHundredGigE1/0/1 | 配置与Spine 1互联接口 | 配置与spine2互联接口 如下RoCE配置相同 |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_9000 | priority-flow-control dot1p 5_headroom_9000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p _5_ingress-buffer static 13000 | priority-flow-control dot1p _5_ingress-buffer static 13000 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 有所不同，具体请联系 H3C技术支持 |
| priority-flow-control dot1p _5_ingress-threshold-offset 100 | priority-flow-control dot1p _5_ingress-threshold-offset 100 | 置端口RoCE报文所在队 列的入方向x-on参数 | |
| priority-flow-control dot1p | priority-flow-control dot1p | 设置端口RoCE报文所在 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 5_reserved-buffer_56 | 5_reserved-buffer_56 | 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_5_group_1_ byte-count_60_ | qos wfq_5_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
9. 配置与服务器互联链路
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/65 | interface FourHundredGigE1/0/65 | 配置与服务器互联端口 | |
| port link-mode bridge | port link-mode bridge | - | - |
| port access vlan_3007_ | port access vlan_3007_ | 配置access端口允许通过 的VLAN为VLAN 3007 | - |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| broadcast-suppression | broadcast-suppression | 设置端口广播抑制阈值 | - |
| kbps_1000_ | kbps_1000_ | 1000kbps | |
| multicast-suppression | multicast-suppression | 设置端口组播抑制阈值 | |
| kbps_1000_ | kbps_1000_ | 1000kbps | - |
| unicast-suppression kbps | unicast-suppression kbps | 设置端口未知单播抑制阈 | |
| 10000 | 10000 | 值10000kbps | - |
| stp edged-port | stp edged-port | 配置端口为边缘端口 | - |
10. 第一类交换机配置与服务器互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE 1/0/65 | interface FourHundredGigE 1/0/65 | 配置与服务器互联端口 | |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测功 能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_2000 | priority-flow-control dot1p 5_headroom_2000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p 5_ingress-buffer dynamic_6 | priority-flow-control dot1p _5_ingress-buffer dynamic 6 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 有所不同具体请联系 |
| priority-flow-control dot1p _5_ingress-threshold-offset 12 | priority-flow-control dot1p _5_ingress-threshold-offset 12 | 置端口RoCE报文所在队 列的入方向x-on参数 | ， H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_16 | priority-flow-control dot1p 5_reserved-buffer_16 | 设置端口RoCE报文所在 队列的入方向预留缓存参 数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 各个队列调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 0 low-limit 6000_high-limit_12000 discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 1 low-limit 6000_high-limit_12000 discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit 1_2000_ discard-probability_40_ | qos wred queue_5_ drop-level 2 low-limit 6000_high-limit 1_2000 discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ weighting-constant 0 | qos wred queue_5_ weighting-constant 0 | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir _200000000_cbs 16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
11. 第二类交换机配置与服务器互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE 1/0/65 | interface FourHundredGigE 1/0/65 | 配置与服务器互联端口 | |
| priority-flow-control | priority-flow-control | 开启端口PFC死锁检测 | |
| deadlock enable | deadlock enable | 功能 | - |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_9000 | priority-flow-control dot1p 5_headroom_9000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p _5_ingress-buffer static 13000 | priority-flow-control dot1p _5_ingress-buffer static 13000 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 有所不同具体请联系 |
| priority-flow-control dot1p _5_ingress-threshold-offset 100 | priority-flow-control dot1p _5_ingress-threshold-offset 100 | 置端口RoCE报文所在队 列的入方向x-on参数 | ， H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_56 | priority-flow-control dot1p 5_reserved-buffer_56 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ | qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ | 设置端口RoCE报文所在 队列的ecn参数 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| discard-probability_20_ | discard-probability_20_ | ||
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
12. 其他补充
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| stp global enable | stp global enable | 全局开启生成树协议 | - |
| clock timezone UTC add 08:00:00 | clock timezone UTC add 08:00:00 | - | - |
| clock protocol ntp | clock protocol ntp | - | - |
| lldp global enable | lldp global enable | 开启lldp | |
| ntp-service enable | ntp-service enable | 开启NTP服务 | - |
| ntp-service unicast-server _10.127.22.69_vpn-instance Manager | ntp-service unicast-server _10.127.22.69_vpn-instance Manager | 指定NTP服务器 | - |
| snmp-agent | snmp-agent | 开启SNMP Agent功能 | - |
| snmp-agent community write private | snmp-agent community write private | 创建SNMP团体 | - |
| snmp-agent community read public | snmp-agent community read public | 创建SNMP团体 | - |
| snmp-agent sys-info version v2c v3 | snmp-agent sys-info version v2c v3 | 配置设备支持的SNMP版本 v2c v3 | - |
| snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | 允许向10.127.22.69发送 SNMPv2c Trap报文，用户 名为public | - |
| snmp-agent trap enable arp | snmp-agent trap enable arp | 开启SNMP告警功能 | - |
| snmp-agent trap enable syslog | snmp-agent trap enable syslog | 开启SNMP告警功能 | - |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| snmp-agent trap source M-GigabitEthernet0/0/0 | snmp-agent trap source M-GigabitEthernet0/0/0 | 开启SNMP告警源为管理口 | - |
| grpc enable | grpc enable | 开启gRPC功能 | - |
| telemetry | telemetry | 进入Telemetry视图 | - |
| sensor-group sdn_grpc_1_300 | sensor-group sdn_grpc_1_300 | - | - |
| sensor path device/base | sensor path device/base | 设备基础信息 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 创建名为grp_1的目标组 | - |
| ipv4-address_10.127.22.100_ port_50051_vpn-instance Manager | ipv4-address 10.127.22.100_port_50051 vpn-instance_Manager_ | 在目标组grp_1中配置IP地 址为10.127.22.100、接收数 据的端口号为50051、VPN 实例Manager的采集器 | - |
| subscription_grp_1_ | subscription_grp_1_ | 创建名为grp_1的普通订阅 | - |
| sensor-group sdn_grpc_1_300 sample-interval_300_ | sensor-group sdn_grpc_1_300 sample-interval_300_ | 关联传感器组为 sdn_grpc_1_300 | - |
| source-address_10.127.22.9_ | source-address 10.127.22.10 | 设备发送订阅grp_1的报文 的源IPv4地址 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 关联目标组为grp_1 | - |
2.4.5 配置 spine
此处以 Spine 1、 Spine 2 的配置为例。
1. 配置设备模式
S9827&S9825 等第一类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启： hardware-resource switch-mode ROUTING hardware-resource routing-mode ipv6-128 hardware-resource vxlan L3GW
查看效果：
[H3C]display hardware-resource Switch-mode resource(switch-mode), all supported modes: ROUTING MAC:8K, ARP and ND:32K, FIB ipv4:1M, FIB ipv6(64B):1M EM MAC:8K, ARP and ND:32K, FIB ipv4:786K, FIB ipv6(64B):786K ----------------------------------------------Default Current Next ROUTING ROUTING ROUTING Routing-mode resource(routing-mode), all supported modes: ipv6-128 IPv6-128 supported ----------------------------------------------Default Current Next ipv6-128 ipv6-128 ipv6-128 VXLAN resource(vxlan), all supported modes: L3GW The Layer 3 gateway mode ----------------------------------------------Default Current Next L3GW L3GW L3GW
S9820-G\S9855-G\S9825-G 等第二类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启：
switch-mode slot 1 normal
查看效果：
[H3C]display switch-mode status slot 1 LPU switch mode: Slot Current Config 1 NORMAL NONE
2. 配置 BGP 实例
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| bgp_200_ | bgp_200_ | 启动BGP实例 | - |
| router-id_172.16.28.9_ | router-id_172.16.28.10_ | 为指定的BGP实例配置 | 如果要在BGP实例下运 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| BGP路由器的Router ID | 行BGP协议，则必须为 BGP实例指定Router ID。如果没有指定Router ID，则缺省使用全局 Router ID | ||
| group_Leaf_external | group_Leaf_external | 创建EBGP对等体组 | - |
| peer_172.16.24.2_ as-number_101_ | peer_172.16.24.6_ as-number_101_ | 指定对等体leaf1的AS号 | - |
| peer_172.16.24.2_group Leaf | peer_172.16.24.6_group Leaf | 向对等体组中添加指定的 对等体，即leaf1 | - |
| peer_172.16.24.18_ as-number_102_ | peer_172.16.24.22_ as-number_102_ | 指定对等体leaf2的AS号 | |
| peer_172.16.24.18_group Leaf | peer_172.16.24.22_group Leaf | 向对等体组中添加指定的 对等体，即leaf2 | |
| address-family ipv4 unicast | address-family ipv4 unicast | 进入IPv4地址族 | |
| balance_64_ | balance_64_ | 配置BGP负载分担的路由 条数 | |
| network_172.16.28.9_ 255.255.255.255 | network_172.16.28.10_ 255.255.255.255 | BGP发布loopback地址路 由 | - |
| peer_Leaf_enable | peer_Leaf_enable | 允许本地路由器与指定对 等体交换IPv4单播路由信 息 | - |
3. 第一类交换机配置 RoCE 的全局配置
• PFC 全局配置和数据缓冲区配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control poolID 0 headroom_96000_ | priority-flow-control poolID 0 headroom_96000_ | 设置PFC全局 headroom最大可用 的cell资源 | S6850G\S9820 G\S9855G\S982 5G等第二类交换 机不需要配置 |
| priority-flow-control deadlock cos_5_interval_10_ | priority-flow-control deadlock cos 5_interval_10 | 设置PFC死锁检查周 期，RoCE报文所在 队列 | 根据实际情况设 置队列 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control deadlock | priority-flow-control deadlock | 设置PFC死锁检测定 | 配置为最高精度 |
| precision_high_ | precision_high_ | 时器的精度 | |
| buffer egress cell queue_5_ | buffer egress cell queue_5_ | RoCE队列出方向缓 | |
| shared ratio_100_ | shared ratio_100_ | 存调到最大 | - |
| buffer egress cell queue_6_ | buffer egress cell queue_6_ | CNP队列出方向缓 | |
| shared ratio_100_ | shared ratio_100_ | 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
• 配置 QoS 优先级映射
接口配置 PFC 功能时， Leaf 设备连接服务器的接口需要信任报文 DSCP 优先级， Leaf 和 Spine 互连的三层接口需要信任报文自带的 DSCP 优先级。
建议配置服务器发出的报文携带 DSCP 优先级并能根据 DSCP 值入队列，此时 Leaf 设备连接服务器的接口配置信任报文的 DSCP 优先级。
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos map-table dot1p-lp | qos map-table dot1p-lp | ||
| import_0_export_0_ import_1_export_1_ | import_0_export_0_ import_1_export_1_ | 调整dot1p-lp的队列 映射 | - |
| import_2_export_2_ | import_2_export_2_ |
4. 第二类交换机配置 RoCE 的全局配置
• PFC 全局配置和数据缓冲区配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| link-flap protect enable | link-flap protect enable | 开启全局链路震荡保 护功能 | - |
| priority-flow-control deadlock cos_5_interval_10_ | priority-flow-control deadlock cos 5_interval_10 | 设置PFC死锁检查周 期，RoCE报文所在 队列 | - |
| priority-flow-control deadlock precision_high_ | priority-flow-control deadlock precision_high_ | 设置PFC死锁检测定 时器的精度 | 配置为最高精度 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| buffer egress cell queue_5_ shared ratio_100_ | buffer egress cell queue_5_ shared ratio_100_ | RoCE队列出方向缓 存调到最大 | - |
| buffer egress cell queue_6_ shared ratio_100_ | buffer egress cell queue_6_ shared ratio_100_ | CNP队列出方向缓 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
| qos wred ecn enable | qos wred ecn enable | 全局使能ECN标记 功能 |
5. 配置与 Leaf 互联链路
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface | interface | 配置与Leaf1互联接 | |
| FourHundredGigE1/0/65 | FourHundredGigE1/0/65 | 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.1_ 255.255.255.252 | ip address_172.16.24.5_ 255.255.255.252 | IP地址 | - |
| interface | interface | 配置与Leaf2互联接 | |
| FourHundredGigE1/0/66 | FourHundredGigE1/0/66 | 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.17_ 255.255.255.252 | ip address_172.16.24.21_ 255.255.255.252 | IP地址 | - |
6. 第一类交换机配置与 Leaf 互联链路的 RoCE 配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/65 | interface FourHundredGigE1/0/65 | 配置与Leaf1互联接口 | 配置与Leaf2互联接口如 下RoCE配置相同 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_2000 | priority-flow-control dot1p 5_headroom_2000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p 5_ingress-buffer dynamic_6 | priority-flow-control dot1p 5_ingress-buffer dynamic_6 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 |
| priority-flow-control dot1p _5_ingress-threshold-offset 12 | priority-flow-control dot1p _5_ingress-threshold-offset 12 | 置端口RoCE报文所在队 列的入方向x-on参数 | 有所不同，具体请联系 H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_16 | priority-flow-control dot1p 5_reserved-buffer_16 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 |
| qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ | qos wred queue_5_ | 设置端口RoCE报文所在 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ weighting-constant 0 | qos wred queue_5_ weighting-constant 0 | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
7. 第二类交换机配置与 Leaf 互联链路的 RoCE 配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/65 | interface FourHundredGigE1/0/65 | 配置与Leaf1互联接口 | 配置与Leaf2互联接口如 下RoCE配置相同 |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_9000 | priority-flow-control dot1p 5_headroom_9000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p _5_ingress-buffer static 13000 | priority-flow-control dot1p _5_ingress-buffer static 13000 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 有所不同具体请联系 |
| priority-flow-control dot1p _5_ingress-threshold-offset 100 | priority-flow-control dot1p _5_ingress-threshold-offset 100 | 置端口RoCE报文所在队 列的入方向x-on参数 | ， H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_56 | priority-flow-control dot1p 5_reserved-buffer_56 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
8. 其他补充
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| clock timezone UTC add 08:00:00 | clock timezone UTC add 08:00:00 | - | - |
| clock protocol ntp | clock protocol ntp | - | - |
| lldp global enable | lldp global enable | 开启lldp | |
| ntp-service enable | ntp-service enable | 开启NTP服务 | - |
| ntp-service unicast-server _10.127.22.69_vpn-instance | ntp-service unicast-server _10.127.22.69_vpn-instance | 指定NTP服务器 | - |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| Manager | Manager | ||
| snmp-agent | snmp-agent | 开启SNMP Agent功能 | - |
| snmp-agent community write private | snmp-agent community write private | 创建SNMP团体 | - |
| snmp-agent community read public | snmp-agent community read public | 创建SNMP团体 | - |
| snmp-agent sys-info version v2c v3 | snmp-agent sys-info version v2c v3 | 配置设备支持的SNMP版本 v2c v3 | - |
| snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | 允许向10.127.22.69发送 SNMPv2c Trap报文，用户 名为public | - |
| snmp-agent trap enable arp | snmp-agent trap enable arp | 开启SNMP告警功能 | - |
| snmp-agent trap enable syslog | snmp-agent trap enable syslog | 开启SNMP告警功能 | - |
| snmp-agent trap source M-GigabitEthernet0/0/0 | snmp-agent trap source M-GigabitEthernet0/0/0 | 开启SNMP告警源为管理口 | - |
| grpc enable | grpc enable | 开启gRPC功能 | - |
| telemetry | telemetry | 进入Telemetry视图 | - |
| sensor-group sdn_grpc_1_300 | sensor-group sdn_grpc_1_300 | - | |
| sensor path device/base | sensor path device/base | 设备基础信息 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 创建名为grp_1的目标组 | - |
| ipv4-address_10.127.22.100_ port_50051_vpn-instance Manager | ipv4-address 10.127.22.100_port_50051 vpn-instance_Manager_ | 在目标组grp_1中配置IP地 址为10.127.22.100、接收数 据的端口号为50051、VPN 实例Manager的采集器 | - |
| subscription_grp_1_ | subscription_grp_1_ | 创建名为grp_1的普通订阅 | - |
| sensor-group sdn_grpc_1_300 sample-interval_300_ | sensor-group sdn_grpc_1_300 sample-interval_300_ | 关联传感器组为 sdn_grpc_1_300 | - |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| source-address_10.127.22.1_ | source-address 10.127.22.2 | 设备发送订阅grp_1的报文 的源IPv4地址 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 关联目标组为grp_1 | - |