Appearance
参数网三层盒式—盒式配置
《H3C RoCE 网络开局一本通》拆分章节，文档版本：6W102。
2.6.1 典型组网
2.6.2 配置思路
三层盒盒组网为 core/spine/leaf 架构。 Leaf 作为服务器网关，每台服务器相同位置网卡单归接到同一台 leaf。 Spine 及 leaf 之间运行三层路由协议，有多条 ECMP 等价路由。 Leaf 上下行带宽一比一； Spine 及 core 之间运行三层路由协议，有多条 ECMP 等价路由， Spine 上下行带宽 1:2。 1. 组网思路
- 采用 Core、 Spine、 Leaf 三级架构，三级设备均为盒式设备。
Leaf 设备作为服务器的网关， Spine、 Leaf 之间为三层 ECMP 网络，在进行数据高速转发的同时支持转发路径的冗余备份。 Leaf 上下行带宽一比一。
Core、 Spine 之间为三层 ECMP 网络， Spine 上下行带宽 1:2。
服务器接口单归接入，不需要 Leaf 堆叠或者 M-LAG。
实际应用中， GPU 卡规模、 Leaf 设备端口数量、 Spine 设备端口数量等不同，组网时 Leaf 和 Spine 的设备数量、连线方式等也会不同，请联系技术支持了解具体场景的推荐配置。
2. 路由配置方案
配置 BGP 路由协议。 Spine 与各 Leaf 建立 eBGP 邻居。
3. RDMA 功能配置
为实现 RDMA 应用报文的无损传输，我们需要部署 PFC 功能和 ECN 功能：
PFC 功能基于优先级队列对报文进行流量控制。 RDMA 报文携带队列 5 队列的 dscp，交换机对队列 5 的报文开启 PFC 功能。
RDMA 报文转发路径的所有端口都需要配置 PFC 功能，因此我们在 Spine 设备与 Leaf 设备互连的端口、 Leaf 设备连接服务器的端口及上行连 spine 的端口均开启 PFC 功能。
ECN 功能提供端到端的拥塞控制。设备检测到拥塞后，对报文的 ECN 域进行标记。接收端收到 ECN 标记的报文后，向发送端发送拥塞通知报文，使发送端降低流量发送速率。本例中， 我们在 Spine 设备与 Leaf 设备互连的端口、 Leaf 设备连接服务器的端口及上行连 spine 的端口均开启 ECN 功能。
2.6.3 适配的型号版本
| 角色 | 设备 | 软件版本 | |
|---|---|---|---|
| S9827-128DH | R9323及之后的版本 | ||
| Core | S9825-64D | R9323及之后的版本 | |
| S9825-128B | R9323及之后的版本 | ||
| S9827-128DH | R9323及之后的版本 | ||
| 第一类交换机 | Spine | S9825-64D | R9323及之后的版本 |
| S9825-128B | R9323及之后的版本 | ||
| S9827-128DH | R9323及之后的版本 | ||
| Leaf | S9825-64D | R9323及之后的版本 | |
| S9825-128B | R9323及之后的版本 | ||
| Core | S6850-G\S9850-G | R8336P05及之后的版本 | |
| 第二类交换机 | S9820-G\S9855-G\S9825-G | R8336P05及之后的版本 | |
| Si | S6850-G\S9850-G | R8336P05及之后的版本 | |
| pne | S9820-G\S9855-G\S9825-G | R8336P05及之后的版本 |
| Leaf | S6850-G\S9850-G | R8336P05及之后的版本 |
|---|---|---|
| S9820-G\S9855-G\S9825-G | R8336P05及之后的版本 |
2.6.4 配置 leaf
1. 配置设备模式
S9827&S9825 等第一类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启： hardware-resource switch-mode ROUTING
hardware-resource routing-mode ipv6-128 hardware-resource vxlan L3GW
查看效果：
[H3C]display hardware-resource
Switch-mode resource(switch-mode), all supported modes:
ROUTING MAC:8K, ARP and ND:32K, FIB ipv4:1M, FIB ipv6(64B):1M
EM MAC:8K, ARP and ND:32K, FIB ipv4:786K, FIB ipv6(64B):786K
-----------------------------------------------
Default Current Next
ROUTING ROUTING ROUTINGRouting-mode resource(routing-mode), all supported modes:
ipv6-128 IPv6-128 supported
-----------------------------------------------
Default Current Next
ipv6-128 ipv6-128 ipv6-128
VXLAN resource(vxlan), all supported modes:
L3GW The Layer 3 gateway mode
-----------------------------------------------
Default Current Next
L3GW L3GW L3GWS9820-G\S9855-G\S9825-G 等第二类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启：
switch-mode slot 1 normal
查看效果：
[H3C]display switch-mode status slot 1
LPU switch mode:
Slot Current Config
1 NORMAL NONE2. 配置 VLAN 接口及网关
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface Vlan-interface3007 | interface Vlan-interface3007 | 配置VLAN接口 | - |
| mtu_9000_ | mtu_9000_ | 配置相同的MTU | - |
| ip address_172.16.13.254_ 255.255.255.0 | ip address_172.16.14.254_ 255.255.255.0 | 配置IP地址 | - |
3. 配置 BGP 实例
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| Bgp_300_ | bgp_301_ | 启动BGP实例 | - |
| router-id_100.66.0.0_ | router-id_100.66.0.1_ | 为指定的BGP实例配置 BGP路由器的Router ID | 如果要在BGP实例下运 行BGP协议，则必须为 BGP实例指定Router ID。如果没有指定Router ID，则缺省使用全局 Router ID |
| group_Spine_external | group_Spine_external | 创建EBGP对等体组 | - |
| peer_Spine_as-number_200_ | peer_Spine_as-number 200 | 指定对等体的AS号 | - |
| peer_172.16.24.1_group Spine | peer_172.16.24.5_group Spine | 向对等体组中添加指定的 对等体，即Spine | - |
| peer_172.16.24.3_group Spine | peer_172.16.24.7_group Spine | 向对等体组中添加指定的 对等体，即Spine | - |
| peer_172.16.25.1_group Spine | peer_172.16.25.5_group Spine | 向对等体组中添加指定的 对等体，即Spine | |
| peer_172.16.25.3_group Spine | peer_172.16.25.7_group Spine | 向对等体组中添加指定的 对等体，即Spine | - |
| address-family ipv4 unicast | address-family ipv4 unicast | 进入IPv4地址族 | |
| balance_64_ | balance_64_ | 配置BGP负载分担的路由 条数 | |
| network_172.16.13.0_ | network_172.16.14.0_ | BGP发布下行vlan虚接口 | 如无客户特殊要求，建议 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 255.255.255.0 | 255.255.255.0 | 所在网段路由 | 将下行连服务器端口的 IP网段地址配置network 到BGP中。 |
| network_100.66.0.0_ 255.255.255.255 | network_100.66.0.1_ 255.255.255.255 | BGP发布loopback地址路 由 | - |
| peer_Spine_enable | peer_Spine_enable | 允许本地路由器与指定对 等体交换IPv4单播路由信 息 | - |
4. 第一类交换机配置 RoCE 的全局配置
• PFC 全局配置和数据缓冲区配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control poolID 0 headroom_96000_ | priority-flow-control poolID 0 headroom_96000_ | 设置PFC全局 headroom最大可用 的cell资源 | S6850G\S9820 G\S9855G\S982 5G等第二类交换 机不需要配置 |
| priority-flow-control deadlock cos_5_interval_10_ | priority-flow-control deadlock cos 5_interval_10 | 设置PFC死锁检查周 期，RoCE报文所在 队列 | 根据实际情况设 置队列 |
| priority-flow-control deadlock precision_high_ | priority-flow-control deadlock precision_high_ | 设置PFC死锁检测定 时器的精度 | 配置为最高精度 |
| buffer egress cell queue_5_ shared ratio_100_ | buffer egress cell queue_5_ shared ratio_100_ | RoCE队列出方向缓 存调到最大 | - |
| buffer egress cell queue_6_ shared ratio_100_ | buffer egress cell queue_6_ shared ratio_100_ | CNP队列出方向缓 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
- 配置 QoS 优先级映射
接口配置 PFC 功能时， Leaf 设备连接服务器的接口需要信任报文 DSCP 优先级， Leaf 和 Spine 互连的三层接口需要信任报文自带的 DSCP 优先级。
建议配置服务器发出的报文携带 DSCP 优先级并能根据 DSCP 值入队列，此时 Leaf 设备连接服务器的接口配置信任报文的 DSCP 优先级。
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos map-table dot1p-lp | qos map-table dot1p-lp | ||
| import_0_export_0_ import_1_export_1_ | import_0_export_0_ import_1_export_1_ | 调整dot1p-lp的队列 映射 | - |
| import_2_export_2_ | import_2_export_2_ |
5. 第二类交换机配置 RoCE 的全局配置
•
PFC 全局配置和数据缓冲区配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| link-flap protect enable | link-flap protect enable | 开启全局链路震荡保 护功能 | - |
| priority-flow-control deadlock cos_5_interval_10_ | priority-flow-control deadlock cos 5_interval_10 | 设置PFC死锁检查周 期，RoCE报文所在 队列 | - |
| priority-flow-control deadlock precision_high_ | priority-flow-control deadlock precision_high_ | 设置PFC死锁检测定 时器的精度 | 配置为最高精度 |
| buffer egress cell queue_5_ shared ratio_100_ | buffer egress cell queue_5_ shared ratio_100_ | RoCE队列出方向缓 存调到最大 | - |
| buffer egress cell queue_6_ shared ratio_100_ | buffer egress cell queue_6_ shared ratio_100_ | CNP队列出方向缓 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
| qos wred ecn enable | qos wred ecn enable | 全局使能ECN标记 功能 |
6. 配置与 Spine 互联链路
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface_FourHundredGigE1/0/1_ | 配置与Spine 1互联 接口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.2_ 255.255.255.254 | ip address_172.16.25.2_ 255.255.255.254 | IP地址 | - |
| interface FourHundredGigE1/0/2 | interface_FourHundredGigE1/0/2_ | 配置与Spine 1互联 接口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.4_ 255.255.255.254 | ip address_172.16.25.4_ 255.255.255.254 | IP地址 | - |
| interface FourHundredGigE1/0/3 | interface_FourHundredGigE1/0/3_ | 配置与Spine 2互联 接口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.6_ 255.255.255.254 | ip address_172.16.25.6_ 255.255.255.254 | IP地址 | - |
| interface FourHundredGigE1/0/4 | interface_FourHundredGigE1/0/4_ | 配置与Spine 2互联 接口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.8_ | ip address_172.16.25.8_ | IP地址 | - |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 255.255.255.254 | 255.255.255.254 |
7. 第一类交换机配置与 Spine 互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface FourHundredGigE1/0/1 | 配置与Spine 1互联接口 | 配置与spine2互联接口 如下RoCE配置相同 |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_2000 | priority-flow-control dot1p 5_headroom_2000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p 5_ingress-buffer dynamic_6 | priority-flow-control dot1p 5_ingress-buffer dynamic_6 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 |
| priority-flow-control dot1p _5_ingress-threshold-offset 12 | priority-flow-control dot1p _5_ingress-threshold-offset 12 | 置端口RoCE报文所在队 列的入方向x-on参数 | 有所不同，具体请联系 H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_16 | priority-flow-control dot1p 5_reserved-buffer_16 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ | qos wred queue_5_ drop-level 0 low-limit_6000_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| high-limit_12000_ discard-probability_40_ | high-limit_12000_ discard-probability_40_ | H3C技术支持 | |
| qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ weighting-constant_0_ | qos wred queue_5_ weighting-constant_0_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
8. 第二类交换机配置与 Spine 互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface FourHundredGigE1/0/1 | 配置与Spine 1互联接口 | 配置与spine2互联接口 如下RoCE配置相同 |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_9000 | priority-flow-control dot1p 5_headroom_9000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | 不同产品的PFC配置值 有所不同具体请联系 |
| priority-flow-control dot1p _5_ingress-buffer static 13000 | priority-flow-control dot1p _5_ingress-buffer static 13000 | 设置端口RoCE报文所在 队列的入方向x-off参数 | ， H3C技术支持 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control dot1p _5_ingress-threshold-offset 100 | priority-flow-control dot1p _5_ingress-threshold-offset 100 | 置端口RoCE报文所在队 列的入方向x-on参数 | |
| priority-flow-control dot1p 5_reserved-buffer_56 | priority-flow-control dot1p 5_reserved-buffer_56 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
9. 配置与服务器互联链路
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 | |
|---|---|---|---|---|
| interface | interface | 配置与服务器互联端口 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| FourHundredGigE1/0/65 | FourHundredGigE1/0/65 | ||
| port link-mode bridge | port link-mode bridge | - | - |
| port access vlan_3007_ | port access vlan_3007_ | 配置access端口允许通过 的VLAN为VLAN 70 | - |
| broadcast-suppression kbps_1000_ | broadcast-suppression kbps_1000_ | 设置端口广播抑制阈值 1000kbps | - |
| multicast-suppression kbps_1000_ | multicast-suppression kbps_1000_ | 设置端口组播抑制阈值 1000kbps | - |
| unicast-suppression kbps 10000 | unicast-suppression kbps 10000 | 设置端口未知单播抑制阈 值10000kbps | - |
| stp edged-port | stp edged-port | 配置端口为边缘端口 | - |
10. 第一类交换机配置与服务器互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE 1/0/65 | interface FourHundredGigE 1/0/65 | 配置与服务器互联端口 | |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测功 能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_2000 | priority-flow-control dot1p 5_headroom_2000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p 5_ingress-buffer dynamic_6 | priority-flow-control dot1p _5_ingress-buffer dynamic 6 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 有所不同，具体请联系 H3C技术支持 |
| priority-flow-control dot1p _5_ingress-threshold-offset 12 | priority-flow-control dot1p _5_ingress-threshold-offset 12 | 置端口RoCE报文所在队 列的入方向x-on参数 | |
| priority-flow-control dot1p | priority-flow-control dot1p | 设置端口RoCE报文所在 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 5_reserved-buffer_16 | 5_reserved-buffer_16 | 队列的入方向预留缓存参 数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 各个队列调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 0 low-limit 6000_high-limit_12000 discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 1 low-limit 6000_high-limit_12000 discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit 1_2000_ discard-probability_40_ | qos wred queue_5_ drop-level 2 low-limit 6000_high-limit 1_2000 discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ weighting-constant 0 | qos wred queue_5_ weighting-constant 0 | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir _200000000_cbs 16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
11. 第二类交换机配置与服务器互联链路的 RoCE 配置
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 | |
|---|---|---|---|---|
| interface | interface | 配置与服务器互联端口 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| FourHundredGigE 1/0/65 | FourHundredGigE 1/0/65 | ||
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_9000 | priority-flow-control dot1p 5_headroom_9000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p _5_ingress-buffer static 13000 | priority-flow-control dot1p _5_ingress-buffer static 13000 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 |
| priority-flow-control dot1p _5_ingress-threshold-offset 100 | priority-flow-control dot1p _5_ingress-threshold-offset 100 | 置端口RoCE报文所在队 列的入方向x-on参数 | 有所不同，具体请联系 H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_56 | priority-flow-control dot1p 5_reserved-buffer_56 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ | 设置端口RoCE报文所在 队列的ecn参数 | H3C技术支持 |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| discard-probability_20_ | discard-probability_20_ | ||
| qos wred queue_5_ | qos wred queue_5_ | ||
| drop-level 2 low-limit_4000_ high-limit_8000_ | drop-level 2 low-limit_4000_ high-limit_8000_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| discard-probability_20_ | discard-probability_20_ | ||
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
12. 其他补充
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| stp global enable | stp global enable | 全局开启生成树协议 | - |
| clock timezone UTC add 08:00:00 | clock timezone UTC add 08:00:00 | - | - |
| clock protocol ntp | clock protocol ntp | - | - |
| lldp global enable | lldp global enable | 开启lldp | |
| ntp-service enable | ntp-service enable | 开启NTP服务 | - |
| ntp-service unicast-server _10.127.22.69_vpn-instance Manager | ntp-service unicast-server _10.127.22.69_vpn-instance Manager | 指定NTP服务器 | - |
| snmp-agent | snmp-agent | 开启SNMP Agent功能 | - |
| snmp-agent community write private | snmp-agent community write private | 创建SNMP团体 | - |
| snmp-agent community read public | snmp-agent community read public | 创建SNMP团体 | - |
| snmp-agent sys-info version v2c v3 | snmp-agent sys-info version v2c v3 | 配置设备支持的SNMP版本 v2c v3 | - |
| snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | 允许向10.127.22.69发送 SNMPv2c Trap报文，用户 名为public | - |
| snmp-agent trap enable arp | snmp-agent trap enable | 开启SNMP告警功能 | - |
| Leaf 1 | Leaf 2 | 命令说明 | 注意事项 |
|---|---|---|---|
| arp | |||
| snmp-agent trap enable syslog | snmp-agent trap enable syslog | 开启SNMP告警功能 | - |
| snmp-agent trap source M-GigabitEthernet0/0/0 | snmp-agent trap source M-GigabitEthernet0/0/0 | 开启SNMP告警源为管理口 | - |
| grpc enable | grpc enable | 开启gRPC功能 | - |
| telemetry | telemetry | 进入Telemetry视图 | - |
| sensor-group sdn_grpc_1_300 | sensor-group sdn_grpc_1_300 | - | - |
| sensor path device/base | sensor path device/base | 设备基础信息 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 创建名为grp_1的目标组 | - |
| ipv4-address_10.127.22.100_ port_50051_vpn-instance Manager | ipv4-address 10.127.22.100_port_50051 vpn-instance_Manager_ | 在目标组grp_1中配置IP地 址为10.127.22.100、接收数 据的端口号为50051、VPN 实例Manager的采集器 | - |
| subscription_grp_1_ | subscription_grp_1_ | 创建名为grp_1的普通订阅 | - |
| sensor-group sdn_grpc_1_300 sample-interval_300_ | sensor-group sdn_grpc_1_300 sample-interval_300_ | 关联传感器组为 sdn_grpc_1_300 | - |
| source-address_10.127.22.9_ | source-address 10.127.22.10 | 设备发送订阅grp_1的报文 的源IPv4地址 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 关联目标组为grp_1 | - |
2.6.5 配置 spine
此处以 Spine 1、 Spine 2 的配置为例。
1. 配置设备模式
S9827&S9825 等第一类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启： hardware-resource switch-mode ROUTING
hardware-resource routing-mode ipv6-128
hardware-resource vxlan L3GW
查看效果：
[H3C]display hardware-resource
Switch-mode resource(switch-mode), all supported modes:
ROUTING MAC:8K, ARP and ND:32K, FIB ipv4:1M, FIB ipv6(64B):1M
EM MAC:8K, ARP and ND:32K, FIB ipv4:786K, FIB ipv6(64B):786K
-----------------------------------------------
Default Current Next
ROUTING ROUTING ROUTINGRouting-mode resource(routing-mode), all supported modes:
ipv6-128 IPv6-128 supported
-----------------------------------------------
Default Current Next
ipv6-128 ipv6-128 ipv6-128
VXLAN resource(vxlan), all supported modes:
L3GW The Layer 3 gateway mode
-----------------------------------------------
Default Current Next
L3GW L3GW L3GWS9820-G\S9855-G\S9825-G 等第二类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启：
switch-mode slot 1 normal
查看效果：
[H3C]display switch-mode status slot 1
LPU switch mode:
Slot Current Config
1 NORMAL NONE2. 配置 BGP 实例
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| Bgp_200_ | bgp_200_ | 启动BGP实例 | - |
| 如果要在BGP实例下运 行BGP协议，则必须为 | |||
| router-id_100.65.0.0_ | router-id_100.65.0.1_ | 为指定的BGP实例配置 BGP路由器的Router ID | BGP实例指定Router ID。如果没有指定Router ID，则缺省使用全局 Router ID |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| group_Leaf_external | group_Leaf_external | 创建EBGP对等体组 | - |
| peer_172.16.24.2_ as-number_300_ | peer_172.16.24.6_ as-number_300_ | 指定对等体leaf1的AS号 | - |
| peer_172.16.24.2_group Leaf | peer_172.16.24.6_group Leaf | 向对等体组中添加指定的 对等体，即leaf1 | - |
| peer_172.16.24.4_ as-number_300_ | peer_172.16.24.8_ as-number_300_ | 指定对等体leaf1的AS号 | |
| peer_172.16.24.4_group Leaf | peer_172.16.24.8_group Leaf | 向对等体组中添加指定的 对等体，即leaf1 | |
| peer_172.16.25.2_ as-number_301_ | peer_172.16.25.6_ as-number_301_ | 指定对等体leaf2的AS号 | |
| peer_172.16.25.2_group Leaf | peer_172.16.25.6_group Leaf | 向对等体组中添加指定的 对等体，即leaf2 | |
| peer_172.16.25.4_ as-number_301_ | peer_172.16.25.8_ as-number_301_ | 指定对等体leaf2的AS号 | |
| peer_172.16.25.4_group Leaf | peer_172.16.25.8_group Leaf | 向对等体组中添加指定的 对等体，即leaf2 | - |
| group_Core_external | group_Core_external | 创建EBGP对等体组 | |
| peer_Core_as-number_100_ | peer_Core_as-number_101_ | 指定对等体core的AS号 | |
| peer_171.16.24.1_group Core | peer_171.16.25.1_group Core | 向对等体组中添加指定的 对等体 | |
| peer_171.16.24.3_group Core | peer_171.16.25.3_group Core | 向对等体组中添加指定的 对等体 | |
| address-family ipv4 unicast | address-family ipv4 unicast | 进入IPv4地址族 | |
| balance_64_ | balance_64_ | 配置BGP负载分担的路由 条数 | |
| network_100.65.0.0_ 255.255.255.255 | network_100.65.0.1_ 255.255.255.255 | BGP发布loopback地址路 由 | - |
| peer_Leaf_enable | peer_Leaf_enable | 允许本地路由器与指定对 等体交换IPv4单播路由信 息 | - |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 允许本地路由器与指定对 | |||
| peer_Core_enable | peer_Core_enable | 等体交换IPv4单播路由信 息 |
3. 第一类交换机配置 RoCE 的全局配置
• PFC 全局配置和数据缓冲区配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| priority-flow-control poolID 0 headroom_96000_ | priority-flow-control poolID 0 headroom_96000_ | 设置PFC全局 headroom最大可用 的cell资源 | S6850G\S9820 G\S9855G\S982 5G等第二类交换 机不需要配置 |
| priority-flow-control deadlock cos_5_interval_10_ | priority-flow-control deadlock cos 5_interval_10 | 设置PFC死锁检查周 期，RoCE报文所在 队列 | 根据实际情况设 置队列 |
| priority-flow-control deadlock precision_high_ | priority-flow-control deadlock precision_high_ | 设置PFC死锁检测定 时器的精度 | 配置为最高精度 |
| buffer egress cell queue_5_ shared ratio_100_ | buffer egress cell queue_5_ shared ratio_100_ | RoCE队列出方向缓 存调到最大 | - |
| buffer egress cell queue_6_ shared ratio_100_ | buffer egress cell queue_6_ shared ratio_100_ | CNP队列出方向缓 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
• 配置 QoS 优先级映射
接口配置 PFC 功能时， Leaf 设备连接服务器的接口需要信任报文 DSCP 优先级， Leaf 和 Spine 互连的三层接口需要信任报文自带的 DSCP 优先级。
建议配置服务器发出的报文携带 DSCP 优先级并能根据 DSCP 值入队列，此时 Leaf 设备连接服务器的接口配置信任报文的 DSCP 优先级。
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos map-table dot1p-lp import_0_export_0_ | qos map-table dot1p-lp import_0_export_0_ | 调整dot1p-lp的队列 映射 | - |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| import_1_export_1_ | import_1_export_1_ | ||
| import_2_export_2_ | import_2_export_2_ |
4. 第二类交换机配置 RoCE 的全局配置
• PFC 全局配置和数据缓冲区配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| link-flap protect enable | link-flap protect enable | 开启全局链路震荡保 护功能 | - |
| priority-flow-control deadlock cos_5_interval_10_ | priority-flow-control deadlock cos 5_interval_10 | 设置PFC死锁检查周 期，RoCE报文所在 队列 | - |
| priority-flow-control deadlock precision_high_ | priority-flow-control deadlock precision_high_ | 设置PFC死锁检测定 时器的精度 | 配置为最高精度 |
| buffer egress cell queue_5_ shared ratio_100_ | buffer egress cell queue_5_ shared ratio_100_ | RoCE队列出方向缓 存调到最大 | - |
| buffer egress cell queue_6_ shared ratio_100_ | buffer egress cell queue_6_ shared ratio_100_ | CNP队列出方向缓 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
| qos wred ecn enable | qos wred ecn enable | 全局使能ECN标记 功能 |
5. 配置与 Leaf 互联链路
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface | interface | 配置与Leaf1互联接 | |
| FourHundredGigE1/0/65 | FourHundredGigE1/0/65 | 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.1_ 255.255.255.254 | ip address_172.16.25.1_ 255.255.255.254 | IP地址 | - |
| interface | interface | 配置与Leaf1互联接 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| FourHundredGigE1/0/66 | FourHundredGigE1/0/66 | 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.3_ 255.255.255.254 | ip address_172.16.25.3_ 255.255.255.254 | IP地址 | - |
| interface | interface | 配置与Leaf2互联接 | |
| FourHundredGigE1/0/67 | FourHundredGigE1/0/67 | 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | |
| ip address_172.16.24.5_ 255.255.255.254 | ip address_172.16.25.5_ 255.255.255.254 | IP地址 | |
| interface FourHundredGigE1/0/68 | interface FourHundredGigE1/0/68 | 配置与Leaf2互联接 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | |
| ip address_172.16.24.7_ 255.255.255.254 | ip address_172.16.25.7_ 255.255.255.254 | IP地址 |
6. 第一类交换机配置与 Leaf 互联链路的 RoCE 配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface | interface | 配置与Lf1互联接口 | 配置与Leaf2互联接口如 |
| FourHundredGigE1/0/65 | FourHundredGigE1/0/65 | ea | 下RoCE配置相同 |
| priority-flow-control | priority-flow-control | 开启端口PFC死锁检测 | |
| deadlock enable | deadlock enable | 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control | priority-flow-control | 开启队列5的pfc | 根据实际业务情况设置 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| no-drop dot1p_5_ | no-drop dot1p_5_ | 队列 | |
| priority-flow-control dot1p 5_headroom_2000 | priority-flow-control dot1p 5_headroom_2000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p 5_ingress-buffer dynamic_6 | priority-flow-control dot1p 5_ingress-buffer dynamic_6 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 |
| priority-flow-control dot1p _5_ingress-threshold-offset 12 | priority-flow-control dot1p _5_ingress-threshold-offset 12 | 置端口RoCE报文所在队 列的入方向x-on参数 | 有所不同，具体请联系 H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_16 | priority-flow-control dot1p 5_reserved-buffer_16 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | 部分产品不支持此命令 行，需要全局使能ECN： |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos wred ecn enable | |||
| qos wred queue_5_ weighting-constant 0 | qos wred queue_5_ weighting-constant 0 | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
7. 第二类交换机配置与 Leaf 互联链路的 RoCE 配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/65 | interface FourHundredGigE1/0/65 | 配置与Leaf1互联接口 | 配置与Leaf2互联接口如 下RoCE配置相同 |
| priority-flow-control deadlock enable | priority-flow-control deadlock enable | 开启端口PFC死锁检测 功能 | - |
| priority-flow-control enable | priority-flow-control enable | 开启端口PFC功能 | - |
| priority-flow-control no-drop dot1p_5_ | priority-flow-control no-drop dot1p_5_ | 开启队列5的pfc | 根据实际业务情况设置 队列 |
| priority-flow-control dot1p 5_headroom_9000 | priority-flow-control dot1p 5_headroom_9000 | 设置端口RoCE报文所在 队列的入方向headroom 参数 | |
| priority-flow-control dot1p _5_ingress-buffer static 13000 | priority-flow-control dot1p _5_ingress-buffer static 13000 | 设置端口RoCE报文所在 队列的入方向x-off参数 | 不同产品的PFC配置值 有所不同具体请联系 |
| priority-flow-control dot1p _5_ingress-threshold-offset 100 | priority-flow-control dot1p _5_ingress-threshold-offset 100 | 置端口RoCE报文所在队 列的入方向x-on参数 | ， H3C技术支持 |
| priority-flow-control dot1p 5_reserved-buffer_56 | priority-flow-control dot1p 5_reserved-buffer_56 | 设置端口RoCE报文所在 队列的入方向预留缓存 参数 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
8. 配置与 Core 互联链路
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface_FourHundredGigE1/0/1_ | 配置与Core互联接 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.2_ 255.255.255.254 | ip address_172.16.25.2_ 255.255.255.254 | IP地址 | - |
| interface FourHundredGigE1/0/2 | interface_FourHundredGigE1/0/2_ | 配置与Core互联接 口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 | - |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 三层工作模式 | |||
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_172.16.24.4_ 255.255.255.254 | ip address_172.16.25.4_ 255.255.255.254 | IP地址 | - |
9. 第一类交换机配置与 Core 互联链路的 RoCE 配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface FourHundredGigE1/0/1 | 配置与Core1互联接口 | 配置与Core2互联接口如 下RoCE配置相同 |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | 部分产品不支持此命令 行，需要全局使能ECN： qos wred ecn enable |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos wred queue_5_ | qos wred queue_5_ | 设置端口RoCE报文所在 | |
| weighting-constant 0 | weighting-constant 0 | 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
10. 第二类交换机配置与 Core 互联链路的 RoCE 配置
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface FourHundredGigE1/0/1 | 配置与Core1互联接口 | 配置与Core2互联接口如 下RoCE配置相同 |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
11. 其他补充
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| clock timezone UTC add 08:00:00 | clock timezone UTC add 08:00:00 | - | - |
| clock protocol ntp | clock protocol ntp | - | - |
| lldp global enable | lldp global enable | 开启lldp | |
| ntp-service enable | ntp-service enable | 开启NTP服务 | - |
| ntp-service unicast-server _10.127.22.69_vpn-instance Manager | ntp-service unicast-server _10.127.22.69_vpn-instance Manager | 指定NTP服务器 | - |
| snmp-agent | snmp-agent | 开启SNMP Agent功能 | - |
| snmp-agent community write private | snmp-agent community write private | 创建SNMP团体 | - |
| snmp-agent community read public | snmp-agent community read public | 创建SNMP团体 | - |
| snmp-agent sys-info version v2c v3 | snmp-agent sys-info version v2c v3 | 配置设备支持的SNMP版本 v2c v3 | - |
| snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | 允许向10.127.22.69发送 SNMPv2c Trap报文，用户 名为public | - |
| snmp-agent trap enable arp | snmp-agent trap enable arp | 开启SNMP告警功能 | - |
| snmp-agent trap enable syslog | snmp-agent trap enable syslog | 开启SNMP告警功能 | - |
| snmp-agent trap source M-GigabitEthernet0/0/0 | snmp-agent trap source M-GigabitEthernet0/0/0 | 开启SNMP告警源为管理口 | - |
| grpc enable | grpc enable | 开启gRPC功能 | - |
| telemetry | telemetry | 进入Telemetry视图 | - |
| sensor-group | sensor-group | ||
| sdn_grpc_1_300 | sdn_grpc_1_300 | - |
| Spine1 | Spine2 | 命令说明 | 注意事项 |
|---|---|---|---|
| sensor path device/base | sensor path device/base | 设备基础信息 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 创建名为grp_1的目标组 | - |
| ipv4-address_10.127.22.100_ port_50051_vpn-instance Manager | ipv4-address 10.127.22.100_port_50051 vpn-instance_Manager_ | 在目标组grp_1中配置IP地 址为10.127.22.100、接收数 据的端口号为50051、VPN 实例Manager的采集器 | - |
| subscription_grp_1_ | subscription_grp_1_ | 创建名为grp_1的普通订阅 | - |
| sensor-group sdn_grpc_1_300 sample-interval_300_ | sensor-group sdn_grpc_1_300 sample-interval_300_ | 关联传感器组为 sdn_grpc_1_300 | - |
| source-address_10.127.22.1_ | source-address 10.127.22.2 | 设备发送订阅grp_1的报文 的源IPv4地址 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 关联目标组为grp_1 | - |
2.6.6 配置 core
此处以 Core1、 Core2 的配置为例。
1. 配置设备模式
S9827&S9825 等第一类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启： hardware-resource switch-mode ROUTING hardware-resource routing-mode ipv6-128
hardware-resource vxlan L3GW
查看效果：
[H3C]display hardware-resource
Switch-mode resource(switch-mode), all supported modes:
ROUTING MAC:8K, ARP and ND:32K, FIB ipv4:1M, FIB ipv6(64B):1M
EM MAC:8K, ARP and ND:32K, FIB ipv4:786K, FIB ipv6(64B):786K
-----------------------------------------------
Default Current Next
ROUTING ROUTING ROUTINGRouting-mode resource(routing-mode), all supported modes: ipv6-128 IPv6-128 supported
-----------------------------------------------
Default Current Next
ipv6-128 ipv6-128 ipv6-128
VXLAN resource(vxlan), all supported modes:
L3GW The Layer 3 gateway mode
-----------------------------------------------
Default Current Next
L3GW L3GW L3GWS9820-G\S9855-G\S9825-G 等第二类交换机设备模式要求，为默认模式，修改配置需保存配置整机重启：
switch-mode slot 1 normal
查看效果：
[H3C]display switch-mode status slot 1
LPU switch mode:
Slot Current Config
1 NORMAL NONE2. 配置 BGP 实例
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| Bgp_100_ | bgp_101_ | 启动BGP实例 | - |
| router-id_100.64.0.0_ | router-id_100.64.1.0_ | 为指定的BGP实例配置 BGP路由器的Router ID | 如果要在BGP实例下运 行BGP协议，则必须为 BGP实例指定Router ID。如果没有指定Router ID，则缺省使用全局 Router ID |
| group_Spine_external | group_Spine_external | 创建EBGP对等体组 | - |
| peer_171.16.24.2_ as-number_200_ | peer_171.16.25.2_ as-number_200_ | 指定对等体spine的AS号 | - |
| peer_171.16.24.2_group Spine | peer_171.16.25.2_group Spine | 向对等体组中添加指定的 对等体，即spine | - |
| peer_171.16.24.4_ as-number_200_ | peer_171.16.25.4_ as-number_200_ | 指定对等体spine的AS号 | |
| peer_171.16.24.4_group Spine | peer_171.16.25.4_group Spine | 向对等体组中添加指定的 对等体，即spine |
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| address-family ipv4 unicast | address-family ipv4 unicast | 进入IPv4地址族 | |
| balance_64_ | balance_64_ | 配置BGP负载分担的路由 条数 | |
| network_100.64.0.0_ 255.255.255.255 | network_100.64.1.0_ 255.255.255.255 | BGP发布loopback地址路 由 | - |
| peer_Spine_enable | peer_Spine_enable | 允许本地路由器与指定对 等体交换IPv4单播路由信 息 |
3. 第一类交换机配置 RoCE 的全局配置
• 数据缓冲区配置
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| buffer egress cell queue_5_ | buffer egress cell queue_5_ | RoCE队列出方向缓 | - |
| shared ratio_100_ | shared ratio_100_ | 存调到最大 | |
| buffer egress cell queue_6_ | buffer egress cell queue_6_ | CNP队列出方向缓 | |
| shared ratio_100_ | shared ratio_100_ | 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
• 配置 QoS 优先级映射
接口配置 PFC 功能时， Leaf 设备连接服务器的接口需要信任报文 DSCP 优先级， Leaf 和 Spine 互连的三层接口需要信任报文自带的 DSCP 优先级。
建议配置服务器发出的报文携带 DSCP 优先级并能根据 DSCP 值入队列，此时 Leaf 设备连接服务器的接口配置信任报文的 DSCP 优先级。
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| qos map-table dot1p-lp | qos map-table dot1p-lp | ||
| import_0_export_0_ import_1_export_1_ | import_0_export_0_ import_1_export_1_ | 调整dot1p-lp的队列 映射 | - |
| import_2_export_2_ | import_2_export_2_ |
4. 第二类交换机配置 RoCE 的全局配置
• 数据缓冲区配置
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| link-flap protect enable | link-flap protect enable | 开启全局链路震荡保 护功能 | - |
| buffer egress cell queue_5_ shared ratio_100_ | buffer egress cell queue_5_ shared ratio_100_ | RoCE队列出方向缓 存调到最大 | - |
| buffer egress cell queue_6_ shared ratio_100_ | buffer egress cell queue_6_ shared ratio_100_ | CNP队列出方向缓 存调到最大 | - |
| buffer apply | buffer apply | 使Buffer配置生效 | - |
| qos wred ecn enable | qos wred ecn enable | 全局使能ECN标记 功能 |
5. 配置与 Spine 互联链路
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface_FourHundredGigE1/0/1_ | 配置与spine互联接 口,core1与spine1互 联，core2与spine2 互联 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_171.16.24.1_ 255.255.255.254 | ip address_171.16.25.1_ 255.255.255.254 | IP地址 | - |
| interface FourHundredGigE1/0/2 | interface_FourHundredGigE1/0/2_ | 配置与Leaf互联接口 | |
| port link-mode route | port link-mode route | 将以太网接口切换到 三层工作模式 | - |
| mtu_9000_ | mtu_9000_ | 配置三层接口MTU 值 | - |
| ip address_171.16.24.3_ 255.255.255.254 | ip address_171.16.25.3_ 255.255.255.254 | IP地址 | - |
6. 第一类交换机配置与 Spine 互联链路的 RoCE 配置
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface | interface | 配置Spine1与Core1互联 接口 | |
| FourHundredGigE1/0/1 | FourHundredGigE1/0/1 | 配置Spine2与Core2互联 接口 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 0 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 1 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | qos wred queue_5_ drop-level 2 low-limit_6000_ high-limit_12000_ discard-probability_40_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ecn | qos wred queue_5_ecn | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ weighting-constant 0 | qos wred queue_5_ weighting-constant 0 | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
- 第二类交换机配置与 Spine 互联链路的 RoCE 配置
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| interface FourHundredGigE1/0/1 | interface FourHundredGigE1/0/1 | 配置Spine1与Core1互联 接口 配置Spine2与Core2互联 接口 | |
| qos trust dscp | qos trust dscp | 端口QoS信任DSCP | - |
| qos wfq byte-count | qos wfq byte-count | 设置WFQ队列调度 | - |
| qos wfq_ef_group_1_ byte-count_60_ | qos wfq_ef_group_1_ byte-count_60_ | 设置5队列调度权重 | 根据实际业务情况配置 调度权重 |
| qos wfq_cs6_group_sp_ | qos wfq_cs6_group_sp_ | 设置6队列调度优先级为 sp | |
| qos wfq_cs7_group_sp_ | qos wfq_cs7_group_sp_ | 设置7队列调度优先级为 sp | |
| qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 0 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 1 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | 不同产品的ECN配置值 有所不同，具体请联系 H3C技术支持 |
| qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | qos wred queue_5_ drop-level 2 low-limit_4000_ high-limit_8000_ discard-probability_20_ | 设置端口RoCE报文所在 队列的ecn参数 | |
| qos gts queue_6_cir 200000000_cbs_16000000 | qos gts queue_6_cir 200000000_cbs_16000000 | CNP队列限速200G | Cir建议为插入光模块或 者电缆后实际端口速率 带宽的一半 |
8. 其他补充
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| clock timezone UTC add | clock timezone UTC add | - | - |
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| 08:00:00 | 08:00:00 | ||
| clock protocol ntp | clock protocol ntp | - | - |
| lldp global enable | lldp global enable | 开启lldp | |
| ntp-service enable | ntp-service enable | 开启NTP服务 | - |
| ntp-service unicast-server _10.127.22.69_vpn-instance Manager | ntp-service unicast-server _10.127.22.69_vpn-instance Manager | 指定NTP服务器 | - |
| snmp-agent | snmp-agent | 开启SNMP Agent功能 | - |
| snmp-agent community write private | snmp-agent community write private | 创建SNMP团体 | - |
| snmp-agent community read public | snmp-agent community read public | 创建SNMP团体 | - |
| snmp-agent sys-info version v2c v3 | snmp-agent sys-info version v2c v3 | 配置设备支持的SNMP版本 v2c v3 | - |
| snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | snmp-agent target-host trap address udp-domain 10.127.22.69_params securityname_public v2c | 允许向10.127.22.69发送 SNMPv2c Trap报文，用户 名为public | - |
| snmp-agent trap enable arp | snmp-agent trap enable arp | 开启SNMP告警功能 | - |
| snmp-agent trap enable syslog | snmp-agent trap enable syslog | 开启SNMP告警功能 | - |
| snmp-agent trap source M-GigabitEthernet0/0/0 | snmp-agent trap source M-GigabitEthernet0/0/0 | 开启SNMP告警源为管理口 | - |
| grpc enable | grpc enable | 开启gRPC功能 | - |
| telemetry | telemetry | 进入Telemetry视图 | - |
| sensor-group sdn_grpc_1_300 | sensor-group sdn_grpc_1_300 | - | |
| sensor path device/base | sensor path device/base | 设备基础信息 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 创建名为grp_1的目标组 | - |
| ipv4-address_10.127.22.100_ | ipv4-address | 在目标组grp_1中配置IP地 | - |
| Core1 | Core2 | 命令说明 | 注意事项 |
|---|---|---|---|
| port_50051_vpn-instance | 10.127.22.100_port_50051 | 址为10.127.22.100、接收数 | |
| Manager | vpn-instance_Manager_ | 据的端口号为50051、VPN 实例Manager的采集器 | |
| subscription_grp_1_ | subscription_grp_1_ | 创建名为grp_1的普通订阅 | - |
| sensor-group sdn_grpc_1_300 sample-interval_300_ | sensor-group sdn_grpc_1_300 sample-interval_300_ | 关联传感器组为 sdn_grpc_1_300 | - |
| source-address_10.127.22.1_ | source-address 10.127.22.2 | 设备发送订阅grp_1的报文 的源IPv4地址 | - |
| destination-group_grp_1_ | destination-group_grp_1_ | 关联目标组为grp_1 | - |