浪潮交换机配置

浪潮交换机及服务器网卡 RTTCC、PFC、DSCP、MTU 等配套配置。

返回交换机配置索引 | 上一篇：华为 RoCE 交换机配置

---

浪潮X400交换机使用了NV Spectrum-X芯片，交换机配置上比较简单，但网卡需要单独做特殊配置；网卡需用RTTCC机制进行流控。

交换机设置

configure terminal

ar enable

exit

write

reboot

网卡设置

只针对浪潮交换机网络环境下的网卡配置。

修改ens和mlxs数组，确定设置目标，然后在每台测试机器上以root账户执行roce_init.sh脚本。

set -xe
# 网卡列表（通过ibdev2netdev查看可获得）
ens="ens2np0 ens3np0"
mlxs="mlx5_0 mlx5_1 mlx5_2 mlx5_3"

for mlx1 in ${mlxs}
do
# 配置RTTCC探测报文优先级
mlxconfig -d ${mlx1} -y s ROCE_RTT_RESP_DSCP_P1=48 ROCE_RTT_RESP_DSCP_MODE_P1=1
# 重启网卡FW
#mlxfwreset -d ${mlx1} -y reset
# 检查配置
#mlxconfig -d ${mlx1} -e q| grep ROCE_RTT_RESP

## 开启网卡RTTCC功能
# disable DCQCN
mlxreg -d ${mlx1} -y --set "cmd_type=2" --reg_name PPCC --indexes "local_port=1,pnat=0,lp_msb=0,algo_slot=15,algo_param_index=0"
# enable RTTCC
mlxreg -d ${mlx1} -y --set "cmd_type=1" --reg_name PPCC --indexes "local_port=1,pnat=0,lp_msb=0,algo_slot=0,algo_param_index=0"
# 修改RTTCC参数为以太网参数，服务器重启后需重新配置
mlxreg -d ${mlx1} -y --set "cmd_type=8,value=30000" --reg_name PPCC --indexes "local_port=1,pnat=0,lp_msb=0,algo_slot=0,algo_param_index=7"
mlxreg -d ${mlx1} -y --set "cmd_type=8,value=524288" --reg_name PPCC --indexes "local_port=1,pnat=0,lp_msb=0,algo_slot=0,algo_param_index=9"
mlxreg -d ${mlx1} -y --set "cmd_type=8,value=1" --reg_name PPCC --indexes "local_port=1,pnat=0,lp_msb=0,algo_slot=0,algo_param_index=11"
mlxreg -d ${mlx1} -y --set "cmd_type=8,value=0" --reg_name PPCC --indexes "local_port=1,pnat=0,lp_msb=0,algo_slot=0,algo_param_index=12"
# 检查RTTCC使能，value = 1， ZTR_RTTCC生效
mlxreg -d ${mlx1} -y --set "cmd_type=3" --reg_name PPCC --indexes "local_port=1,pnat=0,lp_msb=0,algo_slot=0,algo_param_index=0" | grep -w value
done

for ens1 in ${ens}
do
# 关闭global pause功能：
ethtool -A ${ens1} tx off rx off

# 配置DSCP模式
mlnx_qos -i ${ens1} --trust=dscp

# 修改网卡端qos_buffer_size以及队列调度方式
mlnx_qos -i ${ens1} --tsa=vendor,vendor,vendor,vendor,vendor,vendor,strict,strict

# 开启队列3的PFC
mlnx_qos -i ${ens1} --pfc=0,0,0,1,0,0,0,0
done

for mlx1 in ${mlxs}
do
# Set ToS to 106(DSCP 26) for ALL ROCE traffic
echo 106 > /sys/class/infiniband/${mlx1}/tc/1/traffic_class
cma_roce_tos -d ${mlx1} -t 106
done

for ens1 in ${ens}
do
# 修改网卡MTU以及ring_buffer
ip link set ${ens1} mtu 9000
ethtool -G ${ens1} tx 8192 rx 8192
done

---

返回交换机配置索引 | 上一篇：华为 RoCE 交换机配置