Appearance
超节点配置
目前沐曦有多种Scale up拓扑超节点机型，如C500X，C550 Swtich，C550 DF Cube，针对这些超节点需要在服务器上进行特殊的Training操作配置，常规情况这些机型都做了自动化Training操作，如需关闭或者灵活控制，请参考《MCCL环境变量指南》中的环境变量。
普通C500和C550机型可忽略该章节。
C500X直连拓扑
C500X直连拓扑以2机16卡为单位的超节点，需要对光互联进行training，然后通过mx-smi来检查。
手动training步骤
1、C500X直连拓扑机型目前以两机为一组使用单元。
2、两台机器上分别安装release2.21.0.3或以上版本，vbios更新为该包中C500X版本。
3、重启服务器后，在两台机器上分别运行命令 sudo metalink_train 2，该命令的时效性是1分钟，超过1分钟会报超时失败，需要重新运行该命令
4、终端显示
start metalink training...
metalink training PASSED
表示两机连接成功（通常10秒内会成功），如果没有相应打印，重启后重新尝试，或找Metax FW定位。
5、运行mx-smi，进一步核对拓扑信息，然后可以运行相关测试或应用。
6、需要重启机器时，需重启相应两台机器，并重新执行上述第3步。
自动training步骤
1、C500X直连拓扑机型目前以两机为一组使用单元。
2、分别在两台机器执行如下命令：
bash
sudo bash /opt/maca/etc/fabricManager/metax_fabricManager_init.sh -i 192.168.0.0（192.168.0.0为同组对端服务器的ip地址）。
3、终端会显示
Created symlink ......Metax-FM.service
表示成功。
4、该命令在部署集群时只需执行一次，开关机后两机dragonfly拓扑不受影响。
5、如果要解除两机dragonfly拓扑，分别在两机上执行如下命令：
bash
sudo systemctl disable Metax-FM.service如需重新构建两机拓扑，需再次执行第2步。
6、运行mx-smi，进一步核对拓扑信息，然后可以运行相关测试或应用。
C500X Switch拓扑
C500X Switch拓扑是以8机64卡为单位的超节点，以上述C500X直连拓扑为子单位，八机间另通过Switch互联。
手动training步骤
对机外Scale up MetaxLink分两步training和配置文件生成。
server内部training
设置server id，training对象为连接到box的光口，假定服务器编号为X，X范围为1-8（编号在服务器连线时已确定）：
sudo metalink_train 6 X
sudo metalink_train 5 X
dragonfly直连线training，操作步骤同5.1.1
PCIE switch box training
登陆switch box，登陆方式可以为串口或ssh登陆。
输入system-view进入配置界面。
配置box端口，配置方式参考各环境搭建钉钉群公告或群文件。
- 典型配置命令为 debug setpci " -s 1f:18.0 0x24.l=0xFFF10001"配置某一端口地址。
配置文件生成
创建配置文件metax.conf，路径为/etc/metax.conf。
metax.conf文件内容如下图所示，其中GroupID由8台服务器共享，ServerID为步骤1中服务器编号X-1。
自动training步骤
Switch厂商提供了node manager+cluster manager自动化training工具，部署后可以开机自启动training。
disable training
为了在光互联出现故障时快速更换故障模块，提供disable training选项来清楚之前的train状态，使用方式metalink_train 7，对光互联状态而言该操作等同于warmreset。在更换完故障模块后可以按照上述步骤重新training。
C550 SH Cube拓扑
C550 SH Cueb是以4机32卡为单位的超节点。合作商提供的超节点，一般都开启了自动化training（mxspm），无需手动training，如遇到问题优先通过同时重启四台机器来解决。特殊情况可以尝试手动training。
手动training步骤
1、C550 SH Cube直连拓扑机型目前以四机为一组使用单元。
2、四台机器上分别安装release2.33.0.0或以上版本，vbios更新为该包中C550-PL版本。
3、重启服务器后，在四台机器上分别运行命令 sudo metalink_train 8，该命令的时效性是1分钟，超过1分钟会报超时失败，需要重新运行该命令。
4、终端显示
start metalink training...
metalink training PASSED
表示两机连接成功（通常10秒内会成功），如果没有相应打印，重启后重新尝试，或找Metax FW定位。
5、运行mx-smi，进一步核对拓扑信息，然后可以运行相关测试或应用。
C550 3D Mesh拓扑
C550 3D Mesh是以8机64卡为单位的超节点。需使用合作商提供的特定脚本进行training。
C600服务器网卡Gearbox模式配置
C600机器集成了MXRDMA网卡，需要配置网卡PHY/DSP【Credo】工作模式为Gearbox模式，进行速率通道转换：225G —> 150G 。
否则MXRDMA网卡Down，无法使用。
Retimer 模式 和 Gearbox模式区别：
| 特性 | Retimer 模式 | Gearbox 模式 |
|---|---|---|
| 速率转换 | 同速率转发（如 50G → 50G） | 速率/通道数转换（如 2×25G → 1×50G） |
| 数据格式 | 保持不变（PAM4 → PAM4） | 可能改变（NRZ → PAM4） |
| 主要功能 | 信号再生、时钟恢复、增强传输距离 | 比特率/通道数转换、协议适配 |
| 应用场景 | 延长传输距离、补偿信号衰减 | 新旧设备兼容、不同速率接口对接 |
| 时钟处理 | 恢复并重新生成时钟 | 进行速率匹配的时钟转换 |
查看UBB BMC版本：
打开终端，执行IPMI命令(标红项为服务器host BMC IP地址)：
bash
ipmitool -I lanplus -H 10.6.9.173 -p 2623 -U root -P root mc infoUBB BMC 2623 端口以及用户名和密码根据适配厂家自定义，当前以2623 port端口，root/root为例。
读取当前模式：
bash
ipmitool -I lanplus -H 10.6.9.173 -p 2623 -U root -P root raw 0x3c 0x05 0x98UBB BMC 2623 端口以及用户名和密码根据适配厂家自定义，当前以2623 port端口，root/root为例。
00：200G retimer 模式
01：400G gearbox模式
设置gearbox模式
设置模式：ipmitool -I lanplus -H 10.6.9.173 -p 2623 -U root -P root raw 0x3c 0x04 0x98 0x01
查看模式：ipmitool -I lanplus -H 10.6.9.173 -p 2623 -U root -P root raw 0x3c 0x05 0x98
1）设置完成后需要在HOST BMC 界面进行“强制关机(DC)”，等10s后重新按“开机”按钮
2）服务器进入os之后检查是否设置成功，有三种方法：
方法一：
先ssh 到UBB BMC
10.6.9.173：HOST BMC地址
169.254.16.20：UBB BMC 串口地址，不同服务器厂家可自定义
执行命令：busctl introspect xyz.openbmc_project.retimer.manager /xyz/openbmc_project/inventory/item/retimer/Retimer0_slice0
看最后一个字段：
Bitmux：400G gearbox模式
Retimer ：200G retimer 模式
方法二:
在hostbmc下执行
bash
curl -ks -u root:root -X GET [https://169.254.16.20/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer0_FW](https://169.254.16.20/redfish/v1/Chassis/1/ThresholdSensors)
curl -ks -u root:root -X GET [https://169.254.16.20/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer1_FW](https://169.254.16.20/redfish/v1/Chassis/1/ThresholdSensors)
curl -ks -u root:root -X GET [https://169.254.16.20/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer2_FW](https://169.254.16.20/redfish/v1/Chassis/1/ThresholdSensors)
curl -ks -u root:root -X GET [https://169.254.16.20/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer3_FW](https://169.254.16.20/redfish/v1/Chassis/1/ThresholdSensors)
方法三：
随便一个终端，其中10.2.185.182是hostbmc地址
bash
curl -k -X GET -H "X-Auth-Token: 530201bf1035628122hWEal07pYTnXtal5dcD3As" [https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer0_FW](https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer0_FW)
curl -k -X GET -H "X-Auth-Token: 530201bf1035628122hWEal07pYTnXtal5dcD3As" [https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer1_FW](https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer1_FW)
curl -k -X GET -H "X-Auth-Token: 530201bf1035628122hWEal07pYTnXtal5dcD3As" [https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer2_FW](https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer2_FW)
curl -k -X GET -H "X-Auth-Token: 530201bf1035628122hWEal07pYTnXtal5dcD3As" [https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer3_FW](https://10.2.185.182:5128/redfish/v1/UpdateService/FirmwareInventory/Phy_Retimer3_FW)
3）重启机器后如果还没有配置gearbox，在UBB BMC执行如下操作：
重启服务 systemctl restart xyz.openbmc_project.retimer.manager.service
拓扑文件相关配置
在部分超节点机型上有如下特殊配置，具体可咨询通信库团队。
/etc/metax.conf ：C500X Switch或3D Mesh超节点服务器拓扑文件，由第三方工具生成；
/opt/pci_switch_link：vswitch配置文件，可通过/opt/maca/tools/mccl/kit/virtualPcieSwitchDetect/virtualSwitchDetect.sh脚本生成；
此两类文件均需要映射或拷贝到容器中。