Appearance
附录
本章节为上述各章节的补充说明。供查阅。
各服务器机型关闭ACS步骤
不同服务器机型关闭ACS的配置不一样，随着机型发展，配置方式也会发生变化，本节给出一些主流服务器的参考步骤，如遇到新机型和新版本管理软件，具体关闭步骤请咨询服务器厂商。
H3C R5300G6 x86机型
- 登录bmc，关闭bios中的PCIe ACS配置，找不到bios配置的话，找服务器厂商支持。
H3C 海光 x86机型
浪潮intel x86机型
- 登录bmc，按照下图配置bios启动时进入bios
- 下图重启机器
- 点击左下角KVM
- KVM等待进入bios，找到ACS配置成disable，按F10保存退出
浪潮海光机型
同泰怡ARM机型
以同泰怡服务器，搭载ARM处理器，麒麟os，配置为例，物理机关闭ACS的步骤如下：
- 登录bmc按照如下配置
- 进入KVM，选择重启，等待进入bios配置界面（5分钟左右）
- 进入bios，选择高级，兼容配置
- 关闭SMMU
- 按ESC返回上一级，找到<保存&退出>选择保存更改并重启
华坤振宇鲲鹏920 ARM机型
鲲鹏920为ARM。
- 华为鲲鹏920服务器即使关闭了ACS 也会显示多个SrcValid+，无需关心，确认bios里面关闭了SMMU即可
EP通信库支持规格
MXDeepEP 支持情况
MXDeepEP LL算法使用限制如下：
| 项目 | 限制 | 备注 |
|---|---|---|
| num_topk | <= 15 | 最大topk |
| num_tokens | token数 | |
| hidden | hidden维度 | |
| num_experts | 最大专家数取决于AP数目， - 对C5XX 系列： 1）默认配置可支持104 * 5 = 520专家 2）设置环境变量 DEEPEP_MORE_EXPERTS=1 后可支持 104 * 8 = 832个专家 - 对于 C600系列： 默认配置可支持28 * 16 = 448 或 32 * 16 = 512个专家（不要设置DEEPEP_MORE_EXPERTS=1） | 专家数 |
| num_ranks | ||
| 已适配的机器 | C5XX，C600，N300，C600U |
MXDeepEP normal算法使用限制如下：
| 项目 | 限制 | 备注 |
|---|---|---|
| num_topk | <= 32 | 最大topk |
| num_tokens | token数 | |
| hidden | hidden size , 也是256倍数，受分配NVL内存限制。 ● 1G内存时， hidden < 22784 ● 2G内存时 ， hidden < 45568 | hidden维度 |
| num_experts | num_experts必须是总num_ranks数的整数倍，大小限制和num_ranks相关， - num_ranks = 16 时， num_experts <= 1024 - num_ranks = 32 时， num_experts <= 2048 - num_ranks = 64 时， num_experts <= 4096 | 专家数 |
| num_ranks | ||
| 已适配的机器 |
MXMesh 支持情况
MXMesh当前仅支持 LL算法，normal 目前还没有支持。LL算法限制如下：
| 项目 | 限制 | 备注 |
|---|---|---|
| num_topk | <= 8 | 最大topk |
| num_tokens | <= 128 | token数 |
| hidden | <= 7168 且 hidden * x.element_size() % sizeof(int4) == 0 | hidden维度 |
| num_experts | 数值没有限制，但须是num_ranks整数倍 | 专家数 |
| num_ranks | EP<8, EP8, EP16, EP32 | |
| 已适配的机器 | 上海Cube超节点， C588超节点，C600U |