Appearance
RoCE 高性能存储网络概述
《H3C RoCE 网络开局一本通》拆分章节，文档版本：6W102。
RoCE 高性能存储网络用于为服务器和高性能存储之间提供高带宽无丢包的互联能力。
在人工智能计算中心，高性能存储网络用于连接 AI 训练 / 推理服务器和高性能存储设备，可以极大地提升 AI 训练和推理数据的存储和读写效率，单节点性能达到 22GB/s。
在高性能计算中心或金融中心等场景，高性能存储网络连用于接高性能计算机和高性能存储设备，该方案可以解决客户需要高速读写数据、依赖存储性能问题的痛点。
在高性能无损存储网络中， RoCE 网络对于真正发挥出 iSER、 NVMe-oF 存储的高性能，突破数据中心大规模分布式系统的网络性能瓶颈至关重要。高性能存储网络中的 RoCE 网络分为如下类型：
集中式存储网络。
分布式存储前端、后端网络。
3.1 组网方案
根据网络规模，高性能存储网络可以分为小规模组网和中大规模组网：
小规模组网（单框 / 单盒）：在小规模场景（端口数量不超过 512）下，可以根据实际情况使用单框 / 单盒组网，该方案部署简单、有更高的可靠性（双主控）、更先进的负载均衡技术（cell 级均衡，无 HASH 极化等问题）、更优的拥塞控制（credit 调度机制，确定性的拥塞控制），但是该方案规模有限、扩展性差，建议谨慎选择此方式。
中大规模组网二级盒盒组网（Leaf-Spine 架构）：在网络规模较大推荐使用 Leaf-Spine 架构的二级盒盒组网，该方案易扩展、支持较大规模组网，并且转发时延较低，推荐使用此方案。
中大规模组网二级框盒组网（Leaf-Spine 架构）：在超大规模网络环境中（端口数量超过 2048， 服务器数量超过 256），可以使用 Leaf-Spine 架构的二级框盒组网，但是该方案部署较为复杂， 框式交换机内部转发时延较高，建议谨慎选择此方案。
3.1.1 小规模组网
对于小规模组网，建议使用单盒或单框方案，计算服务器和存储服务器与交换机互联。交换机与服务器间提供 100G、 200G 网络可选，该网络需配置支持 RDMA 的 RoCE 特性，同时网络收敛比需高于 2:3，推荐 1:1。同时存储服务器和计算服务器均配置至少 2 个端口确保存储网络高可用。
图 3-1 小规模组网
计算资源池
存储资源池
3.1.2 中大规模组网
对于中大规模组网，建议使用 Leaf-Spine 网络架构，高性能存储网为 Leaf-Spine 的双层组网， Leaf 和服务器间提供 100G、 200G 网络可选， Spine 和 Leaf 之间支持 100G 和 400G 两种。该网需配置支持 RDMA 的 RoCE 特性，同时网络收敛比需高于 2:3，推荐 1:1。同时存储服务器和计算服务器均配置至少 2 个端口确保存储网络高可用。
图 3-2 中大规模组网示例
存储资源池