AI 集群 技术知识库

Appearance

Mellanox 网卡驱动安装 ​

Mellanox MLNX_OFED 与 DOCA-OFED 的下载、安装和结果检查。

返回网卡配置索引 | 上一篇：网卡硬件检查与驱动选择 | 下一篇：Broadcom 网卡驱动安装

安装Mellanox驱动如下两种方式，目前主要使用第二种方式。

MLNX_OFED安装方式 ​

网卡ofed驱动下载 ​

点击进入Mellanox官网，根据集群中主机的系统版本及cpu架构，下载相应的网卡驱动，推荐下载LTS（长期支持Long Term Support）的最新版本，tgz格式。(LTS版本新旧程度按照数字定义：例如 24.10 LTS > 23.10 LTS > 5.8 LTS)

注意： 运行DeepEP需要 23.10/24.07/24.10/25.07/25.10版本。（25.10以后版本暂未验证）

https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

网卡ofed驱动下载

  • 麒麟os安装注意事项

麒麟os比较特殊，mellanox官网的驱动无法兼容我们现有的4.19和5.15内核版本的麒麟os，都是厂家自己找一些源码来进行编译。所以麒麟os机器安装网卡驱动，一定要找服务器厂家要ofed驱动包。

安装前准备 ​

以Ubuntu20.04系统、x86架构芯片的tgz格式驱动包为例，准备操作如下：

tar xf ./MLNX_OFED_LINUX-5.8-4.1.5.0-ubuntu20.04-x86_64.tgz
cd ./MLNX_OFED_LINUX-5.8-4.1.5.0-ubuntu20.04-x86_64
#由于maca包和网卡ofed驱动有依赖，需要rmmod掉maca kmd驱动（如果没有安装maca则跳过此步骤）
sudo rmmod metax

#下面命令用于修改网卡安装脚本，解除maca和网卡驱动的依赖，避免卸载网卡驱动的时候把maca驱动同时卸载掉。（如果没有安装maca则跳过此步骤）
ls /usr/sbin/ofed_uninstall.sh && sudo sed -i 's/\(my $installed_debs = `dpkg-query -l "\*\$name\*" 2> \/dev\/null\) |/\1 | grep -vE "mxucx|maca" |/' /usr/sbin/ofed_uninstall.sh
sed -i 's/\(my $installed_debs = `dpkg-query -l "\*\$name\*" 2> \/dev\/null\) |/\1 | grep -vE "mxucx|maca" |/' ./mlnxofedinstall
sed -i 's/\(my $installed_debs = `dpkg-query -l "\*\$name\*" 2> \/dev\/null\) |/\1 | grep -vE "mxucx|maca" |/' ./uninstall.sh

安装过程 ​

ubuntu等deb系linux ​

sudo ./mlnxofedinstall
sudo /etc/init.d/openibd restart

redhat/alinux系linux ​

sudo ./mlnxofedinstall --add-kernel-support
sudo /etc/init.d/openibd restart
sudo dracut -f

麒麟os、ctyunos系linux ​

sudo yum install perl tk
sudo ./mlnxofedinstall --add-kernel-support
sudo /etc/init.d/openibd restart
sudo dracut -f

重启检验结果 ​

安装完成后，重启机器。

驱动安装成功应有如下节点（每个文件名尾部数字对应一张网卡）生成：

重启检验结果

如果有缺少的文件节点，需要重新安装驱动：

  • 如遇到安装驱动后管理网络断连，请注意：

原因是有的机器默认使用的管理网络的网卡也是mellonax公司的，安装网卡驱动有可能改变网卡的设备名，需要进入bmc，远程桌面检查管理网卡的设备名，重新配置管理网络

DOCA_OFED安装方式 ​

该方式会一并更新firmware

网卡驱动下载 ​

DOCA_OFED各版本下载链接：

https://developer.nvidia.cn/doca-archive

目前优先选择3.2.1版本下载：

NVIDIA DOCA 3.2.1 下载页

点击上方链接进入下载界面，参考下图选中选项（白色字体），并根据硬件环境进行选择。

网卡驱动下载

获取下述下载安装命令：

网卡驱动下载

执行安装命令 ​

wget https://www.mellanox.com/downloads/DOCA/DOCA_v3.2.1/host/doca-host_3.2.1-044000-25.10-ubuntu2004_amd64.deb
sudo dpkg -i doca-host_3.2.1-044000-25.10-ubuntu2004_amd64.deb
sudo apt-get update
sudo apt-get -y install doca-ofed
sudo apt install -y mlnx-fw-updater
sudo /etc/init.d/openibd restart
sudo mst restart

C600／N300 机型的 MXRDMA 驱动安装需要先卸载 KMD，请参照MXRDMA 网卡配置。

安装后检验结果 ​

参考该检验章节

返回网卡配置索引 | 上一篇：网卡硬件检查与驱动选择 | 下一篇：Broadcom 网卡驱动安装