Zxilly
Calm down
Zxilly's Blog

在 Intel DevCloud 上执行训练的 Workaround

不使用 Intel 发行版 Python

会导致 libtorch.so 符号不匹配,用 conda 创建新环境。

不要使用 conda 安装 ipex

pip 安装 ipex,注意不要使用最新版,因为二进制和预装的驱动不匹配,没有 root 权限无法手动安装。

conda 官方的 intel 库已被移除,而 intel 自行托管的库缺少旧版软件。

手动配置 OneAPI 环境变量

手动配置环境变量,自动配置的脚本会把所有库指向最新,导致 mkl 库的版本不匹配。

source /opt/intel/oneapi/compiler/latest/env/vars.sh
source /opt/intel/oneapi/mkl/2024.2/env/vars.sh
source /opt/intel/oneapi/ccl/latest/env/vars.sh
source /opt/intel/oneapi/mpi/latest/env/vars.sh

参考环境变量

source /opt/intel/oneapi/mkl/2024.2/env/vars.sh
export ONEAPI_DEVICE_SELECTOR="level_zero:*" 
export GRADIO_SHARE=1
export CFLAGS="-I$CONDA_PREFIX/include/"
export LDFLAGS="-L$CONDA_PREFIX/lib/"
没有标签
首页      代码      在 Intel DevCloud 上执行训练的 Workaround

Zxilly

文章作者

发表回复

textsms
account_circle
email

Zxilly's Blog

在 Intel DevCloud 上执行训练的 Workaround
不使用 Intel 发行版 Python 会导致 libtorch.so 符号不匹配,用 conda 创建新环境。 不要使用 conda 安装 ipex pip 安装 ipex,注意不要使用最新版,因为二进制和预装的驱动不匹配,没有…
扫描二维码继续阅读
2024-08-15