Skip to main content

环境配置

概要​

AladdinEdu内置了部分公共镜像，启动workshop时选择公共镜像就会自带相应框架的软件。如果自带的框架版本或Python版本不满足需求，请自行配置其他版本的框架或尝试Python方法。如默认镜像不满足您的需求，需自定义安装包，请务必先了解以下流程图：

pic1

a. 在workshop安装的python包、apt等应用，需要保存镜像后才能被GPU session使用；.

  1. 公共镜像
镜像类型版本标签包含内容
torch2.5.1-cu124核心包:
torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 cuda==12.4
附加包:
datasets transformers scikit-learn peft tiktoken blobfile sentencepiece protobuf deepspeed
torch2.6.0-cu124核心包:
torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 cuda==12.4
附加包:
同 2.5.1 版本
jupyter-lab4.4.2核心包:
jupyterlab==4.4.2 torch==2.5.1+cu124 cuda==12.4
llama-factoryv0.9.3.dev0-cuda12.4-cudnn9-devel核心包:
llamafactory==0.9.3 peft==0.15.1 trl==0.9.6
accelerate==1.6.0 transformers==4.51.3
torch==2.7.0 cuda==12.6
llama-factoryv0.9.3.dev0-cuda12.1-cudnn9-devel核心包:
llamafactory==0.9.3 peft==0.15.1 trl==0.9.6
accelerate==1.6.0 transformers==4.51.3
torch==2.7.0 cuda==12.1
python3.10/3.11/3.12/3.13纯净Python环境
ubuntu22.04纯净 Ubuntu 22.04 系统
pytorch2.3.1-cuda12.1-py3.11核心包:
torch==2.3.1+cu121 torchaudio==2.3.1+cu121 torchvision==0.18.1+cu121 cuda==12.1
附加包:
numpy scipy pandas matplotlib scikit-learn jupyterlab opencv-python-headless pillow tqdm requests
pytorch2.3.1-cuda11.8-py3.11核心包:
torch==2.3.1+cu118 torchaudio==2.3.1+cu118 torchvision==0.18.1+cu118 cuda==11.8
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.3.1-cuda12.1-py3.10核心包:
torch==2.3.1+cu121 torchaudio==2.3.1+cu121 torchvision==0.18.1+cu121 cuda==12.1
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.3.1-cuda11.8-py3.10核心包:
torch==2.3.1+cu118 torchaudio==2.3.1+cu118 torchvision==0.18.1+cu118 cuda==11.8
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.2.2-cuda12.1-py3.11核心包:
torch==2.2.2+cu121 torchaudio==2.2.2+cu121 torchvision==0.17.2+cu121 cuda==12.1
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.2.2-cuda11.8-py3.11核心包:
torch==2.2.2+cu118 torchaudio==2.2.2+cu118 torchvision==0.17.2+cu118 cuda==11.8
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.2.2-cuda12.1-py3.10核心包:
torch==2.2.2+cu121 torchaudio==2.2.2+cu121 torchvision==0.17.2+cu121 cuda==12.1
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.2.2-cuda11.8-py3.10核心包:
torch==2.2.2+cu118 torchaudio==2.2.2+cu118 torchvision==0.17.2+cu118 cuda==11.8
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.1.2-cuda12.1-py3.11核心包:
torch==2.1.2+cu121 torchaudio==2.1.2+cu121 torchvision==0.16.2+cu121 cuda==12.1
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.1.2-cuda11.8-py3.11核心包:
torch==2.1.2+cu118 torchaudio==2.1.2+cu118 torchvision==0.16.2+cu118 cuda==11.8
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.1.2-cuda12.1-py3.10核心包:
torch==2.1.2+cu121 torchaudio==2.1.2+cu121 torchvision==0.16.2+cu121 cuda==12.1
附加包:
同 2.3.1-cuda12.1-py3.11 版本
pytorch2.1.2-cuda11.8-py3.10核心包:
torch==2.1.2+cu118 torchaudio==2.1.2+cu118 torchvision==0.16.2+cu118 cuda==11.8
附加包:
同 2.3.1-cuda12.1-py3.11 版本
tensorflow2.16.1-cuda12.3-py3.11核心包:
tensorflow==2.16.1 keras==3.11.3 cuda==12.3
附加包:
numpy scipy pandas matplotlib scikit-learn jupyterlab opencv-python-headless pillow tqdm requests h5py protobuf
tensorflow2.16.1-cuda12.3-py3.10核心包:
tensorflow==2.16.1 keras==3.11.3 cuda==12.3
附加包:
同 2.16.1-cuda12.3-py3.11 版本
tensorflow2.15.0-cuda12.2-py3.11核心包:
tensorflow==2.15.0 keras==2.15.0 cuda==12.2
附加包:
同 2.16.1-cuda12.3-py3.11 版本
tensorflow2.15.0-cuda12.2-py3.10核心包:
tensorflow==2.15.0 keras==2.15.0 cuda==12.2
附加包:
同 2.16.1-cuda12.3-py3.11 版本
tensorflow2.14.0-cuda11.8-py3.11核心包:
tensorflow==2.14.0 keras==2.14.0 cuda==11.8
附加包:
同 2.16.1-cuda12.3-py3.11 版本
tensorflow2.14.0-cuda11.8-py3.10核心包:
tensorflow==2.14.0 keras==2.14.0 cuda==11.8
附加包:
同 2.16.1-cuda12.3-py3.11 版本
tensorflow2.13.0-cuda11.8-py3.11核心包:
tensorflow==2.13.0 keras==2.13.1 cuda==11.8
附加包:
同 2.16.1-cuda12.3-py3.11 版本
tensorflow2.13.0-cuda11.8-py3.10核心包:
tensorflow==2.13.0 keras==2.13.1 cuda==11.8
附加包:
同 2.16.1-cuda12.3-py3.11 版本

注：jupyter-lab和llama-factory均已配conda。

  • 如您选用jupyter-lab和llam-factory作为workshop的基础镜像，后续配置环境时无需再手动安装conda。
  • 如需使用llama-factory微调，请参考llama-factory 微调
  1. 安装其他版本的Python： 推荐使用Miniconda创建其他版本的Python虚拟环境，可参考conda安装教程。
# 构建一个虚拟环境名为：myenv，Python版本为3.7
conda create -n myenv python=3.7    

# 更新bashrc中的环境变量
conda init bash && source /root/.bashrc
# 切换到创建的虚拟环境：my-env
conda activate myenv

# 验证
python --version
  1. 安装PyTorch： 参考链接

❗ 注意： 1️⃣ 通过Torch官方的conda安装命令，在国内安装的conda一般为非cuda版本，而是cpu版本（有bug），因此推荐用pip安装。并且，如果使用torch官方的pip命令，去掉-f/--index-url参数，这样可以走国内的pip源，速度更快； 2️⃣ 平台中目前所提供显卡支持的最低cuda版本为11.8，过低版本可能会导致计算性能损失。

  1. 安装TensorFlow： 参考链接
  • 推荐的使用姿势 （1）如果平台内置的公共镜像中有您需要的Torch、TensorFlow等框架的相应版本，首选公共镜像。 （2）如果以上条件都不满足，推荐使用Ubuntu系统，并自行安装miniconda进行环境配置。

私有镜像​

AladdinEdu平台为每位用户提供了镜像仓库空间，支持保存您的私有镜像，分为两种方式：本地上传私有镜像、保存workshop环境镜像。私有镜像可在控制台的私有镜像仓库、本地VSCode的ENVIRONMENTS中查看。

私有镜像仓库的用户名、密码在控制台查看。若为空，请您联系平台客服修复。 image

上传私有镜像​

  1. 打开您电脑的本地终端，逐条输入以下命令（以python3为例），使用docker推送，推送成功后即成功在私有镜像仓库中新增镜像：
# 登录
docker login registry.hd-01.alayanew.com:8443
# 拉取镜像
docker pull m.daocloud.io/docker.io/library/python:3
# 镜像tag重命名
docker tag m.daocloud.io/docker.io/library/python registry.hd-01.alayanew.com:8443/aladdinedu-e3fadb18-a994-470f-9a59-dde816718791/python:3
# 推送镜像
docker push registry.hd-01.alayanew.com:8443/aladdinedu-e3fadb18-a994-470f-9a59-dde816718791/python:3
  1. 在VSCode中登录Aladdin，并在Registry中填入私有镜像仓库的用户名、密码，登录私有镜像仓库： login12
  2. 此时，ENVIRONMENTS中可查看私有镜像仓库，其中列出了上传的私有镜像，在workshop、GPU配置页中可直接选择使用。 image1

保存workshop环境​

如需将在workshop中使用的环境保存到私有镜像中，可按如下步骤操作。需注意，以下步骤要求 workshop 为 running 状态。

  1. 在VSCode中登录Aladdin，并在Registry中填入私有镜像仓库的用户名、密码，登录私有镜像仓库： login12
  2. 启动workshop， 右键选择“Save Env”：
    saveEnv
  3. 选择私有镜像仓库，回车： saveEnv1
  4. 输入要保存的workshop环境名，回车： saveEnv2
  5. 输入tag，回车，等待保存： saveEnv3
  6. 选择yes，更新当前workshop镜像： saveEnv4

    如果选择no，保存的workshop环境不会作用于当前workshop。

  7. 更新成功后，私有镜像仓库中即会存有该环境，此时在workshop、GPU配置页中可选择使用该环境。