链接： 1.https://zhuanlan.zhihu.com/p/115611908
请先保证nvidia驱动安装正确，测试方法：
nvidia-smi可以看到cuda版本为12.4
一、安装minioconda
在miniomonda官网查看最新安装包：Miniconda — Anaconda documentation
https://docs.anaconda.com/free/miniconda/
下载安装：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh安装monda(不要加sudo)
base Miniconda3-latest-Linux-x86_64.sh启动环境变量
source ~/.bashrc创建虚拟环境：
conda create -n python311 python=3.11进入虚拟环境：
conda activate python311 conda 其它命令：
#创建虚拟环境
conda create -n your_env_name python=X.X（3.6、3.7等）
#激活虚拟环境
source activate your_env_name(虚拟环境名称)
#退出虚拟环境
source deactivate your_env_name(虚拟环境名称)
#删除虚拟环境
conda remove -n your_env_name(虚拟环境名称) --all
#查看安装了哪些包
conda list
#安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
#查看当前存在哪些虚拟环境
conda env list
#或
conda info -e
#或
conda info --envs
#检查更新当前conda
conda update conda
#更新anaconda
conda update anaconda
#更新所有库
conda update --all
#更新python
conda update python二、安装cupy
https://docs.cupy.dev/en/latest/install.html#installing-cupy
下面命令指定cuda版本时，会自动安装cudatoolkit=12.4 （具体版本与nvidia-smi显示的cuda保持一致）
conda install -c conda-forge cupy cudnn cutensor nccl cuda-version=12.4三、安装cudatoolkit（跳过，安装cupy过程已安装）
CUDA Toolkit (nvidia)： CUDA完整的工具安装包，其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。包括 CUDA 程序的编译器、IDE、调试器等，CUDA 程序所对应的各式库文件以及它们的头文件。
官网：
安装：
conda install cudatoolkit四、安装xinference
官网：https://inference.readthedocs.io/en/latest/getting_started/installation.html
安装：
conda activate python311
pip install "xinference[all]"运行：
export XINFERENCE_MODEL_SRC=modelscope
xinference-local --host 0.0.0.0 --port 9997 --log-level debug