阿里云GPU云服务器构建DeepSeek-V3推理服务

DeepSeek-V3是由国内AI公司深度求索发布的一款具有超过600亿参数的MoE模型，且已开源其模型权重。目前很多国内云服务器商都支持部署该模型，如阿里云、京东云、百度智能云等，本文就以阿里云为例，来为大家详细介绍一下如何在GPU云服务器上构建DeepSeek-V3的推理服务。

阿里云GPU云服务器是指阿里云提供的具有GPU算力的弹性计算服务，结合了GPU计算力与CPU计算力，能够满足用户在AI推理、AI训练、科学计算、图形图像处理等场景中的需求。目前提供丰富的GPU规格可选，用户可以按需进行选购。

阿里云GPU云服务器

购买地址：点击购买

一、创建并配置阿里云GPU云服务器

1、进入阿里云官网，注册并登录账号。

2、进入阿里云GPU云服务器实例创建页，选择自定义购买。本文选择的是实例规格为ecs.ebmgn8v.48xlarge（内存1024 GiB、GPU显存96 GB以及192 vCPU）。

3、按需选择付费类型、地域、网络及可用区、实例规格、镜像等配置。

镜像：选择公共镜像，本文以Ubuntu 22.04版本的镜像为例。

在GPU云服务器实例上部署DeepSeek-V3模型，需要提前在该实例上安装Tesla驱动且驱动版本应为550及以上版本，建议用户在购买GPU云服务器实例时，同步选中安装GPU驱动。实例创建完成后，会自动安装Tesla驱动、CUDA、cuDNN库等，相比手动安装方式更快捷。

阿里云GPU云服务器

数据盘：DeepSeek-V3模型较大，会占用大量存储空间，为了保证模型顺利运行，建议添加3TB以上数据盘。
公网IP：选中分配公网IPv4地址，带宽计费方式选择按使用流量，建议带宽峰值选择100 Mbps，以加快模型下载速度。

4、在确认下单前，请检查实例的整体配置并配置使用时长等选项，确保各项配置符合用户的要求。

5、单击确定下单，在支付页面完成支付即可。

6、远程连接GPU云服务器实例。

登录ECS管理控制台。
在左侧导航栏，选择实例与镜像>实例。
在页面左侧顶部，选择目标资源所在的资源组和地域。地域
在实例列表页面，找到需要连接的实例，单击对应操作列下的远程连接。
在弹出的远程连接对话框中，单击通过Workbench远程连接对应的立即登录。

7、执行以下命令，安装Docker环境。

sudo apt-get update
sudo apt-get -y install ca-certificates curl

sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc


echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

8、执行以下命令，检查Docker是否安装成功。

docker -v

9、如下图回显信息所示，表示Docker已安装成功。

10、执行以下命令，安装nvidia-container-toolkit。

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

11、设置Docker开机自启动并重启Docker服务。

sudo systemctl enable docker 
sudo systemctl restart docker

12、执行以下命令，查看Docker是否已启动。

sudo systemctl status docker

如下图回显所示，表示Docker已启动。

配置阿里云GPU云服务器

二、下载DeepSeek-V3模型并运行容器

DeepSeek是由杭州深度求索人工智能公司开发的AI大模型，它以其强大的智能搜索与分析能力，在众多用户中赢得了广泛的认可。

1、执行以下命令，安装git-lfs便于下载模型。

sudo apt install git-lfs -y

2、下载tmux并创建一个tmux session。

sudo apt install tmux
sudo tmux

3、执行cd/mnt命令，进入/mnt目录，然后下载DeepSeek-V3模型。

sudo git lfs clone https://www.modelscope.cn/deepseek-ai/DeepSeek-V3.git

4、执行以下命令，拉取sglang容器镜像。

sudo docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:preview-25.02-vllm0.6.4.post1-sglang0.4.2.post1-pytorch2.5-cuda12.4-20250207

5、执行以下命令，启动sglang-test容器。

sudo docker run -t -d --name="sglang-test"  --ipc=host --cap-add=SYS_PTRACE --network=host --gpus all --privileged --ulimit memlock=-1 --ulimit stack=67108864 -v /mnt:/mnt egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:preview-25.02-vllm0.6.4.post1-sglang0.4.2.post1-pytorch2.5-cuda12.4-20250207

6、推理测试验证

a.执行以下命令，进入sglang-test容器。

docker exec -it sglang-test bash

b.执行以下命令，启动DeepSeek-V3的推理服务。

python3 -m sglang.launch_server --model-path /path/to/DeepSeek-V3 --port 30000 --mem-fraction-static 0.9 --tp 8 --trust-remote-code

c.其中，/path/to/DeepSeek-V3替换为DeepSeek-V3的存放目录，如下图所示，表示推理服务已启动。

下载DeepSeek-V3模型

d.打开另一个远程终端窗口，运行如下命令，进入sglang-test容器。

docker exec -it sglang-test bash

等待推理服务完成初始化正常运行后，进入sglang-test容器验证推理结果。

e.执行以下命令，发送推理请求并验证模型的推理结果。

curl http://localhost:30000/generate \
 -H "Content-Type: application/json" \
 -d '{
  "text": "deepseek中有几个e？",
  "sampling_params": {
  "max_new_tokens": 3000,
  "temperature": 0
 }
}'

下载DeepSeek-V3模型