docker私有化部署大模型qwen

张开发
• 2026/4/16 13:21:17 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

docker私有化部署大模型qwen
以qwen3.5-122b为例子，采用docker部署（我尝试了vllm，没部署上去，应该是vllm 版本和qwen 需要的trasformer的版本不兼容，懒得再试了，干脆用docker部署）docker run -d --name qwen35-122b --gpus all --ipc=host --shm-size=32g -p 8000:8000 -v /data/models/Qwen3.5-122B-A10B:/models/Qwen3.5-122B-A10B:ro -e NCCL_P2P_DISABLE=0 -e NCCL_IB_DISABLE=0 -e VLLM_USE_V1=1 vllm/vllm-openai:v0.17.0 --model /models/Qwen3.5-122B-A10B --served-model-name Qwen3.5-122B-A10B --tensor-parallel-size 4 --enable-expert-parallel --gpu-memory-utilization 0.92 --max-model-len 131072 --reasoning-parser qwen3

更多文章