Qwen2.5-VL 部署过程

TorchVision >= 0.19.0

1. 创建环境

sudo apt updatesudo apt install python3.8-venvpython3.8 -m venv Qwen2.5-VLsource Qwen2.5-VL/bin/activate

2. 安装 transformers 库和 accelerate 库

pip install git+https://github.com/huggingface/transformers accelerate

可能会遇到错误：

KeyError: 'qwen2_5_vl'

安装不下来就直接去github中clone，或者下载transformer的zip包：https://github.com/huggingface/transformers  

pip install accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装工具包方便进行视觉输入处理

# It's highly recommended to use `[decord]` feature for faster video loading.
pip install qwen-vl-utils[decord]

为了简化部署过程，有带有环境的Docker镜像：

只需安装驱动并下载模型文件即可启动 Demo。

docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwenvl:2-cu121 bash