关于推理

[CLGRY]

Describe the bug
What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程，最好有截图)

你好，我训练通义千问2-VL-7B-Instruct之后（batchsize为1）进行推理，在A800卡上（80G）进行推理，80G显存是够的，但是总是报以上错误，请问是为什么？卡是空的没有跑其他程序，我不理解怎么解决这个问题。

推理命令为
swift infer --ckpt_dir /home//Data/ms-swift/output/Qwen2-VL-7B-Instruct/v1-20250102-180445/checkpoint-3000 --val_dataset /home/sijinyu/Data/ms-swift/images/test.json --load_dataset_config true --merge_lora true

Your hardware and system info
Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息，如CUDA版本，系统，GPU型号和torch版本等)

CUDA12.0
linux系统
GPU A800
torch 2.5.1+cu118

Additional context
Add any other context about the problem here(在这里补充其他信息)

[Jintao-Huang]

https://swift.readthedocs.io/zh-cn/latest/Instruction/%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0.html#id17

https://github.com/modelscope/ms-swift/tree/main/examples/train/multimodal

指定一下环境变量