RuntimeError: expected scalar type Float but found Half

[giantvision]

作者你好，运行代码时报错，请教一下：
我的训练参数设定如下：
config main.py:

模块配置， 默认启用lora

enable_deepspeed = True
enable_ptv2 = False
enable_lora = True
enable_int8 = True # qlora int8
enable_int4 = False # qlora int4

代码报错如下：
RuntimeError: expected scalar type Float but found Half

请教一下是什么原因？是不是我的设定出错了呀

[ssbuild]

作者你好，运行代码时报错，请教一下： 我的训练参数设定如下： config main.py:

模块配置， 默认启用lora

enable_deepspeed = True enable_ptv2 = False enable_lora = True enable_int8 = True # qlora int8 enable_int4 = False # qlora int4

代码报错如下： RuntimeError: expected scalar type Float but found Half

请教一下是什么原因？是不是我的设定出错了呀

lora训练，预训练权重，使用半精度，不要使用量化权重！