大佬,训练loss=nan.0 是什么情况?

[Chenhuaqi6]

[ssbuild]

切换优化器试一下

[Chenhuaqi6]

切换优化器测试一下

大佬,优化器改用什么最合适呢? 还有 我训练moss-moon-003-sft-int4 的时候显存不够 我把n_layer改成了24 有影响吗?

[ssbuild]

你这个loss 是一开始就是nan吗， 还是训练过程中出现nan ， 试一下 adamw

[Chenhuaqi6]

你这个loss 是一开始就是nan吗， 还是训练过程中出现nan ， 试一下 adamw

好的 一开始就是 nan 我试下adamw, 还有这个./zero_to_fp32.py 文件我怎么没找到在哪里

[ssbuild]

你这个loss 是一开始就是nan吗， 还是训练过程中出现nan ， 试一下 adamw

好的 一开始就是 nan 我试下adamw, 还有这个./zero_to_fp32.py 文件我怎么没找到在哪里

lora 不需要转换权重了。 全参数开启deepspeed 才需要。

[Chenhuaqi6]

我用的ptv2,我看你代码里面 int4模型不支持lora

[Chenhuaqi6]

你这个loss 是一开始就是nan吗， 还是训练过程中出现nan ， 试一下 adamw

好的 一开始就是 nan 我试下adamw, 还有这个./zero_to_fp32.py 文件我怎么没找到在哪里

lora 不需要转换权重了。 全参数开启deepspeed 才需要。
adamw 也是 loss=nan,这个是什么情况? 大佬

[ssbuild]

ptv2 权重 也不用转了， trainer 精度改成 32试试

[Chenhuaqi6]

好的 我试试

[wangyou0804]

请问这个问题有解决方案吗，我也遇到了loss为nan的情况，把precision调为32过后报错：
│ /home/user1/.conda/envs/moss/lib/python3.9/site-packages/deep_training/nlp/models/moss/custom_ │
│ autotune.py:93 in run │
│ │
│ 90 │ │ │ │ │ │ │ for config in pruned_configs} │
│ 91 │ │ │ │ bench_end = time.time() │
│ 92 │ │ │ │ self.bench_time = bench_end - bench_start │
│ ❱ 93 │ │ │ │ self.cache[key] = builtins.min(timings, key=timings.get) │
│ 94 │ │ │ │ self.hook(args) │
│ 95 │ │ │ │ self.configs_timings = timings │
│ 96 │ │ │ config = self.cache[key] │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
TypeError: '<' not supported between instances of 'tuple' and 'float'

我修改的配置文件包括：
main.py:
enable_deepspeed = False
enable_ptv2 = True
enable_lora = False
enable_int8 = False # qlora int8
enable_int4 = False # qlora int4

sft_config_ptv2.py:
'optimizer': 'adamw'