qwen3-8B在GRPO的时候怎么设置能不让他在rollout的时候出现<think>和</think>

[lifelsl]

qwen3-8B在GRPO的时候怎么设置能不让他在rollout的时候出现think标签

[lifelsl]

我设置template为qwen3_nothinking，发现rollout的内容还是存在think标签

CUDA_VISIBLE_DEVICES=5,6,7
NPROC_PER_NODE=3
nohup swift rlhf
--rlhf_type grpo
--model /home/yyk/yyk12/models/Qwen3-8B
--external_plugins /home/yyk/yyk12/ms-swift/examples/train/grpo/plugin/plugin.py
--reward_funcs external_judgment_format_reward external_judgment_accuracy_reward
--reward_weights 0.5 1.0
--use_vllm True
--vllm_mode colocate
--vllm_gpu_memory_utilization 0.6
--vllm_max_model_len 6000
--sleep_level 1
--train_type lora
--lora_rank 8
--lora_alpha 32
--lora_dropout 0.05
--target_modules all-linear
--torch_dtype bfloat16
--dataset /home/yyk/yyk12/consjudge_multi_agent/data/grpo_judgment_0923.jsonl
--split_dataset_ratio 0.005
--max_length 1400
--max_completion_length 2048
--num_train_epochs 2
--per_device_train_batch_size 4
--per_device_eval_batch_size 4
--learning_rate 1e-6
--gradient_accumulation_steps 1
--save_strategy steps
--save_step 100
--eval_step 100
--logging_steps 50
--output_dir /home/yyk/yyk12/ms-swift/examples/train/grpo/output/qwen3-8B-1015
--warmup_ratio 0.05
--dataloader_num_workers 4
--dataset_num_proc 4
--num_generations 12
--temperature 1.0
--top_p 0.9
--top_k 50
--deepspeed zero3
--log_completions true
--num_iterations 1
--report_to tensorboard
--beta 0.001
--template qwen3_nothinking
> /home/yyk/yyk12/ms-swift/examples/train/grpo/external/train_qwen3.log 2>&1 &

[hjh0119]

You can try using --response_prefix '<think>\n\n</think>\n\n'