Skip to content

Commit ea31c43

Browse files
authored
[v1] improve getting started guide with comprehensive content (#10626)
Co-authored-by: lxcxjxhx <lxcxjxhx@users.noreply.github.com>
1 parent 76a0391 commit ea31c43

1 file changed

Lines changed: 112 additions & 22 deletions

File tree

docs/zh/getting-started.md

Lines changed: 112 additions & 22 deletions
Original file line numberDiff line numberDiff line change
@@ -1,16 +1,15 @@
1-
# Getting Started
1+
# 快速开始
22

3+
LLaMA Factory 是一个高效、灵活的大模型微调框架,支持 100+ 种主流大语言模型的微调训练。本文档将帮助您快速上手使用 LLaMA Factory。
34

4-
## 训练方法
5+
## 支持的训练方法
56

67
| 方法 | 全参数训练 | 部分参数训练 | LoRA | QLoRA |
78
|:---------------------:| ------------------ | ------------------ | ------------------ | ------------------ |
8-
| 指令监督微调 | :white_check_mark: | | | |
9-
| 奖励模型训练 | | | | |
10-
| DPO 训练 | | | | |
11-
12-
9+
| 指令监督微调 (SFT) | :white_check_mark: | :white_check_mark: | :white_check_mark: | :white_check_mark: |
10+
| DPO 训练 | :white_check_mark: | :white_check_mark: | :white_check_mark: | :white_check_mark: |
1311

12+
> **提示**: v1 版本目前支持 SFT 和 DPO 两种训练方法,均支持多种加速特性,包括 DeepSpeed、FSDP、FlashAttention-2 等。
1413
1514
## 软件依赖
1615

@@ -32,40 +31,131 @@
3231
| flash-attn(NVIDIA GPU) | 2.5.6 | 2.7.2 |
3332

3433

35-
## 如何使用
36-
37-
### 安装 LLaMA Factory
34+
## 安装 LLaMA Factory
3835

3936
> [!IMPORTANT]
40-
> 此步骤为必需。
37+
> 此步骤为必需。请确保您的环境满足上述软件依赖要求。
4138
42-
#### 从源码安装
39+
### 从源码安装(推荐)
4340

4441
```bash
45-
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
46-
cd LlamaFactory
42+
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
43+
cd LLaMA-Factory
4744
pip install -e .
4845
```
4946

47+
### 使用 pip 安装
48+
49+
```bash
50+
pip install llamafactory
51+
```
52+
53+
### 可选依赖
54+
55+
如果您需要使用特定的加速特性,可以安装相应的依赖:
56+
57+
```bash
58+
# 安装 FlashAttention-2 支持
59+
pip install flash-attn --no-build-isolation
60+
61+
# 安装 DeepSpeed 支持
62+
pip install deepspeed
63+
64+
# 安装 Unsloth 支持(用于加速 LoRA 训练)
65+
pip install unsloth
66+
```
67+
68+
## 数据准备
69+
70+
LLaMA Factory 支持多种数据格式,包括 JSON、JSONL、CSV 等。关于数据集文件的详细格式说明,请参考 [数据准备指南](../../data/README_zh.md)
71+
72+
### 使用内置数据集
73+
74+
LLaMA Factory 提供了多个内置数据集用于快速测试,您可以在 `data/dataset_info.json` 中查看所有可用的数据集。
5075

51-
### 数据准备
76+
### 使用自定义数据集
5277

53-
关于数据集文件的格式,请参考 [data-preparation/README.md](data-preparation/README.md) 的内容。你可以使用 HuggingFace / ModelScope 上的数据集或加载本地数据集。
78+
您可以使用 HuggingFace / ModelScope 上的数据集或加载本地数据集。
5479

5580
> [!NOTE]
56-
> 使用自定义数据集或自定义数据集格式时,请参照 [data-preparation/README.md](data-preparation/README.md) 进行配置如有必要,请重新实现自定义数据集的数据处理逻辑,包括对应的`converter`
81+
> 使用自定义数据集或自定义数据集格式时,请参照 [数据准备指南](../../data/README_zh.md) 进行配置如有必要,请重新实现自定义数据集的数据处理逻辑,包括对应的 `converter`
5782
58-
您也可以使用 **[Easy Dataset](https://github.com/ConardLi/easy-dataset)****[DataFlow](https://github.com/OpenDCAI/DataFlow)****[GraphGen](https://github.com/open-sciencelab/GraphGen)** 构建用于微调的合成数据。
83+
### 数据构建工具
5984

60-
### 快速开始
85+
您也可以使用以下工具构建用于微调的合成数据:
86+
- **[Easy Dataset](https://github.com/ConardLi/easy-dataset)** - 易于使用的数据集构建工具
87+
- **[DataFlow](https://github.com/OpenDCAI/DataFlow)** - 高质量数据准备管道
88+
- **[GraphGen](https://github.com/open-sciencelab/GraphGen)** - 基于图的数据生成工具
6189

62-
下面的命令展示了对 Qwen3-0.6B 模型使用 FSDP2 进行 全参**微调**,两行命令等价。
90+
## 快速开始
91+
92+
### 命令行训练
93+
94+
下面的命令展示了对 Qwen3-0.6B 模型使用 FSDP2 进行全参数微调:
6395

6496
```bash
6597
export USE_V1=1
6698
llamafactory-cli sft examples/v1/train_full/train_full_fsdp2.yaml
67-
llamafactory-cli train examples/v1/train_full/train_full_fsdp2.yaml
99+
```
100+
101+
> **提示**: `llamafactory-cli sft``llamafactory-cli train` 命令等价。
102+
103+
### Web UI 训练
68104

105+
LLaMA Factory 提供了直观的 Web 界面(LLaMA Board),您可以通过图形界面进行训练:
106+
107+
```bash
108+
llamafactory-cli webui
109+
```
110+
111+
在浏览器中打开 http://localhost:7860 即可开始使用。
112+
113+
### 推理部署
114+
115+
训练完成后,您可以使用以下命令部署模型:
116+
117+
```bash
118+
# 使用 vLLM 后端进行高性能推理
119+
llamafactory-cli chat --model_name_or_path path/to/your/model --template qwen --infer_backend vllm
120+
121+
# 使用 HuggingFace 后端进行推理
122+
llamafactory-cli chat --model_name_or_path path/to/your/model --template qwen
123+
```
124+
125+
## 进阶用法
126+
127+
高级用法请参考 [进阶指南](./advanced/README.md),包括:
128+
- 多卡多机分布式训练
129+
- LoRA/QLoRA 微调
130+
- 模型量化(AWQ/GPTQ/LLM.int8 等)
131+
- 各种加速特性(DeepSpeed、FSDP、FlashAttention 等)
132+
- 多模态模型微调
133+
134+
## 常见问题
135+
136+
### 1. 内存不足怎么办?
137+
138+
- 使用 LoRA 或 QLoRA 代替全参数训练
139+
- 减小 `batch_size``cutoff_len`
140+
- 启用 `gradient_checkpointing`
141+
- 使用 DeepSpeed ZeRO-2 或 ZeRO-3
142+
143+
### 2. 如何选择合适的训练方法?
144+
145+
- **SFT(指令微调)**: 最常用的方法,适用于大多数场景,通过监督数据训练模型
146+
- **DPO(直接偏好优化)**: 用于对齐人类偏好,提升模型输出质量,无需训练奖励模型
147+
148+
### 3. 训练完成后如何评估模型?
149+
150+
```bash
151+
llamafactory-cli eval --model_name_or_path path/to/your/model --template qwen --dataset mmlu
69152
```
70153

71-
高级用法请参考 [advanced](./advanced/README.md)(包括多卡多机微调、分布式、Lora、量化、以及各种加速特性等)。
154+
更多评估方法请参考 [评估指南](./advanced/evaluation.md)
155+
156+
## 获取帮助
157+
158+
如果您在使用过程中遇到问题:
159+
- 查看 [GitHub Issues](https://github.com/hiyouga/LLaMA-Factory/issues)
160+
- 加入 [Discord 社区](https://discord.gg/rKfvV9r9FK)
161+
- 加入微信群(扫描二维码)

0 commit comments

Comments
 (0)