🥉AI CONNECT 2023 노트북으로 GPT 맛보기(한국어 문서 생성 요약) 경진대회 3위

2023년 AI CONNECT에서 개최한 노트북으로 GPT 맛보기 경진대회 3위 학습 및 추론 코드.

Model

paust/pko-t5-large model 모델을 AIHUB 요약문 및 레포트 생성 데이터로 파인튜닝한 lcw99/t5-large-korean-text-summary를 Base Model로 사용.

Data

AIHUB 요약문 및 레포트 생성 데이터에서 모든 종류(news_r, briefing, his_cul, paper, minute, edit, public, speech, literature, narration)의 Training 데이터 활용.

Fine-tuning

거대 언어 모델 경량화 기법 중 하나인 Low-Rank Adaptation (LoRA)를 Base Model에 적용하여 학습.

LoRA paramerter

r=8
lora_alpha=32
lora_dropout=0.1

PEFT

허깅페이스의 Parameter-Efficient Fine-Tuning (PEFT) 라이브러리를 활용.

PERT는 LoRA 외에도 T5 모델에 대해 prefix tuning도 지원하지만, prefix tuning보다 LoRA의 성능이 더 높았음.

Prompt

추론 시 원본 텍스트 앞에 "불필요한 내용은 생략하고 핵심 내용을 간단하게 한줄 요약:" Prompt를 사용.

불필요한 내용은 생략하고 핵심 내용을 간단하게 한줄 요약: {원본 텍스트}