Skip to content

한국어 기반 One-shot video tuning with Stable Diffusion

License

Notifications You must be signed in to change notification settings

KyujinHan/Tune-A-VideKO

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Tune-A-VideKO 📹🇰🇷

animated

One-shot video tuning with Korean-Stable Diffusion

  • Tune-A-VideKO-v1-5🏄: Hugging Face
  • Tune-A-VideKO-anything😍: Hugging Face
  • Tune-A-VideKO-disney🤩: Hugging Face

Introduction

Setup

Tune-A-Video
Pytorch==1.12.1
🤗Diffusers

Quick Start (training and inference code)

Tune-A-VideKO.ipynb # Tune-A-VideKO-v1-5
Tune-A-VideKO-anyhthing.ipynb # Quick_start Tune-A-VideKO-anything
  • Quick_surfing🏄: Open In Colab
  • Quick_disney🤩: Open In Colab
  • Quick anything😍: Open In Colab

Results

Pretrained T2I (tune-a-videKO-v1-5) 🐤

Input Video Output Video
"A man is skiing" "미키 마우스가 눈 위에서 스키를 타고 있습니다” "외계인이 보드를 타고 있습니다" "한 남자가 모래 위에서 스키를 타고 있습니다"
"A rabbit is eating a watermelon on the table" "고양이가 해변에서 수박을 먹고 있습니다" "강아지가 오렌지를 먹고 있습니다" "강아지가 만화 스타일로 상자를 먹고 있습니다"
"A jeep car is moving on the road" "포르쉐 자동차가 해변을 달리고 있습니다" "자동차가 눈 위를 달리고 있습니다" "자동차가 만화 스타일로 도로를 달리고 있습니다"
"A man is surfing" "미키마우스가 서핑을 타고 있습니다" "한 여자가 서핑을 타고 있습니다" "흰색 옷을 입은 남자가 바다를 걷고 있습니다"

Pretrained T2I (tune-a-videKO-anything) 🐣

Input Video Output Video
"A bear is playing guitar" "1소녀는 기타를 연주하고 있다, 흰 머리, 중간 머리, 고양이 귀, 귀여운, 스카프, 재킷, 야외, 거리, 소녀” "1소녀가 기타 연주를 하고 있습니다, 바다, 눈을 감음, 긴 머리, 카리스마" "1소년, 기타 연주, 잘생김, 앉아있는, 빨간색 기타, 해변"

Pretrained T2I(tune-a-videKO-disney) 🐔

Input Video Output Video
"A bear is playing guitar" "토끼가 기타를 치고 있습니다, 모던한 디즈니 스타일” "잘생긴 왕자가 기타를 치고 있습니다, 모던한 디즈니 스타일" "사자가 기타를 치고 있습니다, 모던한 디즈니 스타일"

TODO

  • Make Colab code
  • Upload original code
  • Share Tune-A-VideKO-anything
  • Share Tune-A-VideKO-v1-5
  • Share Tune-A-VideKO-disney

Acknowledgement

KO-stable-diffusion-anything
Tune-A-Video
Bingsu's CLIP
SD
DreamBooth
anything
MO-DI-diffusion