Skip to content

bzantium/nlp-tensorflow

Repository files navigation

NLP Tutorial with Deep Learning using tensorflow


1. Install requirements

$ pip install -r requirements.txt

2. 01-sentiment_analysis

네이버 영화 평점 데이터를 이용하여 여러 딥러닝 모델을 비교해 볼 수 있습니다.
다양한 컴퓨터 사양으로 테스트 해 볼 수 있도록 데이터셋을 크기에 따라 세 가지를 두었습니다.

Contents

  1. Data Process
  2. Logistic Regression
  3. Feed Forward Neural Network
  4. RNN: with rnn tensorflow API explanation
  5. LSTM: uni-directional LSTM, bi-directional LSTM, deep-bi-directional LSTM
  6. CNN
  7. POS: with konlpy Twitter API
  8. Morphs: with konlpy Twitter API
  9. word2vec: with gensim API
  10. doc2vec: with gensim API
  11. Every model is defined at models

3. 02-nlp_application

딥러닝 모델을 이용하여 사용자의 입력을 받아 [감성분석, 삼행시만들기, 대화하기]를 테스트 할 수 있습니다.
훈련된 모델이 같이 들어있어 train 없이 바로 test 할 수 있으며, gpu 없이 train 할 시, 시간이 오래 걸릴 수 있습니다.

train

$ python train.py

implementation

$ python test.py

4. Notice

  1. 02-nlp_application/01-Sentiment 의 경우, models 폴더 안 model-31000.zip 파일의 압축을 풀어주어야 train 없이 바로 test 할 수 있습니다.

ubuntu/mac: how to unzip in command line

$ zip -FF model-31000.zip --out model-31000-full.zip
$ unzip model-31000-full.zip

  1. 모든 데이터는 한국어로 이루어져 있습니다.

  2. konlpy 설치는 http://konlpy.org/en/v0.4.4/install/ 를 참조하세요.