NLPer集合

1. 词向量和语言模型

Word2Vec (2013)

• 论文地址：Efficient Estimation of Word Representations in Vector Space
• 简介：本文提出了CBOW模型和Skip-Gram模型，用来学习word vector。
• 代码实现：skip-gram.ipynb

2. 预训练模型

ELMo (2018)

• 论文地址：Deep contextualized word representations
• 简介：ELMo只预训练language model，而word embedding是通过输入的句子实时输出的， 这样可以得到与上下文相关的动态word embedding，很大程度上缓解了歧义的发生。
• 代码实现：elmo.py

GPT (2018)

• 论文地址：Improving Language Understanding by Generative Pre-Training
• 简介：

Bert (2018)

• 论文地址：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• 简介

3. 文本分类

3.1 中文情感分析所用的模型

TextCNN (2014)

• 论文地址：Convolutional Neural Networks for Sentence Classification
• 简介：利用多种卷积核大小提取序列的局部区域特征
• 代码实现：TextCNN.py

TextRNN (2015)

• 论文地址：Recurrent Convolutional Neural Networks for Text Classification
• 简介：采用双向LSTM结构，更好地捕获句子中的语义特征
• 代码实现：TextRNN.py

Text Bi-LSTM Attention (2016)

• 论文地址：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification
• 简介： 在双向LSTM结构之上加入Attention机制，结合上下文更好地表征句子语义特征
• 代码实现：TextBiLSTM_Att.py

Text Bi-LSTM Hierarchical Attention (2016)

• Hierarchical Attention Networks for Document Classification
• 简介：在双向LSTM结构之上加入Hierarchical Attention机制，结合上下文更好地表征句子语义特征
• 代码实现：TextBiLSTM_Att.py