创建预训练的数据时， article['input_ids'].append(0)，最后时0，但是在demo里eos确是102，这是什么原因

[joytianya]

创建预训练的数据时， article['input_ids'].append(0)，最后时0，但是在demo里eos确是102，如果在预训练数据中没有102，那结束字符很难会出现102（[sep])字符吧，但是在运行demo时确实有sep，想问下，是不是article['input_ids'].append(0)应该是article['input_ids'].append(102)？