internlm2-chat-7b本身支持的token多大？[QA]

[xxg98]

描述问题

internlm2-chat-7b通过lmdeploy能够支持200k，但是想知道本身支持的token多大？

[ZwwWayne]

模型不依赖 dynamic ntk 外推的情况下，可以保证32K-64K以内的性能。不依赖 lmdeploy 的情况下，主要取决于显存

[xxg98]

1. 当用transformers的AutoModelForCausalLM封装的时候，输入token如果超过一定数量，就会出现如下日志（超过32k了，但应该没有超过64k），然后模型的回答就会卡住：
   the current text generation call will exceed the model's predefined maximum length (32768). Depending on the model, you may observe exceptions, performance degradation, or nothing at all.
2. 如果采用转换后的方式启动，请问这个参数，是不是可以适当调大，或直接200k呢？因为之前有看到过max_position_embeddings需要调成模型支持的最大token这样的结论