internlm2模型为啥这么小

[wangzhen38]

Describe the question.

• internlm2-chat-20b只有37G，我看internlm2其他系列也比较小，请问开源的是量化版本吗
• 另外有点困惑的是为啥internlm2-chat-20b推理速度这么慢（api-for-open-llm），比yi-34b-chat慢好多

[SolenoidWGT]

hi您好，欢迎试用internlm2~

1. 我们开源的20B模型是fp16的数据类型，采用了group query attention的结构，为了使参数量满足20B增大了intermediate_size的大小。发布的模型是没有经过量化操作的，最终的模型权重估算大小是: 20 * 10**9 * 2 / 1024 ** 3 = 37GB，应该是符合预期的。
2. 如果您方便的话可以尝试用lmdeploy进行推理，我们对internlm的模型有针对性的推理优化。