请问推理速度这块有什么数据吗

[rabum]

想知道interLM尤其是20B的token生成速度，跟Qwen比如何

[lvhan028]

目前20B的推理性能没有测试。下面的链接是 lmdeploy 在 llama2-7b 上的benchmark。后续，我们会更新更多的模型和设备上的测试结果
https://github.com/InternLM/lmdeploy/blob/main/docs/en/benchmark/a100_fp16.md