[FR] 能否支持batch推理

[ZongqiangZhang]

每次只处理一张图片，性能很低，在GPU场景下是否支持batch推理，即一次请求同时处理多张图片？

[SWHL]

当前OCR中文本识别部分是batch推理的。文本检测部分由于输入图像shape是动态的，batch推理需要将多张图像resize为同一shape，会降低精度。

建议手动开启多个进程使用。注意：OCR为密集型任务，要看自己机器配置来开启哈

[cmathx]

GPU底层要实现batch推理，需要把数据同时吐到一个gpu中；而且模型需要共同的模型，应该才能完美的利用gpu的并行。

[cmathx]

要实现gpu的最大并发， 需要检测、识别模块的接口支持batch输入。
https://github.com/RapidAI/RapidOCR/blob/main/python/rapidocr_paddle/ch_ppocr_v3_det/text_detect.py
__call__函数支持batch images。当然用户需要自己把图片resize成相同的像素。
https://github.com/RapidAI/RapidOCR/blob/main/python/rapidocr_paddle/ch_ppocr_v3_rec/text_recognize.py
识别的模块，貌似已经支持batch images

[SWHL]

是这样的。文本检测需要自己把图像resize为相同像素才行。但是这会影响识别精度