相邻的文字区别重叠

[failable]

问题描述 / Problem Description

如下例：2字重复出现在两个区域里。

RapidOCR output

{
      "text": "年龄：2",
      "confidence": 0.9768570065498352,
      "text_region": [
        [
          511.0,
          239.0
        ],
        [
          594.0,
          239.0
        ],
        [
          594.0,
          259.0
        ],
        [
          511.0,
          259.0
        ]
      ]
    },
    {
      "text": "25岁1999-02-06",
      "confidence": 0.9993048906326294,
      "text_region": [
        [
          583.0,
          238.0
        ],
        [
          749.0,
          239.0
        ],
        [
          749.0,
          259.0
        ],
        [
          582.0,
          258.0
        ]
      ]
    }

PaddleOCR output

[2024/10/27 10:25:41] ppocr INFO: [[[943.0, 78.0], [1040.0, 78.0], [1040.0, 115.0], [943.0, 115.0]], ('年龄：', 0.999842643737793)]
[2024/10/27 10:25:41] ppocr INFO: [[[1096.0, 81.0], [1172.0, 81.0], [1172.0, 112.0], [1096.0, 112.0]], ('25岁', 0.9999539256095886)]

[SWHL]

请在在线demo中尝试，我这里尝试没有复现该问题。

[failable]

上面我截个图可能复制不了。压缩包里是原图，不方便直接贴。复现代码：

import numpy as np
from PIL import Image
from rapidocr_onnxruntime import RapidOCR

ocr = RapidOCR(
    det_limit_side_len=960,
    det_limit_type="max",
    det_db_box_thresh=0.6,
    det_db_unclip_ratio=1.5,
    use_dilation=False,
)


filename = "b.jpeg"
image = Image.open(filename)

outputs, _ = ocr(np.asarray(image), use_cls=False)


for text_region, text, confidence in outputs:
    print(text, text_region, confidence)

image.zip

其中参数是我之前从paddleocr输出的默认参数里复制出来部分调整的。

[2024/10/28 10:24:02] ppocr INFO: for usage help, please use `paddleocr --help`
[2024/10/28 10:24:02] ppocr DEBUG: Namespace(help='==SUPPRESS==', use_gpu=False, use_xpu=False, use_npu=False, use_mlu=False, ir_optim=True, use_tensorrt=False, min_subgraph_size=15, precision='fp32', gpu_mem=500, gpu_id=0, image_dir='/Users/maximin/Downloads/b.jpeg', page_num=0, det_algorithm='DB', det_model_dir='/Users/maximin/.paddleocr/whl/det/ch/ch_PP-OCRv4_det_infer', det_limit_side_len=960, det_limit_type='max', det_box_type='quad', det_db_thresh=0.3, det_db_box_thresh=0.6, det_db_unclip_ratio=1.5, max_batch_size=10, use_dilation=False, det_db_score_mode='fast', det_east_score_thresh=0.8, det_east_cover_thresh=0.1, det_east_nms_thresh=0.2, det_sast_score_thresh=0.5, det_sast_nms_thresh=0.2, det_pse_thresh=0, det_pse_box_thresh=0.85, det_pse_min_area=16, det_pse_scale=1, scales=[8, 16, 32], alpha=1.0, beta=1.0, fourier_degree=5, rec_algorithm='SVTR_LCNet', rec_model_dir='/Users/maximin/.paddleocr/whl/rec/ch/ch_PP-OCRv4_rec_infer', rec_image_inverse=True, rec_image_shape='3, 48, 320', rec_batch_num=6, max_text_length=25, rec_char_dict_path='/Users/maximin/Downloads/test_paddle/.venv/lib/python3.10/site-packages/paddleocr/ppocr/utils/ppocr_keys_v1.txt', use_space_char=True, vis_font_path='./doc/fonts/simfang.ttf', drop_score=0.5, e2e_algorithm='PGNet', e2e_model_dir=None, e2e_limit_side_len=768, e2e_limit_type='max', e2e_pgnet_score_thresh=0.5, e2e_char_dict_path='./ppocr/utils/ic15_dict.txt', e2e_pgnet_valid_set='totaltext', e2e_pgnet_mode='fast', use_angle_cls=False, cls_model_dir='/Users/maximin/.paddleocr/whl/cls/ch_ppocr_mobile_v2.0_cls_infer', cls_image_shape='3, 48, 192', label_list=['0', '180'], cls_batch_num=6, cls_thresh=0.9, enable_mkldnn=False, cpu_threads=10, use_pdserving=False, warmup=False, sr_model_dir=None, sr_image_shape='3, 32, 128', sr_batch_num=1, draw_img_save_dir='./inference_results', save_crop_res=False, crop_res_save_dir='./output', use_mp=False, total_process_num=1, process_id=0, benchmark=False, save_log_path='./log_output/', show_log=True, use_onnx=False, return_word_box=False, output='./output', table_max_len=488, table_algorithm='TableAttn', table_model_dir=None, merge_no_span_structure=True, table_char_dict_path=None, formula_algorithm='LaTeXOCR', formula_model_dir=None, formula_char_dict_path=None, formula_batch_num=1, layout_model_dir=None, layout_dict_path=None, layout_score_threshold=0.5, layout_nms_threshold=0.5, kie_algorithm='LayoutXLM', ser_model_dir=None, re_model_dir=None, use_visual_backbone=True, ser_dict_path='../train_data/XFUND/class_list_xfun.txt', ocr_order_method=None, mode='structure', image_orientation=False, layout=True, table=True, formula=False, ocr=True, recovery=False, recovery_to_markdown=False, use_pdf2docx_api=False, invert=False, binarize=False, alphacolor=(255, 255, 255), lang='ch', det=True, rec=True, type='ocr', savefile=False, ocr_version='PP-OCRv4', structure_version='PP-StructureV2')

[Yevgnen]

情况一样，但使用的是默认参数，这是框架后处理的问题？

[SWHL]

破案了，原因是文本检测模型问题。文本检测模型两个检测到的文本框区域重叠了。注意看下面25岁的2位置，底部明显有黄色，是前一个框的范围。

尝试更换图像读取方式，例如下面这种，就没这个问题了。

import cv2
import numpy as np
from PIL import Image

from rapidocr_onnxruntime import RapidOCR, VisRes

engine = RapidOCR()
vis = VisRes()

image_path = "b.jpeg"
with open(image_path, "rb") as f:
    img = f.read()

result, elapse_list = engine(img)
print(result)
print(elapse_list)

boxes, txts, scores = list(zip(*result))

font_path = "resources/fonts/FZYTK.TTF"
vis_img = vis(img, boxes, txts, scores, font_path)
cv2.imwrite("vis.png", vis_img)

[failable]

我的实际图片是从客户端通过base64字符串传过来的，然后有类似的读取：

def base64_image_to_image_file(base64_image: str) -> Image.Image:
    image_data = re.sub("^data:image/.+;base64,", "", base64_image)

    return Image.open(BytesIO(base64.b64decode(image_data))).convert("RGB")

这种情况下需要做什么处理呢？这个问题不是对每一个图片都出现。

原因是文本检测模型问题。

意思是导出成ONNX后因为精度、误差等出现的问题？

[SWHL]

这种情况下需要做什么处理呢？这个问题不是对每一个图片都出现。
可以都试试，这个有潜在bug，尚未解决

意思是导出成ONNX后因为精度、误差等出现的问题？
不是，原始PaddleOCR模型就有同类问题的，根源在于训练数据集中，同行间隔大的这种数据少