使用文本识别模块

您正在查看最新版本(V3.0.0)的文档。如果您想查阅其他版本的文档,可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本,请随时联系梅卡曼德技术支持

以识别码数据(单击下载)为例,本文将展示如何使用文本识别模块训练出可识别和输出图像中字符(数字、字母及部分特殊符号)的模型。

用户可使用自己准备的数据。整体使用流程一致,标注环节存在差异。

准备工作

  1. 新建工程并添加文本识别模块:打开 Mech-DLK,单击初始页面上的新建工程 ,选择工程路径并输入工程名以新建一个工程。在主界面,单击输入模块下的+按钮,在添加模块窗口选择文本识别模块。

    example projects text recognition
  2. 导入图像数据:导入采集得到的图像数据或解压本文提供的数据压缩包。可通过以下方式导入图像数据

    • 方式一

      将图像或文件夹拖拽到图像列表区进行导入。不支持通过拖拽方式导入数据集。

    • 方式二

      在图像列表上方,单击导入/导出按钮。根据数据类型选择导入选项:

      • 从上一模块导入:导入上一模块的图像。

      • 导入图像:导入单张或多张图像。

      • 导入文件夹:导入文件夹中的所有图像(不包括子文件夹中的图像)。

      • 导入数据集:导入从 Mech-DLK 导出的 DLKDB 格式(.dlkdb)的数据集。

        • 导入图像中,待识别文本应尽量为正方向(0°)。

        • 文本识别模块可前置文本检测目标检测模块来提升模型效果,导入数据时应选择 导入  从上一模块导入

          • 若前置的是文本检测模块,导入数据时确认图像校正功能已开启(默认开启)。通常,图像校正功能可校正图像至 0°,但也有可能将少数 0° 图像校正至 180°,建议根据实际情况判断是否开启该功能。

  3. 截取 ROI:单击 ROI 工具 example projects icon roi,框选能涵盖所有图像中文本区域的部分作为感兴趣区域,并单击 ROI 边框右下角的应用图标 tools introduction OK 应用当前ROI。截取 ROI 的目的是减少无关背景信息的干扰。

    example projects roi
  4. 划分训练集与验证集:可以单击训练集/验证集划分图标 example projects icon slider 拖动滑块调整图像占比。需要确保划分后的训练集和验证集中涵盖所有需要识别的文本类型,如果默认划分的数据集不满足这一条件,右键单击图像名称后选择移到训练集移到验证集调整图像所属集合。

    example projects move image

数据标注

在图像左侧标注工具栏选择文本识别工具进行标注。使用文本识别工具框选文本后,会自动生成识别结果,需人工校验和确认。因此,标注时绘制有效的标注框并及时确定正确的结果有助于提升模型质量。

example projects labeling
  • 标注图像时,用户可点击预训练标注视觉大模型标注进行自动标注。自动标注结束后,再手动微调标注结果。

  • 如需调整视觉大模型标注设置,可按如下方式操作:

    1. 右键单击 tools super labeling tool icon,选择视觉大模型标注工具

    2. 在图像处理区域上方,点击 labelling settings

    3. 视觉大模型标注设置窗口,通过添加修改项修改视觉大模型的标注结果。

手动标注图像时,可使用文字模板功能。文字模板功能用于替换标注结果。使用步骤如下:

  1. 在软件主界面,点击标注栏的文字模板选项卡。

  2. 文字模板选项卡右上角,点击+新建

  3. 新建文字模板窗口,输入文字模板内容,然后点击确定

  4. 在左侧图片列表中,选择一张图片。在新建的文字模板中,点击应用。应用后,该模板将被用于本图片的标注结果。

训练模型

  1. 训练模型:使用默认参数设定,单击训练 开始训练模型。

    example projects training chart
  2. 通过训练信息观察训练情况:在训练选项卡下的训练信息栏,可实时查看模型训练信息。

    example projects view training info
  3. 通过训练图表窗口查看训练情况:单击训练选项卡下的显示图表按钮,即可在模型训练过程中实时查看模型精度曲线和损失曲线变化情况。精度曲线整体呈现上升趋势、损失曲线整体呈现下降趋势表明当前训练正常运行。

    example projects view training chart
  4. 根据实际情况,提前终止训练(可选):当模型精度已经达到要求时,为节约时间,用户可单击训练中心按钮,在任务列表中选择工程后单击终止图标 stop trainig 终止训练。用户也可等待模型训练结束,观察最高精度等参数,初步判断模型训练效果。

    若精度曲线在经过较多轮次后仍无上升趋势,表明当前模型训练可能存在问题。请终止模型训练流程,检查各参数设置,检查训练集中是否出现漏标错标,修改后重新启动训练。

验证模型

  1. 验证模型:训练结束后,单击验证 可以验证并查看模型识别效果。

  2. 检查训练集中模型的验证结果:验证结束后,可在验证选项卡的验证统计中查看验证结果数量统计;点击详细报表按钮可打开详细报表窗口查看详细验证统计结果。

    example projects detail report

    若模型训练效果不佳,请检查标注,调整训练参数,重新开始训练。 用户也可以点击详细报表窗口右下角的导出报表将报表导出至本地。

    example projects export report
  3. 重新开始训练:将新标注的图像加入训练集后,单击训练按钮,重新开始训练。

  4. 重新检查模型验证结果:训练结束后,再次点击验证按钮验证模型,重新检查模型在各数据集上的验证结果。

  5. 模型微调(可选):用户可启用开发者模式,在训练参数设置中启用模型微调。具体操作请参阅迭代模型

  6. 不断优化模型:重复以上步骤,不断优化模型性能,直至模型达到使用要求。

    如需调整验证结果,可按如下步骤操作:

    1. 验证参数栏进行筛选规则设置

    2. 筛选规则设置窗口,通过添加修改项修改模型验证结果。

导出模型

单击导出模型,然后选择存放路径,即可导出模型。

example projects model files

导出后的模型可在 Mech-DLK SDK 中使用,单击此处查看详细说明。

该页面是否有帮助?

可以通过以下方式反馈意见:

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。