使用工件料筐分割模块

您正在查看最新版本(V3.0.0)的文档。如果您想查阅其他版本的文档,可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本,请随时联系梅卡曼德技术支持

基于工件料筐分割通用模型(单击下载),本文将展示如何使用工件料筐分割模块训练模型,分割工件与料筐。

整体流程包括五个步骤:准备工作、数据标注、训练模型、验证模型、导出模型。

用户可使用自己准备的数据。整体使用流程一致,标注环节存在差异。

准备工作

  1. 新建工程并添加工件料筐分割模块:打开 Mech-DLK,单击初始页面上的新建工程 ,选择工程路径并输入工程名以新建一个工程。在主界面,单击输入模块下的+按钮,在添加模块窗口选择工件料筐分割模块。

    example projects object bin segmentation
  2. 导入通用模型包:在弹出的添加通用模型包窗口中,单击选择文件按钮,选择要导入的模型包文件,并单击确定

    若本地没有工件料筐分割通用模型包,可点击下载链接,进入下载中心下载。
    object bin segmentation general model
  3. 导入图像数据:导入采集得到的图像数据。可通过以下方式导入图像数据

    • 方式一

      将图像或文件夹拖拽到图像列表区进行导入。不支持通过拖拽方式导入数据集。

    • 方式二

      在图像列表上方,单击导入/导出按钮。根据数据类型选择导入选项:

      • 从上一模块导入:导入上一模块的图像。

      • 导入图像:导入单张或多张图像。

      • 导入文件夹:导入文件夹中的所有图像(不包括子文件夹中的图像)。

      • 导入数据集:导入从 Mech-DLK 导出的 DLKDB 格式(.dlkdb)的数据集。

    • 使用工件料筐分割模块时,需同步导入深度图和彩色图。请确保两类图像文件夹位于同一目录,图像文件一一对应且尺寸一致。导入任意一类图像时,系统会自动导入另一类对应图像。

    • 输入模块支持对深度图和彩色图分别进行图像预处理,预处理配置对所有图像统一生效。

    导入成功后,在可视化区域,可通过切换深度图彩色图按钮查看图像效果。

    depth color switching
  4. 截取 ROI:单击 ROI 工具图标 example projects icon roi 从图像中框选料筐作为感兴趣区域,并单击 ROI 边框右下角的 tools introduction OK 应用当前ROI。截取 ROI 的目的是减少无关背景信息的干扰。

    object bin segmentation roi

数据标注

请严格遵循数据标注规范进行标注。

  1. 标注规则:工件料筐分割模块默认支持两种标注类别:料筐工件。不支持自定义标注类别。

    长按Ctrl键并向上滚动鼠标中键可以放大图像,方便更精准地标注。
  2. 标注数据:使用预训练标注工具多边形工具完成数据标注。建议先标注所有工件,再标注料筐。

    1. 在标注工具栏中,右键单击智能标注工具图标 example projects icon tool, 选择预训练标注工具,然后单击开始标注

      object bin segmentation label1
    2. 完成初步标注后,单击多边形工具图标 example projects icon tool2,对标注结果进行补充绘制和局部调整。

      object bin segmentation label2
    请根据实际场景选择合适的标注工具。更多标注工具使用详解,请参照标注工具
  3. 划分训练集和验证集:将标注过的图像移动至训练集中并划分训练集和验证集。一般场景推荐将80%的数据划分为训练集,20%划分为验证集。软件会自动将已经标注完成并移动至训练集中的图像数据进行划分。本模块训练时,验证集不是必需项。

    object bin segmentation add set

训练模型

  1. 训练模型:在训练选项卡下,设置训练参数后,单击 训练 开始训练模型。通常使用默认训练参数即可。如需调整参数,请参阅参数说明

    example projects training
  2. 通过训练信息观察训练情况:在训练选项卡下的训练信息栏,可实时查看模型训练信息。

    example projects view training info
  3. 通过训练图表窗口查看训练情况:单击训练选项卡下的显示图表按钮,即可在模型训练过程中实时查看模型精度曲线和损失曲线变化情况。精度曲线整体呈现上升趋势、损失曲线整体呈现下降趋势表明当前训练正常运行。

    example projects view training chart

验证模型

  1. 验证模型:训练完成或手动终止训练之后,单击验证选项卡下的验证按钮,验证模型。

    example projects verify chart
  2. 检查训练集中模型的验证结果:验证结束后,可在验证选项卡的验证统计中查看验证结果数量统计。

    • 点击详细报表按钮可打开详细报表窗口,查看更具体的验证统计结果。

    • 报表中的标注结果匹配矩阵显示模型推理结果与人工标注之间的对应关系,可以此判断模型中各类别的匹配情况。

    • 矩阵纵向为人工标注数据,横向为推理结果;矩阵中蓝色单元格表示推理结果与人工标注一致,其余单元格表示存在误差,可用于模型优化参考。

    • 点击矩阵里的数值,软件主界面图像列表将自动筛选,只显示点击数值对应的图像。

    example projects detail report

    若验证结果在训练集中存在漏检、错检,则说明模型训练效果不佳,请检查标注,调整训练参数,重新开始训练。 用户也可以点击详细报表窗口右下角的导出报表选择导出缩略图报表或原图报表。

    example projects export report
    不需要把测试集中所有存在漏检或错检的图像都标注后划分为训练集。可补充标注一部分图像,加入训练集,重新训练和验证模型,将剩余图像作为参考,观察验证结果,检验模型迭代效果。
  3. 重新开始训练:将新标注的图像加入训练集后,单击训练按钮,重新开始训练。

  4. 重新检查模型验证结果:训练结束后,再次点击验证按钮验证模型,重新检查模型在各数据集上的验证结果。

  5. 不断优化模型:重复以上步骤,不断优化模型性能,直至模型达到使用要求。

导出模型

单击 导出模型。在弹出的对话框中选择存放路径,然后单击导出,即可导出模型。

example projects model files

导出后的模型可在 Mech-Vision 中使用,单击此处查看详细说明。

该页面是否有帮助?

可以通过以下方式反馈意见:

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。