使用任意物体抓取V2模块

您正在查看最新版本（V3.0.0）的文档。如果您想查阅其他版本的文档，可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本，请随时联系梅卡曼德技术支持。

基于任意物体抓取V2通用模型（单击下载），本文将展示如何使用任意物体抓取V2模块训练模型，识别目标物体的可抓取表面和被压叠表面。

整体流程包括五个步骤：准备工作、数据标注、训练模型、验证模型、导出模型。

用户可使用自己准备的数据。整体使用流程一致，标注环节存在差异。

准备工作

新建工程并添加任意物体抓取V2模块：打开 Mech-DLK，单击初始页面上的新建工程 ，选择工程路径并输入工程名以新建一个工程。在主界面，单击输入模块下的+按钮，在添加模块窗口选择任意物体抓取V2模块。
导入通用模型包：在弹出的添加通用模型包窗口中，单击选择文件按钮，选择要导入的模型包文件，并单击确定。

若本地没有任意物体抓取V2通用模型包，可点击下载链接，进入下载中心下载。

导入图像数据：导入采集得到的图像数据。可通过以下方式导入图像数据：

方式一

将图像或文件夹拖拽到图像列表区进行导入。不支持通过拖拽方式导入数据集。
方式二

在图像列表上方，单击导入/导出按钮。根据数据类型选择导入选项：
- 从上一模块导入：导入上一模块的图像。
- 导入图像：导入单张或多张图像。
- 导入文件夹：导入文件夹中的所有图像（不包括子文件夹中的图像）。
- 导入数据集：导入从 Mech-DLK 导出的 DLKDB 格式（.dlkdb）的数据集。

使用任意物体抓取V2模块时，需同步导入深度图和彩色图。请确保两类图像文件夹位于同一目录，图像文件一一对应且尺寸一致。导入任意一类图像时，系统会自动导入另一类对应图像。
输入模块支持对深度图和彩色图分别进行图像预处理，预处理配置对所有图像统一生效。

导入成功后，在可视化区域，可通过切换深度图、彩色图按钮查看图像效果。

截取 ROI：单击 ROI 工具图标从图像中框选料筐作为感兴趣区域，并单击 ROI 边框右下角的应用图标应用当前ROI。截取 ROI 的目的是减少无关背景信息的干扰。

请严格遵循数据标注规范进行标注。

标注规则：任意物体抓取V2模块默认支持两种标注类别：可抓取表面和被压叠表面。不支持自定义标注类别。

长按Ctrl键并向上滚动鼠标中键可以放大图像，方便更精准地标注。
标注数据：使用预训练标注工具和多边形工具完成数据标注。建议先标注所有可抓取表面，再标注被压叠表面。
1. 在标注工具栏中，右键单击智能标注工具图标，选择预训练标注工具，然后单击开始标注。
2. 完成初步标注后，单击多边形工具图标，对标注结果进行补充绘制和局部调整。绘制单个标注后，可单击对应类别图标选择标注类别。
请根据实际场景选择合适的标注工具。更多标注工具使用详解，请参照标注工具。
划分训练集和验证集：将标注过的图像移动至训练集中并划分训练集和验证集。一般场景推荐将80%的数据划分为训练集，20%划分为验证集。软件会自动将已经标注完成并移动至训练集中的图像数据进行划分。本模块训练时，验证集不是必需项。

训练模型：在训练选项卡下，设置训练参数后，单击训练开始训练模型。通常使用默认训练参数即可。如需调整参数，请参阅参数说明。
通过训练信息观察训练情况：在训练选项卡下的训练信息栏，可实时查看模型训练信息。
通过训练图表窗口查看训练情况：单击训练选项卡下的显示图表按钮，即可在模型训练过程中实时查看模型精度曲线和损失曲线变化情况。精度曲线整体呈现上升趋势、损失曲线整体呈现下降趋势表明当前训练正常运行。