工件选择与识别
点云预处理完成后,需从工件库中选择一个或多个工件,作为待识别物体。
“工件选择与识别”流程的可视化区中显示的是工件的物体中心点,如需查看抓取点,可单击下一步,在“通用设置”流程的可视化区中查看。 |
如果使用外部服务触发Mech-Vision工程运行,建议触发前关闭“3D工件识别”工具。 如果触发工程运行时打开了“3D工件识别”工具,则在可视化区下方切换可视化选项后,可视化区和识别结果报表中的内容将不会更新。此时需关闭“3D工件识别”工具后开启调试输出功能,然后再打开“3D工件识别”工具,即可在切换可视化选项后查看识别结果和可视化输出结果。 |
选择工件
你可根据如下提示将工件库中的工件更新至“3D工件识别”工具,然后根据实际情况选择待识别工件。
-
若工件库中无工件,需根据实际情况选择工件配置流程并创建工件。工件配置完成并保存后,在“3D工件识别”工具中单击更新工件,将工件更新至“3D工件识别”工具。
-
若工件库中已有配置好的工件,可直接单击更新工件,将工件更新至“3D工件识别”工具。
使用深度学习(可选)
在实际项目中,如果待识别工件为高反光材质并存在点云缺失,或相机安装距离过远导致点云质量差,可考虑开启使用深度学习辅助识别,使用深度学习辅助识别工件。
|
-
导入深度学习模型包。
单击模型包管理工具,在深度学习模型包管理工具中导入深度学习模型包。具体操作方法可参考导入深度学习模型包。
-
选择深度学习模型包。
模型包导入完成后,即可在按钮下方的下拉栏中选择模型包。
-
设置目标区域(2D ROI)。
单击ROI,在弹出的“设置目标区域”窗口中设置目标区域并填写目标区域名称,用于提升深度学习推理效果。
-
推理配置。
单击推理配置,在弹出的“推理配置”窗口中设置置信度阈值,在深度学习识别过程中,置信度高于该阈值的结果将被保留。
-
设置字体大小。
该参数用于设置左侧深度学习结果中显示的文本字体大小,需根据实际需求设置该参数。
-
设置膨胀参数(可选)。
该参数用于增大深度学习掩膜的面积。当深度学习掩膜比工件小时,利用掩膜提取到的工件点云会存在缺失(特别是边缘点云),此时建议开启膨胀,增大掩膜面积,避免提取的点云存在缺失。
开启膨胀后,需根据实际需求设置核大小,核越大,膨胀效果越强。
识别工件
基础模式
匹配模式
- 自动设置匹配模式
-
参数解释:开启后,步骤将自动设置“粗匹配模式”和“精匹配模式”。
默认值:开启
- 粗/精匹配模式
-
参数解释:该参数用于设置匹配的模式。当不勾选自动设置匹配模式时,需设置该参数。
值列表:面匹配、边缘匹配
-
面匹配:利用物体的面点云模板进行点云模板匹配。
-
边缘匹配:利用物体的边缘点云模板进行点云模板匹配。
默认值:面匹配
调节建议:调节该参数时需考虑工件特征和获取的点云质量。当目标物体表面起伏特征较多时(如曲轴、转子等),建议使用面匹配,需制作体现物体表面起伏特征的点云模板。当目标物体较为扁平,且在相机下呈现出清晰、固定的边缘特征时(如面板、履带板、连杆、刹车盘等),建议使用边缘匹配,需制作体现物体边缘特征的点云模板。同时,如果物体点云质量一般,推荐使用面匹配。
-
运行方式
- 运行模式
-
参数解释:该参数用于设定匹配过程的精度及速度之间的权衡。精度越高,耗时越长。
值列表:高速、标准、高精度
默认值:标准
置信度设置
- 结果验证等级
-
参数解释:该参数用于选择验证匹配结果时的程度严格。
值列表:低、标准、高、超高
默认值:标准
调节建议:一般情况下,推荐选择标准。当场景点云和模板点云难以区分时,可选择较高的分数验证等级。
- 置信度阈值
-
参数解释:如果匹配结果的置信度大于此阈值,则认为该结果有效。置信度越高,匹配结果越准确。
默认值:0.3000
调节建议:建议先将该参数设置为默认值并查看运行结果。若出现误识别的情况,建议适当调高该参数;若出现漏识别的情况,建议适当调低该参数。
输出
- 最大输出结果个数
-
参数解释:该参数指定匹配成功的最大输出工件个数。该值越大,步骤运行时间越长。
默认值:10
调节建议:建议适当设置最大结果输出个数,不要将该值设置过高。
实际的 3D 匹配识别结果输出个数不一定与设置的最大输出结果个数一致。例如设置的最大输出结果个数为 5,实际一共只有 3 个 3D 匹配识别结果,则最后输出的 3D 匹配识别结果个数为 3。 |
高级模式
匹配模式
- 自动设置匹配模式
-
参数解释:开启后,步骤将自动设置“粗匹配模式”和“精匹配模式”。
默认值:开启
- 粗/精匹配模式
-
参数解释:该参数用于设置匹配的模式。当不勾选自动设置匹配模式时,需设置该参数。
值列表:面匹配、边缘匹配
-
面匹配:利用物体的面点云模板进行点云模板匹配。
-
边缘匹配:利用物体的边缘点云模板进行点云模板匹配。
默认值:面匹配
调节建议:调节该参数时需考虑工件特征和获取的点云质量。当目标物体表面起伏特征较多时(如曲轴、转子等),建议使用面匹配,需制作体现物体表面起伏特征的点云模板。当目标物体较为扁平,且在相机下呈现出清晰、固定的边缘特征时(如面板、履带板、连杆、刹车盘等),建议使用边缘匹配,需制作体现物体边缘特征的点云模板。同时,如果物体点云质量一般,推荐使用面匹配。
-
运行方式
- 运行模式
-
参数解释:该参数用于设定匹配过程的精度及速度之间的权衡。精度越高,耗时越长。
值列表:高速、标准、高精度
默认值:标准
粗匹配设置
- 运行方式
-
参数解释:该参数用于设定匹配过程的精度及速度之间的权衡。精度越高,耗时越长。
值列表:高速、标准、高精度、自定义
默认值:标准
- 期望的模板点云点数
-
参数解释:该参数用于设置期望的模板点云中点的数量。当运行方式为自定义时,需设置该参数。
默认值:300
精匹配设置
- 运行方式
-
参数解释:该参数用于设定匹配过程的精度及速度之间的权衡。精度越高,耗时越长。
值列表:高速、标准、高精度、超高精度、自定义
默认值:标准
- 采样间隔
-
参数解释:该参数值越大,采样后点云中的点数越小,点云越稀疏。因此,匹配精度会降低。而参数值越小,运行时间越长。
默认值:5.000 mm
- 最大迭代次数
-
参数解释:该参数值越大,匹配精度越高,处理速度越慢。
默认值:40
- 标准偏差衰减更新步数
-
参数解释:该参数用于微调标准偏差。
默认值:3
- 偏差矫正能力
-
参数解释:该参数用于选择对粗匹配结果的纠偏能力。能力越大,越能把与实际物体位姿偏离较远的粗略位姿纠正为精确位姿。但如果纠偏能力过大,会导致精度损失。
值列表:小、中、大
默认值:小
额外精匹配
- 使用额外精匹配
-
参数解释:开启后,最终的匹配精度可能会提高,但运行时间会略微增加。请根据实际情况决定是否开启。
默认值:关闭
位姿过滤
- 使用基于位姿距离的非极大值抑制
-
参数解释:开启后,若候选位姿与已选定位姿的距离小于物体直径的 0.1 倍,则该候选位姿将被滤除。
默认值:开启
- 自动设置模板旋转角度上限
-
参数解释:开启后将自动设置模板旋转角度上限。主要用于过滤与工件正反匹配错误的位姿。
默认值:开启
- 模板旋转角度上限
-
参数解释:当模板点云匹配至场景点云时,根据模板绕 X 轴或 Y 轴的旋转角度过滤位姿。当模板旋转角度超过模板旋转角度上限时,该位姿将被过滤。
默认值:135.00°
长条物体增强
- 启用长条物体增强
-
参数解释:在匹配长条形工件时,工件和点云容易在物体的长轴方向上错位,两端不能准确对齐。开启该功能后,可以提高长条形工件的匹配精度。
默认值:关闭
避免误匹配
- 调整位姿
-
参数解释:选择调整 X 轴朝向后,可以将粗匹配得到的位姿 Z 轴固定,X 轴旋转至指定方向;选择过滤可能匹配失败的位姿后,将使用工件库中计算出的可能匹配失败的位姿辅助匹配,从而避免误匹配。
值列表:无、调整 X 轴朝向、过滤可能匹配失败的位姿
默认值:无
调节说明:如需使用过滤可能匹配失败的位姿参数,需在工件库的点云模板配置中开启配置点云模板功能,并选择自动计算可能匹配失败的位姿并进行相关设置,然后在“3D工件识别”工具中单击更新工件。
置信度设置
- 置信度策略
-
参数解释:该参数用于指定设置置信度的方式。
值列表:手动、自动
-
自动:自动设置联合评分策略。
-
手动:手动设置联合评分策略。
调节说明:推荐使用自动,若自动选项下的识别效果不满足现场需要,再将该参数设置为手动并调节相关参数。选择手动后,可根据实际情况分别为面匹配和边缘匹配设置结果验证等级和置信度阈值。
-
- 结果验证等级
-
参数解释:该参数用于选择验证匹配结果时的程度严格。
值列表:低、标准、高、超高、自定义
默认值:标准
调节建议:一般情况下,推荐选择“标准”。当场景点云和模板点云难以区分时,可选择较高的分数验证等级。
- 搜索半径
-
参数解释:当场景点云和模板点云之间的距离小于该值时,认为场景点云和模板点云重合,重合的点越多,匹配结果验证分数越高。当结果验证等级为自定义时,需设置该参数。
默认值:10.000 mm
- 采样间隔
-
参数解释:设置采样间隔,用于对模板点云和场景点云进行降采样(仅用于验证匹配结果)。该值越大,采样后的点云点数越少。当结果验证等级为自定义时,需设置该参数。
默认值:5.000 mm
- 置信度阈值
-
参数解释:如果匹配结果的置信度大于此阈值,则认为该结果有效。置信度越高,匹配结果越准确。
默认值:0.3000
调节建议:建议先将该参数设置为默认值并查看运行结果。若出现误识别的情况,建议适当调高该参数;若出现漏识别的情况,建议适当调低该参数。
- 面匹配中考虑法向偏差
-
参数解释:在对面匹配结果进行验证时,考虑场景点云和模板点云对应点的法向的角度差异,勾选后,输出的匹配结果个数可能减少,但可提高匹配结果准确性。
默认值:不勾选
输出
- 最大输出结果个数
-
参数解释:该参数指定匹配成功的最大输出工件个数。该值越大,步骤运行时间越长。
默认值:10
调节建议:建议适当设置最大结果输出个数,不要将该值设置过高。
实际的 3D 匹配识别结果输出个数不一定与设置的最大输出结果个数一致。例如设置的最大输出结果个数为 5,实际一共只有 3 个 3D 匹配识别结果,则最后输出的 3D 匹配识别结果个数为 3。 |
去除重叠物体位姿
- 启用去重叠功能
-
参数解释:该参数用于指定是否开启去除重叠物体的功能。
默认值:开启
- 重叠比例阈值
-
参数解释:该参数用于设置物体与另一物体重叠比例的阈值。当两个物体重叠比例超过此值时,将去除位姿置信度低的物体。当开启启用去重叠功能时,需设置该参数。
默认值:30%
去除压叠物体位姿
- 启用去压叠功能
-
参数解释:该参数用于指定是否开启去除压叠物体的功能。
默认值:开启
- 压叠比例阈值
-
参数解释:该参数用于设置物体与其他物体压叠比例的阈值。当压叠比例超过此值时,该物体将被判断为压叠物体。当开启启用去压叠功能时,需设置该参数。
默认值:30%