防错检查(正反/有无分类)
本文将介绍正反/有无分类场景下的工件识别配置流程。该方式用于判断目标物体正反面朝向是否准确,或目标物体是否存在,防止漏装、装反等错误。
单击配置向导,选择防错检查场景,并选择正反/有无分类方式,即可进入该配置流程。
使用流程
整体识别流程包括四个步骤:
-
图像预处理:对输入图像进行色彩转换、增强、降噪、形态学变换等预处理,提升图像质量,突出目标物体特征并减少背景干扰,为后续目标物体识别提供可靠的数据基础。
-
位姿对齐:设置识别区域,并通过对齐操作使识别目标与模板对齐。可根据识别目标特征选择合适的校正方式,灵活配置参数,消除位置与角度偏差,提升识别准确性和结果可靠性。
-
防错检查:根据实际需求,在对齐后的图像中设置检测用的目标区域,并完成图像标注和判定规则配置,实现目标物体正反/有无状态的自动识别与分类。
-
通用设置:配置输出端口,输出判定结果和状态等相关信息,满足产线自动化检测需求。
图像预处理
在识别目标物体之前,可根据输入图像质量,选择开启转换图像色彩空间或图像预处理,进行相应的参数调整,使图像特征更清晰,从而提高识别的准确度和效率。
转换图像色彩空间
转换图像色彩空间可以将输入图像从一种色彩空间转换为另一种色彩空间,例如从 BGR 转灰度图、BGR 转 HSV等。通过色彩空间的转换,可以更好地突出图像特征,方便后续图像处理。
具体参数说明和调参案例请阅读 转换图像色彩空间。
位姿对齐
完成图像预处理后,进行位姿对齐设置。通过设置识别区域和校正参数,将当前图像中识别目标的位姿修正为与模板一致,确保后续识别的准确性与可靠性。
添加校正设置
进入位姿对齐流程后,需要新建校正参数组。系统支持创建多个参数组,每个参数组都可以独立设置识别区域和参数,互不影响。
单击添加按钮,进入新建参数组窗口。在创建参数组时,需要根据图像特征选择合适的校正方式,并配置相应参数。
目前支持以下三种校正方式:
-
不启用校正:直接使用原始输入图像进行识别,不进行任何位姿对齐处理。适用于识别目标在图像中的位置相对固定、对校正精度要求不高的场景。
-
2D 对齐:通过平移和旋转操作,将识别目标的位姿与模板对齐。该方式可提取识别目标的边缘轮廓,并采用边缘匹配算法实现精准对齐,适用于识别目标位置不固定,具有明显固定轮廓的场景。具体配置可阅读 2D 对齐。
-
2D Blob 对齐:用于检测图像中的明暗区域(即 Blob)。根据 Blob 的几何特征(如面积、质心等)筛选出目标 Blob,并计算其最小外接旋转矩形。随后调整图像位姿,使目标 Blob 的质心与图像中心点重合,并将其最小外接旋转矩形的主轴与图像坐标轴对齐。具体配置可阅读 2D Blob 对齐。
完成参数组创建后,右键单击参数组名称,或直接单击其右侧的功能按钮,即可执行重命名、删除或创建副本等操作。
2D 对齐
2D 对齐是一种通过平移和旋转操作,使输入图像中的识别目标与模板对齐的校正方式。可消除因识别目标位置不一致带来的识别误差,提升识别稳定性。选择该方式后,需要依次完成识别区域设置、模板设置和识别参数调优。
设置识别区域
用于设置对齐的有效范围。框选时需完全覆盖识别目标,并在其四周预留适当余量,以确保对齐操作的稳定性和后续识别的准确性。可根据实际需求,选择全部为识别区域或自定义识别区域。选择自定义后,需单击“框选”按钮手动框选识别区域。
-
全部为识别区域:对整张图像进行识别,通常适用于识别目标分布较广的场景。
-
自定义识别区域:仅对框选区域进行识别,通常适用于只需关注图像中某一部分,或希望排除无关区域(如背景、夹具等干扰)的场景,有助于提升识别效率和准确率。
识别工件
设置工件模板
在设置好识别区域后,选择或编辑模板,用于后续识别目标的定位与匹配。单击编辑按钮,进入 2D 匹配模板编辑器。
应从图像中选取具有代表性且稳定的边缘特征来生成模板,确保系统后续能自动在图像中搜索并定位与该模板特征一致的识别目标,保证匹配结果唯一且准确。详细说明请参考 2D 匹配模板编辑器。
| 每次完成模板编辑后,需单击更新以应用最新配置。 |
调整识别参数
选择模板后,可单击运行步骤查看模板匹配结果和识别效果。
若识别效果不理想,可根据识别目标的特征和需求调整其他参数,以优化识别效果。
具体参数说明请参考 2D 对齐。
随后,单击下一步进入防错检查流程。
2D Blob 对齐
2D Blob 对齐是一种基于 Blob 的校正方式。该方式从图像中检测所有 Blob,并筛选出几何特征最显著的 Blob,随后调整图像位姿,使目标 Blob 的质心与图像中心点重合,并将其最小外接旋转矩形的主轴与图像坐标轴对齐。选择 2D Blob 对齐后,需要依次完成识别区域设置和识别参数调优。
防错检查
对齐图像后,进入正反/有无判定流程。通过设置目标区域、进行图像标注并配置判定规则,实现对目标物体正反/有无状态的自动识别与分类。
采集图像
采集用于训练模型的图像数据。
-
确认当前步骤的输入端口已接入图像数据。
-
进入工具时,相机将自动采集一张图像数据用于模型训练,你可单击采集图像按钮,采集新的图像数据训练模型。
|
采集图像时,建议覆盖生产现场的典型变化,包括:
多样化的图像有助于模型适应实际环境,提升判定准确率。 |
设置目标区域
采集图像后,需要设置目标区域(ROI),便于后续标注和训练。
-
单击编辑按钮,进入目标区域设置界面。
-
设置目标区域。
选择"矩形"或"圆形"框选工具,在可视化区域拖拽绘制 ROI。请根据目标物体的实际位置和形状,准确框选目标区域,避免包含无关背景。
-
框选目标区域时可以仅框选包含关键特征的区域。
-
若需手动框选多个 ROI,建议先绘制一个 ROI,再通过复制粘贴生成其他 ROI,以保证每个目标区域的大小一致,提升模型训练的稳定性和判定准确率。
-
-
设置屏蔽区域(可选)。
当目标区域内存在反光、阴影或固定背景等无关干扰时,可通过设置屏蔽区域将其排除,避免影响模型训练和分类判定结果。
单击设置屏蔽区域按钮,使用“多边形”框选工具在可视化区域绘制屏蔽区:单击左键添加多边形顶点,双击右键闭合多边形完成框选。
-
设置完成后,单击 保存并使用,应用目标区域配置。
|
当目标区域和屏蔽区域的掩膜完全重叠时,仅置顶的图层支持编辑。
|
标注图像
采集图像并设置目标区域后,需要对图像进行标注,以便模型学习不同类别的特征。
-
单击编辑按钮,进入图像标注流程。
-
在可视化区域中,选中已框定的目标 ROI,在右侧的标注类别选项中,单击 OK 或 NG 类别对应的标注图像按钮,完成对单个目标的标注。
该工具使用固定的 OK 和 NG 类别进行标注,现场可根据实际需求定义其业务含义。例如,可将“正面”或“有”标注为 OK 类别,将“反面”或“无”标注为 NG 类别。
-
若当前图像中的所有目标已涵盖 OK 和 NG 类别,则可直接完成标注,无需采集新图像。若某一类别未被覆盖,或图像仅包含单个目标,则需单击采集图像按钮采集新图像,补充未覆盖的类别,重复上述标注步骤。OK 类别至少标注一例,NG 类别如包含多种情况,建议每种情况至少标注一例,以覆盖该类别的典型情况。
-
为确保模型识别准确,建议训练数据中包含目标物体 OK 和 NG 两个类别的多样化图像,并覆盖多种拍摄条件(如位置偏移、污渍、划痕、变形、色调或背景差异),标注越充分,模型适应能力越强。
-
避免标注类别模棱两可的图像,以免影响模型学习效果。
-
若真实生产场景下的光照或目标物体角度存在不确定性,可在高级设置开启“适应亮度变化”或“适应旋转变化”选项。系统会自动对已标注的图像进行轻微旋转、亮度调整,生成更多不同条件的虚拟图像用于模型训练,从而帮助扩充训练内容、提升模型的泛化能力。
-
-
标注完成后,单击保存并使用,保存标注结果。
模型训练与验证
-
训练模型。
标注完成后,单击训练按钮开始模型训练,等待提示训练完成。
-
验证模型效果。
单击验证按钮进入验证界面。你可在此界面查看或设置如下参数,并观察模型的识别结果是否符合预期。
参数 说明 验证结果
参数解释:显示分类判定结果。根据识别结果显示为 OK 或 NG 类别。
耗时
参数解释:显示单次推理耗时(单位:ms)。
置信度阈值
参数解释:模型判定为 OK 类别的最低置信度标准。低于此值的图像将被判定为 NG 类别。
默认值:0.5
调节说明:推荐使用默认值。
判定设置
参数解释:当图像中存在多个目标区域时,选择“全部为OK”表示仅当所有目标区域均被识别为OK类别时,验证结果才显示为 OK;选择“至少一个为 OK”表示只要任一目标区域被识别为OK类别,验证结果就显示为 OK。
值列表:全部为OK、至少一个为OK
默认值:全部为OK
调节说明:请根据实际需求选择合适的判定设置。
热力图
参数解释:开启后,在图像上叠加显示模型关注区域的可视化热力图。颜色越深(或越暖),表示模型对该区域的特征关注度越高。
默认值:关闭。
调节说明:通常,热力图应集中在目标区域内的特征位置,如边缘、缺陷或纹理等。可用于辅助判断模型关注重点。
若热力图分布过于分散或集中在无关区域,可能表示模型未正确学习到有效特征,此时建议返回前面步骤补充更多样化的训练图像并重新训练模型。
-
追加训练(可选)。
若判定结果未达预期,可通过“追加训练”功能补验证中识别错误或未覆盖的图像。
-
单击追加训练,进入图像标注流程。
-
在可视化区域选择判定错误的图像或重新采集图像进行标注。
-
标注完成后,单击保存并使用,系统将根据新的标注数据重新执行训练并验证。
-
你可重复执行“训练→验证→追加训练”,直到模型效果满足预期。
追加训练为增量训练,在已有模型基础上优化,无需从头开始。
如追加训练后效果未改善,建议检查标注准确性,或返回采集阶段补充更多典型图像。
-
-
保存并应用模型。
验证通过后,单击保存并使用按钮,保存模型配置。
至此,模型配置已完成。单击下一步进入通用设置流程。