训练分割小工件的高精度模型

本文以3D视觉引导曲轴上料为例,介绍在视野范围大、工件尺寸小的场景下,如何通过级联算法模块训练一个高精度的深度学习模型。

训练流程

曲轴自动化上料需要引导机器人从托盘中识别并抓取散乱放置的曲轴,可通过级联模块实现以下三个主要步骤:

  1. 使用目标检测模块定位装有曲轴的托盘位置。

  2. 使用实例分割模块分割出托盘上放置的曲轴。

  3. 使用目标检测模块定位曲轴大端,便于抓取。

需要根据各个模块的识别目标有针对性地进行数据采集及标注,才能训练出更精确的模型。

数据采集

调整相机的2D参数

  • 高分辨率模式:推荐使用高分辨率相机采集图像进行训练。本案例中,LSR L-V4相机使用1200万像素的高分辨率模式。

  • 曝光模式:由于环境光差异较大,并且背景托盘颜色多样,建议将RGB相机的曝光模式设置为自动曝光,并将自动曝光感兴趣区域设置为托盘。

  • 灰度值:曲轴为高反光工件,建议调整灰度值参数,确保在深色和浅色托盘背景下,工件图像均不过曝。

采集数据

为了保证数据的全面性和代表性,采集数据时需要包含以下场景:

  • 层高:采集不同层高的图像数据,特别是顶层、中间层和底层的数据。

    acquire layer heights
  • 托盘背景:采集每种颜色的托盘背景下的数据。

    acquire trays
  • 光照条件:采集早晚和不同工位的光照条件下的数据,尤其是反光状态的数据。

    acquire lighting conditions
  • 曲轴数量:采集从满盘到空盘不同数量的曲轴数据,特别是曲轴数量少于20个的数据。

    acquire crankshafts

筛选数据

根据每个算法模块需要识别的目标,筛选各模块需要的训练数据。

  1. 目标检测

    识别目标:托盘

    保证数据多样性,筛选依据包括托盘颜色、托盘位置、托盘层高和环境光照条件。

  2. 实例分割

    识别目标:曲轴

    根据曲轴数量和托盘颜色进行划分。满盘曲轴数量为100个,因此根据曲轴数量(0-20个):(20-50个):(50-100个)采集的数据比例大致为1:1:1。同时确保数据中每种颜色的托盘占比均衡。

  3. 目标检测

    识别目标:曲轴大端

    筛选出曲轴以不同角度摆放的数据后,去除重复数据,最终用于训练的数据量为100~300张。

数据标注

筛选出所需数据后,需要精确标注数据。

  • 目标检测

    识别目标:托盘

    标注托盘的最小外接矩形框。

    label tray
  • 实例分割

    识别目标:曲轴

    标注曲轴的精确外轮廓。

    label crankshaft
  • 目标检测

    识别目标:曲轴大端

    标注曲轴大端的最小外接矩形框。

    label crankshaft big end

至此,已完成了针对曲轴上料场景的数据采集和标注。您可以使用这些数据进行模型训练、验证模型效果并导出模型。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。