获取最高层彩色图

功能描述

本步骤组合的主要功能是通过深度图找到最高层区域,再找到对应区域的彩色图及掩膜。其组成如下图所示。

calc color for highest layer calc color for highest layer

使用场景

本步骤组合提取完成后的最高层彩色图,将用于后续深度学习处理。

处理流程与参数调节

此步骤组合的处理流程如下图所示:

calc color for highest layer calc color for highest layer frame

获取最高层掩膜

  1. 为了去除无关点云,提高后续步骤的处理效率,只保留需要的深度图区域,需在原始深度图中框选感兴趣区域。

    双击进入此步骤组合,在 将深度图3D ROI外的区域置为无效 步骤参数中单击设置 3D 感兴趣区域(ROI)按钮,在弹出的“设置目标区域”窗口中 框选 3D ROI

    下图为框选 3D ROI 前后的点云。左图为输入的原始深度图,包含较多无关点云;右图为框选感兴趣区域后的深度图,去除了感兴趣区域外的点云。

    calc color for highest layer invalidate depth pixels outside 3d roi
  2. 进行 深度图分割 ,将深度图按照深度不同分割成若干区域,并形成掩膜。

    深度图分割 步骤参数处,首先单击设置 2D 感兴趣区域(ROI)按钮,在弹出的“设置目标区域”窗口中 框选 2D ROI

    然后通过设置相邻像素区域之间的最大值差异,判断两个相邻像素是否属于同一区域,通过设置物体最小面积,判断有效的分割区域。

    如下图所示,左图为分割前的深度图,右图为分割后的深度图。

    calc color for highest layer segment depth image
  3. 获取深度图中最高的区域 。利用上一步骤的掩膜、深度信息,并通过设置合适的层高,找到深度图中最高的掩膜区域,如下图所示。该区域可能是一个,也可能是多个。

    calc color for highest layer get highest area in depth image

图像形态学变换

  1. 合并掩膜图像 ,针对上一步的多个最高层掩膜,将其进行合并,便于对掩膜图像进行形态学变换。合并后的最高层掩膜如下图所示。

    calc color for highest layer merge mask images
  2. 为了适当扩大掩膜的区域,需对掩膜进行 图像形态学变换 ,将掩膜进行膨胀(形态学操作类型为 DilateOperator)的图像形态学处理,便于后续更好的识别或抓取物体。

    calc color for highest layer morphological transformations

获取掩膜对应的彩色图

  1. 利用彩色图和已经处理过的掩膜,提取掩膜中对应的图像 ,获取掩膜对应的彩色图像,如下图所示。

    calc color for highest layer apply masks to image
  2. 使用 拆包数据 步骤获取掩膜图像列表第一个索引对应的彩色图,如下图所示。

    calc color for highest layer unpack data

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。