预测物体位姿(Sim2Pick)

您正在查看旧版本的文档。点击页面右上角可切换到最新版本的文档。

功能描述

当输入含有单一种类物体的点云时,该步骤将直接识别点云中的物体并输出其位姿。

使用场景

该步骤用于单一种类物体的识别及定位。通常在该步骤之前连接 提取3D ROI内点云 步骤,用于输入预处理后的物体点云;在该步骤之后连接 显示点云与位姿 步骤,用于查看该步骤的可视化输出结果。

为了保证该步骤输出的物体位姿具有较高的精度,前置步骤 提取3D ROI内点云 设置的 3D ROI 应仅包含目标物体,尽量不包含料筐的边框和筐底。

输入与输出

predict 6d poses of objects single type object input and output

使用前提

该步骤使用前提具体如下。

显卡要求

使用该步骤时,推荐使用介于 NVIDIA GTX 1650 Ti 和 RTX 3060 Ti 之间的显卡(包含 GTX 1650 Ti 和 RTX 3060 Ti )。

驱动要求

使用该步骤时,GPU 驱动版本的最低要求为 472.50。

获取深度学习模型文件

使用Mech-DLK Sim2Pick软件训练深度学习模型,具体操作可参考 使用Mech-DLK Sim2Pick训练模型

获取深度学习模型后,模型与“预测物体位姿(Sim2Pick)”步骤配合使用的方法可参考 使用深度学习模型

参数说明

服务端

服务端 IP

参数解释:该参数用于指定深度学习服务器的 IP 地址。保持默认即可。

默认值:127.0.0.1

服务端 Port(1 ~ 65535)

参数解释:该参数用于指定深度学习服务器的端口号。

默认值:60101

调节说明:所有端口号均可使用,最大为 65535。

打开工程后,需等待深度学习服务器启动成功,即日志栏出现启动深度学习服务器成功的信息后,再运行工程。

推理设置

推理模式

参数解释:用于选择深度学习推理的模式。 值列表:GPU、CPU

  • GPU:使用 GPU 推理前先对模型进行优化,然后对优化后的模型进行推理,推理速度较快。首次对模型进行优化时,需耗时 10~30 分钟。

  • CPU:使用 CPU 进行深度学习模型推理,与 GPU 相比,推理时间会增加,且识别精度会有所降低。

默认值:GPU

调节说明:推理速度:GPU>CPU。切换推理模式后,需重启深度学习服务器。

模型配置

深度学习模型文件

参数解释:该参数用于指定深度学习模型文件路径:vis_xxx\resource\models。模型文件后缀为 .onnx。

  • 修改深度学习模型文件后,需 重启深度学习服务器,以使参数修改生效。

  • 首次运行该步骤时,需要一定时间加载模型,且不同性能的显卡加载模型的时间不同,请耐心等待。

位姿优化

该步骤提供两种位姿优化功能选项:

  • 基于几何中心文件调整位姿:根据设置的几何中心文件,将深度学习输出的物体位姿调整为更适合抓取的物体位姿。

  • 位姿精确校正:根据物体点云文件,对物体位姿进一步优化,进行精确校正。

    几何中心文件

    参数解释:该参数用于指定物体几何中心文件的路径。

    位姿精确校正

    参数解释:该参数用于对物体位姿进行精确校正。

    默认值:不勾选。

    调节建议:勾选该参数后,需设置物体点云文件路径。位姿校正和点云点数相关,建议输入点云点数较少的 .ply 文件。当后续步骤中没有“3D匹配”相关步骤时,建议开启该选项。

    物体点云文件

    参数解释:该参数用于指定物体点云文件路径。支持选择 .ply 或 .stl 格式的点云文件。

实例聚类

该步骤提供三种聚类算法,分别为MeanShiftRegionGrowingDbscan,聚类速度说明如下表。

算法

速度

MeanShift

低速

RegionGrowing

高速

Dbscan

中速

推理模式CPU时,RegionGrowing算法不可用。

聚类算法

参数解释:该参数用于选择使用哪种聚类算法。

值列表:MeanShift、RegionGrowing、Dbscan

当聚类算法为MeanShift时,需调节以下参数。

聚类带宽

参数解释:该参数用于决定距离多近的点可聚类到一起。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个或以上的物体。

默认值:10

值范围:1~100

最小值:2

调节建议:需根据实际情况设定该参数。

类点数下限

参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。

值范围:1~50

默认值:30

调节建议:需根据实际情况设定该参数。

当聚类算法为RegionGrowing时,需调节以下参数。

类点数下限

参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。

默认值:30

值范围:1~50

调节建议:需根据实际情况设定该参数。

聚类半径

参数解释:该参数用于决定距离多近的点可聚类到一起,单位为毫米(mm)。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个以上的物体。

默认值:0.5 mm

值范围:0.1~20

最小值:0.4 mm

调节建议:需根据实际情况设定该参数。

相邻点数目

参数解释:在聚类半径内,该参数用于决定某个点和距离最近的多少个点聚类到一起。

默认值:30

值范围:1~200

最小值:10

调节建议:需根据实际情况设定该参数。

当聚类算法为Dbscan时,需调节以下参数。

聚类带宽

参数解释:该参数用于决定距离多近的点可聚类到一起。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个或以上的物体。

默认值:10

值范围:1~100

最小值:2

调节建议:需根据实际情况设定该参数。

类点数下限

参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。

值范围:1~50

默认值:30

调节建议:需根据实际情况设定该参数。

可视化

开启

参数解释:该参数用于选择是否可视化显示物体实例,即通过不同的颜色区分各个物体。

默认值:不勾选。

调节建议:根据实际需求设定该参数。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。