预测物体位姿(Sim2Pick)

功能描述

当输入含有单一种类物体的点云时,该步骤将直接识别点云中的物体并输出其位姿。

使用场景

该步骤用于单一种类物体的识别及定位。通常在该步骤之前连接 提取3D ROI内点云 步骤,用于输入预处理后的物体点云;在该步骤之后连接 显示点云与位姿 步骤,用于查看该步骤的可视化输出结果。

为了保证该步骤输出的物体位姿具有较高的精度,前置步骤 提取3D ROI内点云 设置的 3D ROI 应仅包含目标物体,尽量不包含料筐的边框和筐底。

输入与输出

predict object poses sim2pick input and output

使用前提

该步骤使用前提具体如下。

显卡要求

使用该步骤时,推荐使用介于 NVIDIA GTX 1660 Ti 和 RTX 3060 Ti 之间的显卡(包含 GTX 1660 Ti 和 RTX 3060 Ti )。

驱动要求

使用该步骤时,GPU 驱动版本的最低要求为 472.50。

获取深度学习模型文件

联系梅卡曼德技术支持获取深度学习模型文件。

参数说明

服务端

服务端 IP

参数解释:该参数用于指定深度学习服务器的 IP 地址。保持默认即可。

默认值:127.0.0.1

服务端 Port(1 ~ 65535)

参数解释:该参数用于指定深度学习服务器的端口号。

默认值:60101

调节说明:所有端口号均可使用,最大为 65535。

打开工程后,需等待深度学习服务器启动成功,即日志栏出现启动深度学习服务器成功的信息后,再运行工程。

推理设置

推理模式

参数解释:用于选择深度学习推理的模式。 值列表:GPU、CPU

  • GPU:使用 GPU 推理前先对模型进行优化,然后对优化后的模型进行推理,推理速度较快。首次对模型进行优化时,需耗时 10~30 分钟。

  • CPU:使用 CPU 进行深度学习模型推理,与 GPU 相比,推理时间会增加,且识别精度会有所降低。

默认值:GPU

调节说明:推理速度:GPU>CPU。切换推理模式后,需重启深度学习服务器。

模型配置

深度学习模型文件

参数解释:该参数用于指定深度学习模型文件路径:vis_xxx\resource\models\model.onnx。模型文件后缀为 .onnx。

  • 修改深度学习模型文件后,需 重启深度学习服务器,以使参数修改生效。

  • 首次运行该步骤时,需要一定时间加载模型,且不同性能的显卡加载模型的时间不同,请耐心等待。

模板选择

参数解释:该参数用于选择用于匹配的点云模板。

位姿优化

位姿精确校正

参数解释:该参数用于对物体位姿进行精确校正。

默认值:不勾选。

调节建议:当后续步骤中没有“3D匹配”相关步骤时,建议开启该选项。

聚类设置

该步骤提供三种聚类算法,分别为MeanShiftRegionGrowingDbscan,聚类速度说明如下表。

算法

速度

MeanShift

低速

RegionGrowing

高速

Dbscan

中速

推理模式CPU时,RegionGrowing算法不可用。

  • 当聚类算法为MeanShift时,需调节以下参数。

    聚类半径

    参数解释:该参数用于决定距离多近的点可聚类到一起。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个或以上的物体。

    默认值:10

    值范围:1~150

    最小值:2

    调节建议:需根据实际情况设定该参数。

    聚类点数

    参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。

    默认值:30

    值范围:1~50

    调节建议:需根据实际情况设定该参数。

  • 当聚类算法为RegionGrowing时,需调节以下参数。

    聚类点数

    参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。

    默认值:30

    值范围:1~150

    调节建议:需根据实际情况设定该参数。

    聚类半径

    参数解释:该参数用于决定距离多近的点可聚类到一起,单位为毫米(mm)。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个以上的物体。

    默认值:0.5 mm

    值范围:0.1~100

    最小值:0.4 mm

    调节建议:需根据实际情况设定该参数。

    相邻点数目

    参数解释:在聚类半径内,该参数用于决定某个点和距离最近的多少个点聚类到一起。

    默认值:30

    值范围:1~500

    最小值:10

    调节建议:需根据实际情况设定该参数。

  • 当聚类算法为Dbscan时,需调节以下参数。

    聚类半径

    参数解释:该参数用于决定距离多近的点可聚类到一起。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个或以上的物体。

    默认值:10

    值范围:1~150

    最小值:2

    调节建议:需根据实际情况设定该参数。

    聚类点数

    参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。

    值范围:1~50

    默认值:30

    调节建议:需根据实际情况设定该参数。

可视化

开启

参数解释:该参数用于选择是否可视化显示物体实例,即通过不同的颜色区分各个物体。

默认值:不勾选。

调节建议:根据实际需求设定该参数。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。