预测物体位姿(Sim2Pick)
使用场景
该步骤用于单一种类物体的识别及定位。通常在该步骤之前连接 提取3D ROI内点云 步骤,用于输入预处理后的物体点云;在该步骤之后连接 显示点云与位姿 步骤,用于查看该步骤的可视化输出结果。
为了保证该步骤输出的物体位姿具有较高的精度,前置步骤 提取3D ROI内点云 设置的 3D ROI 应仅包含目标物体,尽量不包含料筐的边框和筐底。 |
使用前提
该步骤使用前提具体如下。
获取深度学习模型文件
使用Mech-DLK Sim2Pick软件训练深度学习模型,具体操作可参考 使用Mech-DLK Sim2Pick训练模型 。
获取深度学习模型后,模型与“预测物体位姿(Sim2Pick)”步骤配合使用的方法可参考 使用深度学习模型 。
参数说明
服务端
- 服务端 IP
-
参数解释:该参数用于指定深度学习服务器的 IP 地址。保持默认即可。
默认值:127.0.0.1
- 服务端 Port(1 ~ 65535)
-
参数解释:该参数用于指定深度学习服务器的端口号。
默认值:60101
调节说明:所有端口号均可使用,最大为 65535。
打开工程后,需等待深度学习服务器启动成功,即日志栏出现启动深度学习服务器成功的信息后,再运行工程。 |
推理设置
- 推理模式
-
参数解释:用于选择深度学习推理的模式。 值列表:GPU、CPU
-
GPU:使用 GPU 推理前先对模型进行优化,然后对优化后的模型进行推理,推理速度较快。首次对模型进行优化时,需耗时 10~30 分钟。
-
CPU:使用 CPU 进行深度学习模型推理,与 GPU 相比,推理时间会增加,且识别精度会有所降低。
默认值:GPU
调节说明:推理速度:GPU>CPU。切换推理模式后,需重启深度学习服务器。
模型配置
-
- 深度学习模型文件
-
参数解释:该参数用于指定深度学习模型文件路径:vis_xxx\resource\models。模型文件后缀为 .onnx。
|
位姿优化
该步骤提供两种位姿优化功能选项:
-
基于几何中心文件调整位姿:根据设置的几何中心文件,将深度学习输出的物体位姿调整为更适合抓取的物体位姿。
-
位姿精确校正:根据物体点云文件,对物体位姿进一步优化,进行精确校正。
- 几何中心文件
-
参数解释:该参数用于指定物体几何中心文件的路径。
- 位姿精确校正
-
参数解释:该参数用于对物体位姿进行精确校正。
默认值:不勾选。
调节建议:勾选该参数后,需设置物体点云文件路径。位姿校正和点云点数相关,建议输入点云点数较少的 .ply 文件。当后续步骤中没有“3D匹配”相关步骤时,建议开启该选项。
- 物体点云文件
-
参数解释:该参数用于指定物体点云文件路径。支持选择 .ply 或 .stl 格式的点云文件。
实例聚类
该步骤提供三种聚类算法,分别为MeanShift、RegionGrowing、Dbscan,聚类速度说明如下表。
算法 |
速度 |
MeanShift |
低速 |
RegionGrowing |
高速 |
Dbscan |
中速 |
当推理模式为CPU时,RegionGrowing算法不可用。 |
- 聚类算法
-
参数解释:该参数用于选择使用哪种聚类算法。
值列表:MeanShift、RegionGrowing、Dbscan
当聚类算法为MeanShift时,需调节以下参数。
- 聚类带宽
-
参数解释:该参数用于决定距离多近的点可聚类到一起。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个或以上的物体。
默认值:10
值范围:1~100
最小值:2
调节建议:需根据实际情况设定该参数。
- 类点数下限
-
参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。
值范围:1~50
默认值:30
调节建议:需根据实际情况设定该参数。
当聚类算法为RegionGrowing时,需调节以下参数。
- 类点数下限
-
参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。
默认值:30
值范围:1~50
调节建议:需根据实际情况设定该参数。
- 聚类半径
-
参数解释:该参数用于决定距离多近的点可聚类到一起,单位为毫米(mm)。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个以上的物体。
默认值:0.5 mm
值范围:0.1~20
最小值:0.4 mm
调节建议:需根据实际情况设定该参数。
- 相邻点数目
-
参数解释:在聚类半径内,该参数用于决定某个点和距离最近的多少个点聚类到一起。
默认值:30
值范围:1~200
最小值:10
调节建议:需根据实际情况设定该参数。
当聚类算法为Dbscan时,需调节以下参数。
- 聚类带宽
-
参数解释:该参数用于决定距离多近的点可聚类到一起。值越大,距离越远的点越容易被聚为一簇。当该参数偏大时,可能会把两个以上的物体聚类成一个物体;当该参数偏小时,可能会把一个物体分离成两个或以上的物体。
默认值:10
值范围:1~100
最小值:2
调节建议:需根据实际情况设定该参数。
- 类点数下限
-
参数解释:该参数用于设置簇中最小点数。聚类时,当簇中点数低于该下限时,该簇将被忽略。
值范围:1~50
默认值:30
调节建议:需根据实际情况设定该参数。
可视化
- 开启
-
参数解释:该参数用于选择是否可视化显示物体实例,即通过不同的颜色区分各个物体。
默认值:不勾选。
调节建议:根据实际需求设定该参数。