视觉工程配置
在该阶段,你需要完成视觉工程(即Mech-Vision工程)的配置,实现对目标物体的识别和定位。
如果项目对抓取精度有较高要求,请在部署时参考专题:抓取精度提升确保应用良好的抓取精度。 |
视觉工程包含了一系列视觉处理流程,从采集图像开始,然后对图像数据进行一系列算法处理(点云预处理、点云后处理、3D匹配、位姿调整、深度学习推理等),最终输出用于引导机器人的视觉结果(位姿、标签等)。
对于典型的应用场景,你无需从零开始搭建视觉工程。对于常见的工件上料、拆码垛、定位装配、货品拣选、质量检测等行业的典型应用场景,Mech-Vision软件的“案例库”已提供了典型的案例工程。你可以直接可以使用案例工程作为应用模板,快速完成视觉工程的创建、配置和调试。3D视觉引导典型案例实践文档将为你提供详细的视觉工程配置和调试指导。
对于案例库尚未包含的应用,你需要从零开始搭建工程,并进行配置和调试。视觉工程配置的流程如下图所示:
1 工程搭建 |
了解简单工程的搭建思路和方法。 |
|
了解工程的常用操作。 |
||
了解步骤的常用操作。步骤是工程搭建的基础,一个步骤即为一个算法处理单元,通过组合不同的步骤来构成不同的算法处理流程。 |
||
2 参数配置 |
完成相机参数调节,保证相机采集的2D图和深度图的质量符合要求,从而保证最终视觉工程输出视觉结果的效果。 |
|
3D匹配算法基于物体的点云模板进行目标物体识别。因此在配置视觉工程时,通常需要制作点云模板。 |
||
在复杂识别需求的场景,例如工件高反光或点云质量差,3D匹配算法无法达到较好的识别效果。深度学习算法可以辅助实现更好的识别效果。请参考该指南完成深度学习模型的训练与部署。 |
||
在目标物体识别成功后,通常需要对位姿进行一系列的处理,以方便机器人进行抓取。你可以使用位姿调整工具完成位姿的快速调整。 |
||
请参考该指南调整工程中每个步骤的参数。 |
||
3 调试优化 |
单步运行每个步骤以在调试窗口确认执行效果,运行整个工程以确认工程输出的视觉结果。 |
|
在使用深度学习的场景,如果深度学习推理效果不理想,需要对深度学习模型进行微调。 |
||
为了方便后续维护,需要定期备份工程数据。 |
||
4 生产运维 |
在视觉方案交付产线使用前,可以配置一套生产界面,方便现场操作员快速了解生产状况、查看生产结果、切换或增加新的工件型号,同时便捷进行运维和故障排查。 |
|
现场操作员可以根据该文档快速了解如何使用生产界面。 |