常规匹配方案的Mech-Vision工程搭建总结¶

常规匹配方案主要分为两类：纯匹配方案、深度学习+匹配方案，两者的差别在于匹配前点云区域选取的方式。

图1 常规匹配方案的Mech-Vision工程结构¶

如图1所示，常规匹配方案的Mech-Vision工程结构由以下部分组成：

从相机获取图像：获取相机的数据。包括彩色图像（RGB）、深度图像（Depth），根据实际情况选择或填写对应相机属性即可。
点云预处理：将深度图转换为点云并计算点云法向量，提取感兴趣区域内滤波后的点云。
发送点云到外部服务：将深度图转换成的点云（XYZ-RGB）传输到Mech-Viz软件进行可视化。
根据深度图获取RGB图像：根据深度图感兴趣区域内的最高层获取RGB图像，去除其他区域对于后续深度学习识别的干扰。
深度学习识别给出Mask：检测识别输入图像中的目标对象，给出目标对象在图像中的精确位置（Mask）,参考实例分割组合。
过滤操作、标签处理：过滤操作对点云、位姿、标签等进行按需过滤。标签处理包括设计流程中标签的使用、映射等。
点云处理：处理优化点云，使点云能够符合匹配的需求。
匹配：包含单模板边缘模板匹配、单模板全模板匹配、多模板边缘模板匹配和多模板全模板匹配四种方式，针对不同应用场景灵活使用。
位姿步骤编辑器中编辑位姿：匹配的输出结果无法直接给到Mech-Viz进行作业，需要进行一些处理，如坐标系变换，位姿调整和位姿排序等，通过位姿步骤编辑器可快速的对位姿进行编辑。
输出：将Mech-Vision的结果输出到Mech-Viz。

注意

根据深度图获取RGB图像部分的使用要根据实际情况，比如模型数据是抠图训练的，周边环境对检测目标有干扰等情况；其他情况可与不添加根据深度图获取RGB图像部分的深度学习识别效果对比选用。