使用模型进行预测

在Mech-Vision中使用实例分割模型

../../../_images/1_combination_steps.png

第一步:从相机获取图像。

第二步:缩放2D ROI内的图像,使实际数据与训练数据的ROI保持一致。 需要注意手动缩放ROI及自动缩放ROI的设置,一般情况下默认自动缩放即可。

../../../_images/2_2D_ROI_step.png

第三步:实例分割,输出深度学习分割结果。可根据需求判断分割结果是否符合要求,掩膜是否完整,是否有漏识别和误识别等情况(注意正确填写入模型文件.pth和配置文件.py)。 需注意以下几个参数:

../../../_images/3_instance_segmentation_step.png
预加载-最多识别个数
当模型一次需识别几十上百个物体时,需注意调整最多识别个数,如果识别个数少且工程有节拍要求,调低此参数可优化节拍。
预加载-置信度阈值
一般情况下,置信度阈值使用默认参数0.7即可。当识别出的物体掩膜置信度低于默认参数时,默认该物体不符合抓取要求且置信度字体显示为红色。可根据项目精度需求适当调整此参数,例如置信度数值较低但物体掩膜比较完整符合抓取要求时,可以适当降低置信度参数以增加可抓取物体数量。
字体-使用自定义大小
常规情况使用默认值即可,当被识别物较小时,可适当调小字体便于查看识别效果。
可视化-在图上画出检测物体
勾选True选项时可显示出被识别物体的掩膜,便于观察模型识别效果。正式运行时可关掉此选项以提高节拍速度。
可视化-可视化不同物体的方式
选择classes选项,掩膜会根据标签种类显示出不同颜色用于区分不同种类;选择Instances选项,掩膜会随机根据每个独立物体显示出不同颜色以示物体之间的区别;选择Threshold选项,掩膜会根据是否低于置信度阈值显示不同颜色以示置信度是否达标。

小技巧

若一个工程需要用到两个不同的实例分割模型,则使用两个实例分割步骤,分别配置对应的模型文件和配置文件;另外还需要将 服务端IP地址 分别设置为127.0.0.1:50052和127.0.0.1:50053,否则会导致端口冲突。

第四步:还原缩放后ROI内的图像(将图像还原为原图大小)。