Mech-Vision 2.0更新说明

本文介绍Mech-Vision 2.0版本的新增功能、功能优化以及问题修复。

Mech-Vision 2.0.0更新说明

本节介绍Mech-Vision 2.0.0版本的新增功能、功能优化和问题修复。

新增功能

案例库优化重组

Mech-Vision 2.0.0对案例库进行了优化,根据用户实际需求,对案例进行了重新分组,且各个分组内配备了全新的案例。各分组具体说明如下。

  • 应用模板:针对常见的应用场景,提供了通用和标准化的方案模板,有助于快速在现场部署和调试方案。

  • 教学示例:针对现场常见的使用需求,提供了常见步骤组合和局部工程搭建思路。不仅可以用于基础教学,还支持通过直接复用快速实现关键功能。

  • 典型案例:基于众多真实应用案例,提炼出针对特定场景的典型案例,为优化您的方案提供参考。该类案例可以一键运行,直观展示3D视觉引导应用效果。

新增“工件库”功能

Mech-Vision 2.0.0新增工件库功能,工件库集成了点云模板生成与编辑、抓取点添加、碰撞模型设置等工件配置相关的功能,通过清晰的向导式工件配置流程,你可逐步完成工件配置,然后在后续的匹配任务中应用已配置完成的工件。同时,从2.0.0版本开始,Mech-Viz工程必须隶属于方案,Mech-Vision工程与Mech-Viz工程共享工具/工件配置。

工件库相关注意事项可参考升级注意事项

新增“3D工件识别”步骤

Mech-Vision 2.0.0新增3D工件识别步骤,步骤内置“3D工件识别”工具,工具聚合了点云预处理、3D匹配、去除压叠物体位姿等视觉处理功能,用于快速完成工件识别。

新增“3D匹配”步骤

Mech-Vision 2.0.0新增3D匹配步骤,该步骤集成了精匹配、粗匹配功能,可将工件点云模板与原始点云进行匹配, 并去除重叠和被压叠物体的位姿, 输出工件的精确位姿。该步骤适用于大部分需要对同一种物体的位姿进行粗匹配和精匹配的场景。

新增“自定义告警”功能

Mech-Vision 2.0.0新增自定义告警功能,允许用户设置告警触发条件、告警代码、告警信息等内容。在工程运行过程中识别到的数据产生异常时,系统会自动触发告警,帮助用户迅速排查并解决故障,从而保障生产的稳定性。

新增“系统内存风险提示”功能

Mech-Vision 2.0.0新增“系统内存风险提示”功能,当软件连续运行时间过长或系统内存不足时,将提示重启软件。

其他新增步骤

序号 步骤 说明

1

预测抓取点

集成了“预测抓取点(任意物体)”步骤和“预测抓取点V2”步骤的功能和使用场景,支持商超、盒状物抓取场景。

2

生成工件抓取策略

利用前序步骤输出的抓取点、物体中心点等信息,生成工件的抓取策略。

新增“连续运行工程”功能

Mech-Vision 2.0.0新增“连续运行工程”功能,支持设置连续运行最大次数工程运行后间隔

功能优化

优化方案和工程相关设置

从Mech-Vision 2.0.0 起,将完全使用“方案”作为存储单元,具体说明如下。

  • 新建方案时,方案内的工程将自动注册,即工程默认可被外部服务调用。

  • 不再支持自动加载未包含在方案中的工程,即该类工程不再支持被外部服务调用。

  • 不再支持“工程另存为”、“备份工程”功能,如需对工程进行备份,请使用“备份方案”功能。

优化生产界面

Mech-Vision 2.0.0对生产界面进行了优化,具体说明如下。

  • 兼容性相关问题

    • Mech-Vision 2.0.0无法打开Mech-Vision 2.0.0之前版本软件配置的生产界面,需使用新版软件重新配置生产界面。

  • 优化生产界面配置向导

    • 配置基础信息时,改变了生产单元数量限制,支持添加十个生产单元。

    • 增产部署时,支持通过导入STL文件和使用工件库制作工件的点云模板,不再支持使用“点云模板与抓取点编辑器”制作工件点云模板。

    • 增产部署时,当点云模板制作方法为“模板制作工程”时,选择点云、抓取点的方式由选择步骤改为选择步骤端口。

    • 配置通用设置时,支持进行软件启动设置,可选择再次启动软件时,默认进入的界面,该设置仅在方案被设置为自动加载后生效。

  • 优化生产界面

    • 支持监控相机网速,并且可在“运维管理”界面中查看相机带宽日志。

    • 支持对告警记录进行筛选,可选择查看全部告警、默认告警或自定义告警。

    • 优化工件信息展示布局,使信息展示方式更加合理与易读。

  • 其他优化项

    • 在Mech-Vision的菜单栏  选项下新增生产界面设置项,可设置是否在生产界面中显示高质量点云,以及是否在待机时显示宫格视图。

优化步骤库

Mech-Vision 2.0.0对步骤库进行了重新分组和精简,具体说明如下。

  • 按照实际的工程搭建需求,常用步骤被重新分组,更加符合用户使用习惯。

  • 删除了部分过时步骤和全部步骤组合,对步骤库进行了精简。

    单击此处查看可使用其他步骤替代的被删除步骤
    序号 步骤 可替代步骤

    1

    删去点云中部分点

    删除点云中部分点

    2

    3D粗匹配

    3D粗匹配V2

    3

    3D粗匹配(多模板)

    3D匹配与分类(多模板)

    4

    3D精匹配(多模板)

    3D匹配与分类(多模板)

    5

    去除被压叠的物体

    去除被压叠的物体(易用版)

    6

    去除被压叠的物体V2

    去除被压叠的物体(易用版)

    7

    生成圆柱形点云模板

    创建物体模型

    8

    获取在3D ROI内的位姿

    判断位姿是否在3D ROI内

    9

    提取三维盒子中的点云

    提取长方体内点云

    10

    通过掩膜提取图像区域

    提取掩膜中对应的图像

    11

    读取图像

    读取图像V2

    12

    读取点云

    读取点云V2

    13

    计算绝对值

    数值运算

    14

    截取点云列表

    限制输出的个数

    15

    点云处理(GPU)

    计算点云的法向量并滤波、计算点云法向并估计边缘

    16

    点云增加法向量

    计算点云的法向量并滤波、计算点云法向并估计边缘

    17

    根据标签进行过滤

    判断是否为所需的标签+过滤

    18

    获取第一张图像

    限制输出的个数

    19

    合并点云列表

    合并

    20

    合并标签列表

    合并

    21

    合并线段列表

    合并

    22

    合并位姿列表

    合并

    23

    法向计算

    计算点云的法向量并滤波、计算点云法向并估计边缘

    24

    缩放数值

    数值运算

    25

    点云筛选

    验证点云是否符合要求

    26

    位姿筛选

    根据与参考方向的夹角判断位姿是否有效

    27

    深度图像平滑处理

    图像滤波

    28

    点云排序

    计算指定的点云属性+排序并输出索引列表+按照索引对元素重新排序

    29

    实数减法

    数值运算

    30

    限制位姿的数目

    限制输出的个数

    31

    映射深度图到彩色图

    校正图像坐标系

    32

    3D位姿排序

    3D位姿排序V2

    33

    将VariantList转换为NumberList

    转换数据类型

    34

    将VariantList转换为Variant

    转换数据类型

    35

    获取2D轮廓点

    检测顶点

    36

    将Variant转换为VariantList

    转换数据类型

    37

    生成圆环点云

    创建物体模型

    38

    3D工件识别

    3D工件识别

    39

    绘制掩膜的最小外接矩形

    检测区域形状特征

    40

    调整位姿

    调整位姿V2

    41

    获取深度图中最高的区域

    获取最高层点云

    42

    检测角点

    检测顶点

    43

    输入分配器

    接受所有参数

    单击此处查看不可使用其他步骤替代的被删除步骤

    提取深度图3D ROI范围内为零的区域

    计算点云曲率

    点云平滑和法向计算

    点云畸变矫正

    将点投影到平面

    对齐平面点云

    过滤圆环点云列表

    检测被遮挡物体

    生成点云墙

    滤除出筐位姿

    计算结构光传感器的标定矩阵

    绘制多边形顶点

    在局部区域内滤除低分位姿(NMS)

    计算直方图

    深度图编码

    获取最高分数结果

    直方图匹配

    路径目标点匹配

    将2D位姿转换为3D位姿

    计算掩膜间距离

    验证掩膜是否含有2D位姿

    提取2D路径

    加载2D路径

    为2D位姿分组

    根据偏移量调整位姿

    根据倾斜调整位姿

    调整由相机畸变引起的位姿不精确

    矫正环形目标物体位姿

    保留按照正多边形分布的位姿

    生成位姿偏移量

    将位姿的Z值与阈值对比

    通过掩膜验证2D位姿

    验证位姿是否被遮挡

    寻找位姿与偏移量的对应关系

    读取3D ROI中心

    读取STL

    保存位姿的邻域为3D ROI

    复制图片

    计算并显示测量结果

    验证抓取点

    保存结果到XML文件

    沿扫描线进行深度聚类

    沿平行于轴的方向测量平面高度差

    测量间隙宽度

    计算平面宽度

    计算轮廓线平面度

    计算轮廓线平面度(降采样)

    均匀分割点云

    比较两深度图

    根据视差图生成深度图

    合并深度图

    连贯线绘制

    抠除背景

    将实际尺寸转换为像素尺寸

    提取法向偏差较大区域

    生成绕着参考位姿转动的离散化位姿

    替换列表内元素

    将深度图3D ROI外的区域置为无效

    计算沿参考方向的投影距离

    生成测试图像

    计算箱子尺寸

    生成测试点云

    计算边缘点云法向

    保存路径目标点

    滤除相邻过近的位姿

    加载并转换路径目标点

    将NumberList转换为VariantList

    计算直径和厚度

    圆柱的位姿补偿

    检测线段

    测试

    OCR

    发送点云到外部服务

    根据模板拟合位姿进行点云过滤

    读取二维码

    周期触发器

    触发器

    2D寻找圆孔

    计算平均灰度值

    评估图像清晰度

    统计颜色信息

    2D形状匹配

    2D模板匹配

    记录基准位姿并计算变换

    制作2D模板

    单击此处查看被删除的步骤组合

    计算圆孔中心位姿和直径

    计算腰孔中心位姿与长短轴

    提取平面点云

    从深度图分割点云

    将位姿变换到自定义坐标系

    根据到相机中心的XOY距离对点云进行排序

    抓取点排序

    三维排序

    二维排序

    点云预处理

    获取最高层彩色图

    获取最高层掩膜

    将点云从当前坐标系转换到指定坐标系

    3D匹配

    计算并调整平面点云位姿

    获取掩膜对应彩色图

    根据元素数量二值分类

    EIH系统漂移校正

    滤除点数超限的点云

    滤除感兴趣区域之外的位姿

    滤除角度超限的位姿

    保存图片数据和参数

    NOTE

    你可根据实际需求在案例库的教学示例分组下获取对应的步骤组合或局部工程搭建思路。

优化部分步骤

序号 步骤 说明

1

从相机获取图像

  • 支持读取多种格式的图像数据。

    • 彩色图:JPG、JPEG、PNG、BMP

    • 深度图:PNG、TIFF

  • 不再支持连接外置2D相机、LMI类型相机等第三方相机。

  • 删除“静态背景滤除设置”参数,不再支持去除深度图中的背景信息。

2

输出

  • 支持使用场景设置和碰撞检测设置。

  • 优化步骤英文名称,由“Procedure Out”改为“Output”。

3

深度学习模型包推理

  • 从Mech-Vision 2.0.0 起,“深度学习模型包推理”步骤仅支持加载目标检测、实例分割、图像分类、缺陷分割模型包,不再支持加载无监督分割、快速定位、文本检测、文本识别模型包。

  • 从Mech-Vision 2.0.0 起,“深度学习模型包推理”步骤仅支持加载Mech-DLK 2.4.1 及以上版本导出的模型包。

Mech-Vision 2.0.0 仅支持打开及运行Mech-Vision 1.7.4 及以上版本的带有深度学习模型的方案/工程,不支持打开Mech-Vision 1.7.4 以下版本的带有深度学习模型的方案/工程。

4

创建物体模型

支持通过输入端口输入物体模型的尺寸信息。

5

将深度图转换为点云

删除“静态背景滤除设置”参数,不再支持去除深度图中的背景信息。

6

删除点云中部分点

优化步骤英文名称,由“Remove Cloud Points from Point Cloud”改为“Delete Points in Point Cloud”。

优化界面和交互

Mech-Vision 2.0.0对界面和交互进行了优化,具体说明如下。

  • 优化主界面

    • 优化了工具栏样式和布局。

    • 优化主界面布局设置。重新开启软件后,软件界面将恢复默认布局,不会保持软件关闭前的界面布局。

  • 优化步骤界面及交互

    • 优化了部分重要步骤的标识,为其添加☆标志。

    • 增加步骤输出端口连接引导,当光标移动至输出端口处时,将显示“连线”提示。

    • 为高级组件类步骤添加“配置向导”按钮,单击该按钮后可进入对应的工具。

    • 不再支持通过长按并拖拽鼠标左键的方式查看可视化输出结果,仅支持通过开启调试输出,并开启步骤可视化功能(打开“眼睛”图标)查看可视化输出结果。

    • 不再支持从当前步骤往下运行工程功能。

  • 优化可视化区交互

    • 优化可视化区中的鼠标操作交互,并在操作提示窗口中增加动图类提示信息。

不再支持部分功能

从Mech-Vision 2.0.0起,将不再支持以下功能。

  • 快速标定

  • 内参标定

  • 测量模式

  • 涂胶工具

  • 相机查看器

  • 匹配模板与抓取点编辑器

    请使用工件库制作点云模板和抓取点。

  • EIH系统漂移自校正

    该功能优化中,暂时转换为插件,且插件不可勾选。

其他优化

  • Mech-Vision使用的Python引擎升级至3.9.13版本。

问题修复

Mech-Vision 2.0.0修复了以下问题:

  • 在方案下新建与已有工程同名的工程时,软件崩溃。

  • 为方案配置权限后,双击.vis文件后无法正常打开工程。

  • 路径规划工具中三维仿真界面的文字及坐标轴尺寸设置,仅在重新打开路径规划工具后才能生效。

  • 重置路径规划工具中的路径规划配置后,导致Mech-Vision软件崩溃。

  • 修改深度学习模型包管理工具中的配置后,重新打开软件时配置丢失。

  • 在标定预配置(桁架机器人)中,设置“绕Z轴旋转”作为影响相机位置的桁架机器人运动后,设置未生效。

  • 桁架机器人标定过程中,使用多个标定板添加标定点后,导致标定失败。

  • 标定过程中手动输入机器人法兰位姿时,软件未能根据机器人模型信息更新欧拉角类型。

  • 无法正常获取显卡信息时,软件误判GPU使用率较高,导致无法显示点云。

  • 使用降采样相关功能时,小概率出现软件崩溃问题。

  • 使用“使用Python计算结果”步骤运行脚本出现异常时,报错中出现乱码。

  • 使用“掩膜网格化”步骤处理某些数据时,小概率出现软件崩溃问题。

  • “从轮廓生成路径”步骤生成的路径有误。


关于Mech-Vision软件升级相关注意事项,可参考Mech-Vision 2.0.0 升级注意事项


我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。