从相机获取图像

功能描述

该步骤用于从真实相机或本地数据获取彩色图、深度图和点云。

提示

使用该步骤连接 DEEP(V4)和 LSR(V4)系列相机,且相机 2D 图源类型为 同源纹理图(Internal IR) 时,该步骤输出的“彩色图”为 2D 图(深度源)。如需调节 2D 图(深度源),请调节 Mech-Eye Viewer 中的 2D 图(深度源)曝光模式2D 图(深度源)曝光时间

使用场景

该步骤一般作为 Mech-Vision 工程的第一个步骤,用于通过 Mech-Eye 工业级 3D 相机或第三方相机采集数据,或者在虚拟模式下读取本地保存的图像数据。

输入与输出

../../../../../_images/input_and_output42.png

参数调节说明

相机设置

相机类型
参数解释:该参数用于选择所用相机的类型。
值列表:
  • External2D:外置 2D 相机。

  • LMI:LMI 相机。

  • Mech-Eye:默认值,Mech-Eye 工业级 3D 相机。

  • Mech-EyeTOF:Mech-Eye 工业级 3D 定制相机。

注意

  • Mech-Eye 工业级 3D 相机固件版本升至 2.0.0 后,推荐使用 Mech-Vision 1.6.2 及以上版本。如使用 Mech-Vision 1.6.1 及以下版本,连接 External2D EBUSCamera 中的 Mech-Eye 工业级 3D 相机时可能导致软件崩溃。

  • 仅 Mech-Eye 支持 虚拟模式

调节说明:不同类型的相机对应不同的参数,请根据实际情况进行调节。

Mech-Eye

关闭 虚拟模式 时,使用真实相机;开启 虚拟模式 时,使用本地数据。默认关闭虚拟模式。

使用真实相机

相机编号
参数解释:该参数用于连接相机,并选择相机标定参数组。
设置方法:
  1. 单击 选择相机 ,进入 选择要用的相机和其参数组 页面。

  2. 选择想要连接的相机,然后单击 icon_2

    注解

    相机连接成功后,icon_2 按钮变为 icon_3

  3. 相机连接成功后,在 选择参数组 下拉列表中选择标定参数组,单击 确定

    注解

    标定参数组选择成功后,将自动填入相机编号、 相机标定参数组IpPort 参数。

相机标定参数组
参数解释:该参数用于指定相机的标定参数组。
IP
参数解释:该参数用于显示相机 IP 地址,请勿更改。
Port
参数解释:该参数用于显示相机端口号,请勿更改。

提示

IP端口号 仅用于显示。如更改这两个参数,将导致相机断连。

超时时间
参数解释:该参数用于设置相机收到信息至将数据返回给客户端的最大时间,单位为秒(s)。相机超时包含以下两种场景:
  • 相机在最大时间内未成功连接

  • 相机在最大时间内未成功采集数据

默认值:20s
相机重连次数
参数解释:该参数用于指定相机连接超时导致相机连接失败时,重新尝试连接相机的最大次数。
默认值:3
相机配置参数组
参数解释:该参数用于选择相机参数组,相机将根据当前参数组中的参数采集数据。

提示

您可在 Mech-Eye Viewer 中 增加/删除参数组

相机型号:
参数解释:只读参数,该参数用于显示当前连接相机的型号。
相机 2D 图源类型
参数解释:该参数用于设置相机输出的 2D 图类型。
值列表:
  • 同源纹理图:默认值。2D 图(深度源),与深度图坐标系相同,无需矫正。

  • 外置彩色图:2D 图(纹理),需矫正后才可使用。使用此参数时,需勾选 矫正至深度图坐标系

提示

该参数仅适用于 LSR (V4) 与 DEEP (V4) 系列相机。

矫正至深度图坐标系
参数解释:该参数用于将外置彩色图坐标系矫正至深度图坐标系。
默认值:勾选。

提示

相机 2D 图源类型外置彩色图 时,才可设置该参数。

静态背景滤除设置

使用深度图去背景
参数解释:该参数用于去除深度图中的背景信息。
默认值:不开启。
深度背景图片
参数解释:该参数用于采集或读取背景深度图。
默认值:depth_background.png
设置方法:
  1. 单击 选择背景深度图文件 ,进入设置背景页面。

    • 如本地有合适的背景图像,请查看步骤 2;

    • 如本地无合适的背景图像,请查看步骤 3。

  2. 单击 ,选择图像,单击 确定 ,深度背景图片选择完成。

  3. 在页面右侧的 检测到的相机 中,选择相机,然后单击 icon_2,连接相机。

    注解

    相机连接成功后,左侧 图像视图 中将显示从相机获取的深度图。

  4. 如需更新深度图,单击 单次采集连续采集

  5. 如需修改背景图像文件名称,在 背景图像 中输入文件名称即可。

  6. 单击 确定 ,深度背景图片选择完成。

背景深度的波动
参数解释:该参数用于对比物体中点的深度与背景图深度,单位为毫米(mm)。当点的深度与背景图深度的值小于该值时,该点将会被当作背景点去除。
默认值:10mm
采集次数
参数解释:该参数用于指定相机采集超时导致相机采集数据失败时,相机采集数据的总次数。
默认值:3
建议值:3
Mech-Center 中的机器人服务名
参数解释:该参数用于填写机器人服务名,需与 Mech-Center 中连接的机器人名称型号一致。
默认值:空。

使用虚拟相机

开启 虚拟模式 时,需设置的参数如下。

相机标定参数组
调节说明:当 图像数据路径 选择完成后, 相机标定参数组 将自动填充。若 图像数据路径 下存在多个相机标定参数组,可在此项的下拉栏中选择想要使用的相机标定参数组。
数据路径
参数解释:该参数用于选择图像及内外参所在的文件夹。
设置方法:单击右侧 icon_1 ,选择图像及内外参所在的文件夹。

提示

虚拟模式下,图像文件名和文件格式应遵循如下要求,且彩色图和深度图的图像编号需一一对应。

  • 彩色图需要以“rgb_image_xxxx.jpg”命名;

  • 深度图需要以“depth_image_xxxx.png”命名。

如果相机安装方式为 Eye-in-Hand,需注意图像编号和法兰位姿一一对应。

虚拟相机助手:
  • 若存在下列情况,将触发 虚拟相机助手 ,以辅助用户选取图像数据。

    • 未在 数据路径 中填写路径;

    • 选中的文件夹中存在多组数据;

    • 选中的文件夹中缺少彩色图数据、深度图数据或内外参数据。

  • 使用虚拟相机助手时,数据读取步骤为:

    1. 虚拟相机助手 中,单击 icon_4 ,选择数据路径。

      注解

      路径添加完成后,将自动填入 相机编号参数组

    2. 单击 验证 ,出现 相机参数组已更新 字样。

    3. 依次单击彩色图、深度图与法兰位姿右侧的 icon_4,选择彩色图、深度图和法兰位姿所在文件夹。选择完成后,单击 确定

      提示

      相机安装方式为 Eye in Hand 时,才需要添加法兰位姿。

    4. 最后在弹出的 设置完成 窗口中单击 确定

注意

虚拟模式下,如数据路径中的图像数据发生变动时,需重新选择数据路径,否则将无法读取变动后的图像数据。

播放模式
参数解释:该参数用于指定图像的读取顺序。
值列表:
  • 顺序播放:默认值,按文件夹中图像的顺序依次读取图像。

  • 循环单张:重复读取当前图像。

  • 循环所有:按顺序读取所有图像,当读取完最后一张时,再从头读取。

  • 随机播放:随机读取图像。

调节说明:根据实际需求选择图像数据的读取模式。
当前播放帧
参数解释:该参数用于显示当前读取图像的编号或时间。
图片名类型:
参数解释:该参数用于选择 彩色图路径 输出端口输出的图片名类型。
值列表:完整路径、文件全名、文件名。
默认值:完整路径。

静态背景滤除设置

使用深度图去背景
参数解释:该参数用于去除深度图中的背景信息。
默认值:不开启。
深度背景图片
参数解释:该参数用于采集或读取背景深度图。
默认值:depth_background.png
设置方法:
  1. 单击 选择背景深度图文件 ,进入设置背景页面。

    • 如本地有合适的背景图像,请查看步骤 2;

    • 如本地无合适的背景图像,请查看步骤 3。

  2. 单击 ,选择图像,单击 确定 ,深度背景图片选择完成。

  3. 在页面右侧的 检测到的相机 中,选择相机,然后单击 icon_2,连接相机。

    注解

    相机连接成功后,左侧 图像视图 中将显示从相机获取的深度图。

  4. 如需更新深度图,单击 单次采集连续采集

  5. 如需修改背景图像文件名称,在 背景图像 中输入文件名称即可。

  6. 单击 确定 ,深度背景图片选择完成。

背景深度的波动
参数解释:该参数用于对比物体中点的深度与背景图深度,单位为毫米(mm)。当点的深度与背景图深度的值小于该值时,该点将会被当作背景点去除。
默认值:10mm

External2D

相机编号
参数解释:该参数用于连接相机,并选择相机标定参数组。
设置方法:
  1. 单击 选择相机 ,进入 选择要用的相机和其参数组 页面。

  2. 选择想要连接的相机,然后单击 icon_2

    注解

    相机连接成功后,icon_2 按钮变为 icon_3

  3. 相机连接成功后,在 选择参数组 下拉列表中选择标定参数组,单击 确定

    注解

    标定参数组选择成功后,将自动填入相机编号、 相机标定参数组IpPort 参数。

相机标定参数组
参数解释:该参数用于指定相机的标定参数组。
IP
参数解释:该参数用于显示相机 IP 地址,请勿更改。
Port
参数解释:该参数用于读取相机端口号。

提示

IP端口号 仅用于读取。如更改这两个参数,将导致相机断连。

超时时间
参数解释:该参数用于设置相机收到信息至将数据返回给客户端的最大时间,单位为秒(s)。相机超时包含以下两种场景:
  • 相机在最大时间内未成功连接

  • 相机在最大时间内未成功采集数据

默认值:20s
相机重连次数
参数解释:该参数用于指定相机连接超时导致相机连接失败时,重新尝试连接相机的最大次数。
默认值:3
自动曝光
参数解释:该参数用于设置自动曝光模式。
默认值:勾选
平均灰度值:
参数解释:该参数用于设置图像的期望灰度值。该值越大,图像越亮;该值越小,图像越暗。
默认值:100
曝光时间:
参数解释:该参数影响图像亮度。该值越大,图像越亮;该值越小,图像越暗。
默认值:10
采集次数
参数解释:该参数用于指定相机采集超时导致相机采集数据失败时,相机采集数据的总次数。
默认值:3
建议值:3
Mech-Center 中的机器人服务名
参数解释:该参数用于填写机器人服务名,需与 Mech-Center 中连接的机器人名称型号一致。
默认值:空。

LMI

相机编号
参数解释:该参数用于连接相机,并选择相机标定参数组。
设置方法:
  1. 单击 选择相机 ,进入 选择要用的相机和其参数组 页面。

  2. 选择想要连接的相机,然后单击 icon_2

    注解

    相机连接成功后,icon_2 按钮变为 icon_3

  3. 相机连接成功后,在 选择参数组 下拉列表中选择标定参数组,单击 确定

    注解

    标定参数组选择成功后,将自动填入相机编号、 相机标定参数组IpPort 参数。

相机标定参数组
参数解释:该参数用于指定相机的标定参数组。
IP
参数解释:该参数用于显示相机 IP 地址,请勿更改。
采集次数
参数解释:该参数用于指定相机采集超时导致相机采集数据失败时,相机采集数据的总次数。
默认值:3
建议值:3
Mech-Center 中的机器人服务名
参数解释:该参数用于填写机器人服务名,需与 Mech-Center 中连接的机器人名称型号一致。
默认值:空。

Mech-EyeTOF

如需使用,请联系技术支持。