抓取精度概述
本文旨在阐述抓取精度的概念，详细列举导致抓取误差的各种源头，并澄清关于抓取误差的一些常见误解。
抓取精度介绍
在深入了解抓取精度之前，有必要明确三个易混淆的概念：真实度、精确度和精度。
根据ISO 5725标准，这三个概念的定义如下：
-
真实度（trueness）：测试结果的预期值与真实值之间的接近程度。
-
精确度（precision）：在规定条件下，独立测试结果之间的一致性。其取决于随机误差的分布，与真实值或指定值无关。通常使用测试结果的标准偏差（standard deviation）来衡量。
-
精度（accuracy）：测试结果与真实值的接近程度。精度用在一组测试中，包括随机误差，以及共同的系统误差和偏差成分。因此，精度可以看做真实度和精确度的组合。
下图展示了三者之间的关系。
在3D视觉引导抓取场景中，抓取精度表现为机器人实际抓取位置与预期抓取位置的接近程度，通常用抓取误差表示。在实际项目中，你需要明确定义应用的抓取精度要求，即在X/Y/Z方向上允许的抓取误差范围。
3D视觉引导机器人抓取过程会经历如下步骤：
-
相机采集图像：首先，相机用于采集场景的图像。
-
视觉系统识别目标物体：通过视觉系统，目标物体在图像中被识别出来。
-
视觉系统输出抓取位姿：基于外参，视觉系统将目标物体的位姿从相机坐标系转换到机器人坐标系下，并输出抓取位姿。
-
机器人按照抓取位姿抓取目标物体：机器人根据得到的抓取位姿执行抓取动作。
在抓取过程中，每个步骤都可能引入误差，因此抓取误差是综合性的，由各种误差在整个过程中累积形成。
抓取误差主要来自以下几个方面：
-
相机误差
-
机器人误差
-
外参误差
-
视觉误差
-
其他误差（如碰撞、安装是否稳固）
下文将详细介绍每种误差的含义、产生原因以及对抓取精度的影响。
误差来源
相机误差
相机误差反映了相机本身的精度。相机精度主要包含相机绝对精度以及相机重复精度。
相机绝对精度
相机绝对精度（又称为标定精度）是指视野中两点之间距离的测试值与真实值之间的接近程度（trueness）。
测量方法：使用陶瓷球棒标准量具进行测量，基于采集的球棒点云，可以拟合球面计算球心坐标和球心距，比较球心距测量值和真值。在3D空间中7个位置放置球棒并拟合其球心距，通过计算球心距误差中位数和最大值作为绝对精度。
| 误差是球心距误差值除以球棒球心距离。 |
梅卡曼德相机出厂前已对相机绝对精度进行了严格的检查。关于不同相机型号的绝对精度指标，请参考相机技术参数。
影响相机绝对精度的因素可能有：
-
硬件问题：相机本身可能存在故障或损坏，例如镜头、传感器或其他组件的问题。
-
环境变化：光照条件、温度、湿度等环境因素的变化可能会影响相机的性能，导致绝对精度下降，例如相机温漂。
-
机械变形：相机或其支架的机械结构发生变形或松动可能导致相机位置的不稳定，从而影响绝对精度。
相机重复精度
相机重复精度又分为Z向单点重复精度和Z向区域重复精度。
-
Z向单点重复精度(1σ)：单像素点Z值的100次测量的一倍标准差。Z向单点重复精度用于评估单个像素点在Z方向上的精度。
测量方法：使用陶瓷板作为测量对象，在相机达到热平衡状态后，以5秒为间隔拍摄陶瓷片100次，计算每一个像素位置100次深度值的标准差中位数。
-
Z向区域重复精度(1σ)：深度图中两个区域100次测量Z均值差的一倍标准差。Z向区域重复精度(1σ)用于评估拟合平面在Z方向上的精度。
测量方法：使用陶瓷板作为测量对象，在相机达到热平衡状态后，以5秒为间隔拍摄陶瓷片100次，计算两个区域（200*200像素）100次区域Z均值的一倍误差值。
在3D视觉引导应用中，Z向单点重复精度更具有实际参考意义。
影响重复精度的主要因素有：
-
工作距离：工作距离越大，重复精度下降越快。
-
硬件问题：相机本身可能存在故障或损坏，例如镜头、传感器或其他组件的问题。
-
环境变化：光照条件、温度、湿度等环境因素的变化可能会影响相机的性能，导致重复精度下降，例如相机温漂。
-
机械变形：相机或其支架的机械结构发生变形或松动可能导致相机位置的不稳定，从而影响重复精度。
相机温漂
相机温漂是指相机内部的元器件由于温度变化而发生的热变形导致相机点云产生漂移的现象。相机温漂可能有以下因素导致：
-
内部元器件应力变形、损耗或老化。
-
外部环境变化，例如温度、湿度、压力等。
温漂现象会影响点云各维度的数值，对相机重复精度和相机绝对精度产生影响。
温漂的分类
根据温度变化的来源，温漂可以分为冷启动温漂（Warm-up Drift）和环境温漂（Environmental Thermal Drift）两类。
-
冷启动温漂是指3D相机冷启动过程本身的温度变化带来的点云漂移。
-
环境温漂是指环境温度、湿度等变化导致的点云漂移。
下图所示为LSR L相机典型的冷启动温漂曲线，纵轴为相机拍摄平面的深度值变化，横轴为拍摄次数。相机每5秒拍摄一次，大约拍摄400次（约33分钟）后达到热平衡，热平衡后深度值变化大约为3 mm。
温漂的处理
-
预热暖机：为了减少抓不准现象的出现，手眼标定、相机内参标定、快速矫正内参或标定其他补偿参数时，相机需预热暖机。可以通过以下任一方法预热暖机：
-
通过Mech-Eye Viewer软件或者Mech-Eye API连接相机并连续采集图像超过30分钟；对于高精度应用建议暖机45分钟以上；
-
相机接通电源待机超过40分钟。
-
-
保持应用运行环境的温度、湿度和压力相对稳定。
-
部署“系统漂移自校正”系统：不仅能解决相机温漂的问题，还能保证3D视觉系统的可靠性和运行稳定性。
此外，相机和相机支架安装是否牢固都会直接影响相机的绝对精度和重复精度。
机器人误差
与机器人相关的误差主要有机器人本身的精度误差以及机器人模型参数误差。
机器人精度误差
机器人的精度分为机器人重复（定位）精度和机器人绝对（定位）精度。
-
机器人重复精度指机器人重复到达空间中一点时位置的波动程度。
-
机器人绝对精度指机器人到达空间中一点时与目标位置的偏差值。测定机器人平移设定直线距离与实际距离长度的差异是一种粗略测定机器人绝对精度的方式。
对于通过机器人示教器示教运动路径的应用（非3D视觉引导应用），抓取精度只受机器人重复精度影响。但在3D视觉引导应用中，抓取位姿来自于视觉系统的输入，抓取精度主要受机器人绝对精度影响。
导致机器人绝对精度下降的常见因素有：
-
机器人零点丢失。
-
TCP精度误差。
-
机器人安装不牢固。
外参误差
相机外参表示的是机器人与相机之间的位姿转换关系。外参需要通过手眼标定操作来获得，手眼标定结果的误差即相机外参的误差。
外参误差也是一种综合误差，累积了相机误差、机器人误差以及其他误差。
影响外参误差的主要因素有：
-
点云质量。
-
相机绝对精度。
-
机器人绝对精度。
-
标定板安装的牢固性。
-
采集标定数据时标定板是否晃动。
外参误差过大，会导致视觉系统输出的抓取位姿与预期的抓取位置存在较大偏差，从而导致机器人抓不准问题。
视觉识别误差
视觉识别误差反映了视觉工程在识别准确性和重复精度方面的表现。
|
视觉工程通常使用如下算法进行识别：
|
影响视觉识别误差的因素主要包括四个方面：
-
深度学习效果不佳：当深度学习模型的训练质量或参数设置不合适时，可能导致识别误差的增加。
-
3D匹配效果不合格：3D匹配算法的不准确性或不适当的匹配算法设置可能降低目标物体在三维空间中的定位精度，从而影响识别的准确性。
-
位姿调整策略不当：不合适的位姿调整策略可能导致目标物体在视觉系统中的姿态估计错误，进而影响识别的精度和鲁棒性。正确的位姿调整对于高精度定位至关重要。
-
识别重复精度误差：视觉系统在重复执行识别任务时，如果存在误差累积或者重复精度不足，将进一步影响系统的稳定性和可靠性。因此，维持良好的识别重复精度对于长时间运行的系统至关重要。
下文将对影响视觉识别误差的因素进行详细说明。
深度学习效果不佳
导致视觉工程深度学习效果不佳的因素主要包括：
-
相机采集的2D图像质量：如果采集的2D图像存在过曝光或过暗的现象，将直接影响深度学习推理效果。通过调节2D曝光参数，通常可以解决这一问题。在环境光较强的情况下，还需要采取遮光措施以提高图像质量。
-
深度学习的模型质量：采集的2D图像质量以及深度学习模型训练得到的模型质量对深度学习推理效果有直接影响。确保训练模板的图像清晰、高质量，以及训练模型的数据集具有代表性，有助于提高深度学习效果。
-
深度学习的参数设置：深度学习参数的合适设置对实例分割的准确性至关重要。通过微调这些参数，可以调整模型在不同场景下的表现，达到最佳的深度学习推理效果。定期审查和更新参数设置，以适应系统运行中可能出现的变化。
3D匹配效果不合格
导致视觉工程3D匹配效果不合格的因素主要包括：
-
点云质量：如果相机采集的点云质量差，会直接影响制作的点云模板和场景点云的质量，进而导致3D匹配的精度下降。
-
点云模板和抓取点的准确性：面模板和边缘模板提供了不同的匹配精度，其中面模板提供更高的匹配精度，但相应的识别速度较慢。在制作模板时，使用拖拽法和示教法添加抓取点，而通过示教法添加的抓取点更具高精度。因此，在对精度要求较高、工件方向相对一致、机器人TCP误差难以评估的场景中，建议使用示教法添加抓取点以提高准确性。
-
匹配算法设置：不合适的匹配算法设置可能对匹配效果和重复精度产生负面影响。正确选择和配置匹配算法是确保准确匹配的关键，特别是在复杂场景和不同工件之间切换时。及时调整算法参数以适应实际需求，有助于提高匹配效果和系统的稳定性。
位姿调整策略不当
位姿调整策略的适用性需根据具体场景而定。在某些情况下，不当的位姿调整策略可能导致抓取误差。例如在搭建工程时，假设工件位于料筐左侧，而忽略了工件可能位于料筐右侧的情况，可能引发抓取偏差。
导致位姿调整策略不当的原因主要包括：
-
缺乏全面性考虑：有时在设计位姿调整策略时，未能充分考虑工件可能出现的各种位置变化和情景差异。缺少全面性的考虑容易导致对特定场景的适应性不足。
-
环境变化未及时更新：工作环境可能因为布局变动、设备更替或工件摆放方式改变而发生变化。如果位姿调整策略没有及时更新以反映这些变化，就会导致策略失效，无法准确适应新的工作场景。
-
缺乏灵活性：一些位姿调整策略可能设计过于死板，无法灵活应对工件位置的多样性。缺乏灵活性可能导致在某些未被考虑到的情况下产生偏差。
为确保位姿调整策略的准确性，应综合考虑工件的可能位置变化，并及时更新调整策略，以适应不同的工作场景。定期检查和优化位姿调整算法设置，确保在不同情境下实现准确的位姿调整，降低误差率。
识别重复精度误差
识别重复精度作为视觉工程稳定性的关键衡量标准，直接受到多方面因素的影响。
-
点云处理：光照环境、工件自身材质以及周围物品的反光特性对工件点云效果产生显著影响。为提高点云处理的鲁棒性，必须全面考虑并适应不同光照条件和物体表面特性，以降低重复精度误差。
-
硬件影响：温度对相机硬件的影响，会影响相机的内参和外参，进行影响位姿转换的精度。因此，管理温度变化和及时调整内外参参数是确保系统稳定性的关键步骤。
-
视觉识别方案选择：在选择视觉识别方案时，包括是否采用实例分割、匹配方案、匹配参数以及抓取点设置等，都直接关系到系统的稳定性。合理选择适用于特定场景的视觉识别方案，并进行匹配参数的优化，有助于系统更好地适应不同工况。
-
逻辑判断和防错：逻辑判断和防错功能的搭配也至关重要。不合理设计的逻辑判断或防错功能可能导致系统在异常情况下处理不当，从而影响整体稳定性。
因此，为提高视觉工程的稳定性，必须在点云处理、位姿调整、视觉方案选择和逻辑判断等方面进行全面考虑和合理设计，以降低识别重复精度误差，确保系统在不同工况下能够可靠运行。
抓取精度说明
关于抓取精度的理解，请了解以下说明：
-
抓取精度通常通过抓取误差表示，即实际抓取位置与预期位置的接近程度。
-
抓取误差是综合考虑各个抓取阶段误差的累加值，直接反映了抓取精度。
-
为保证整体抓取误差符合项目精度要求，需要通过矫正误差来进行系统优化。
-
矫正误差的目标并非完全消除误差，而是满足项目精度需求。例如，若工件识别无问题，则无需采集所有点云。
-
在实际应用中，虽然误差无法完全消除，但可以采取适当措施将其降至合理水平。如果误差已在合理水平，无需对问题进行全面重新评估。
-
即便发现了误差，有时也不能完全解决。例如，一些机器人的DH参数误差可以通过修改参数来解决，但并非所有机器人厂商都支持此种修改方式。