# 工业机械臂抓取评价指标

本方案研究抓取前采集 RGB、三维感知、候选生成、运动规划及 ABB 仿真执行。执行时不依赖持续视觉微调。指标以一次预先登记的场景任务为单位，而不是以候选数量或网络分数为单位。

## 1. 主指标：一次任务成功率

分母为全部有效测试任务，包括感知失败、空候选、超宽、无 IK、规划失败、执行失败和超时。每任务只允许一次实际闭合抓取；可以在统一预算内离线筛选多个候选。重复抓取或人工恢复后的累计成功另列，不计为首次成功。

`一次任务成功率 = 完成规定任务的次数 / 有效测试任务数`。

当前首版拟采用 **ABB 几何抓取任务完成率**：规划与执行均无非法碰撞／关节越界；目标落在夹爪可闭合区域，几何规则允许夹持；闭合信号和工件身份正确；抬起后工件最低点距原支承面至少 100 mm，并在仿真时间中保持 2 s。抬升命令建议为 150 mm，避开刚好跨阈值的边界。阈值在开发阶段固定，测试前冻结。

几何规则必须检查夹爪开口、工件与手指位置、穿透、错误工件及碰撞，不能仅凭 `close` 信号无条件挂接。若实现通过 Attacher／刚性约束携带工件，以上结果标记为 `geometric`，其保持时间不构成摩擦或滑落稳定性证据。

若随后完成独立接触物理校准，可另设 `contact_physics` 组：不把目标预先绑定到夹爪，固定质量、惯量、摩擦、夹爪力和时间步；由接触使物体抬升，保持期间相对夹爪位移不超过 2 mm、转角不超过 5°。两组分别报告，不能合并。RobotStudio 有物理材质和摩擦参数接口，但具体夹爪场景能否可靠表达夹持力需要实测。[ABB PhysicsMaterial](https://developercenter.robotstudio.com/api/robotstudio/api/ABB.Robotics.RobotStudio.Stations.PhysicsMaterial.html)

没有 ABB 执行时，成功率必须为 `null / 尚未测量`，不能填 0，也不能从“返回候选”推导成功。

## 2. 效率指标

| 指标 | 定义与计时边界 | 报告方式 |
|---|---|---|
| 感知耗时 | RGB 输入就绪到共同米制点云输出，包括校正、预处理、网络、融合和后处理 | 真实墙钟时间，中位数与 P95；GPU 同步后计时 |
| 抓取生成耗时 | 共同点云就绪到标准候选输出，包括采样、网络和该模型后处理 | 墙钟时间，中位数与 P95 |
| 规划耗时 | 候选就绪到可执行路径或失败／超时 | 墙钟时间，中位数与 P95 |
| 决策总耗时 | 图像就绪到路径交给控制器；上述阶段和接口传输均纳入 | 直接测端到端墙钟，不重复相加重叠阶段 |
| 机器人动作节拍 | 从相同初始关节姿态开始接近，到夹紧、抬升、保持完成 | ABB 虚拟控制器／仿真时间，单位 s |
| 基准任务周转时间 | 图像就绪到仿真结束，包含 API／虚拟机／渲染等待 | 墙钟时间；只说明本实验平台吞吐，不当成真机节拍 |
| 基准有效吞吐 | 成功任务数除以整批墙钟小时数，计入失败、复位和规定恢复 | 成功任务／实验小时 |
| 资源开销 | 峰值显存、RAM、CPU／GPU 型号、运行设备、模型启动耗时 | 冷启动另列；传统 CPU 与 GPU 方法注明设备 |

ABB 的 Time Slice 模式用于同步虚拟控制器和 Smart Components；正式节拍使用同一模式、相同机器人／负载／速度／加速度／zone 设置，仿真画面播放快慢不计为机械臂动作速度。[ABB 仿真时间说明](https://developercenter.robotstudio.com/api/robotstudio/articles/Concepts/Simulation.html)

成功任务的动作时间单独统计，但同时报告失败率、超时率和全任务周转，避免“很快失败”得到更好的时间排名。成功为零时成功任务时间为空值。

## 3. 辅助与诊断指标

| 指标 | 口径与用途 |
|---|---|
| 有可行计划的任务比例 | 全部任务中，在预算内获得满足约束路径的比例；含宽度、IK、关节与碰撞检查 |
| 非法碰撞任务比例 | 任一阶段出现桌面、料框、邻件、机器人自碰等禁止接触的任务数／全部任务数；目标与指腹的预期接触另列 |
| 空候选任务比例 | 无候选的任务数／全部任务数；不是网络崩溃，两者分开记录 |
| 超时率与模型运行错误率 | 分别统计到期未完成、进程异常／数值异常等失败 |
| 抓取后掉落率 | 仅在经过校准的接触物理组中统计，分母为已离开支承面的次数；挂接组不报告该指标 |
| 深度 MAE、P95 | 双目同一视角、固定真值有效区，以 mm 统计；预测无效的像素另计覆盖率，不删除后只报误差 |
| 表面精度与完整度 | 所有路线的预测点到真值表面距离及反向覆盖率；报告共同两视角可见域和各路线可见域，分别注明 |
| 可见表面覆盖率 | 真值可见表面中，在预定 2/5 mm 阈值内被预测表面覆盖的比例；阈值不因方法改变 |
| 泛化与稳健性 | 按工件族、尺寸、单件／邻件／料框条件分别报告成功率及相对单件条件的变化 |

相机真值深度、物体位姿和模型网格只进入评价器。规划可使用预登记的固定工作台／料框几何，但不得使用未知工件的真值形状或位姿。真值点云可以作为单独上界实验，必须标记 `oracle`，不与 RGB 感知主结果混排。

## 4. 失败分类与统计

每任务记录最早的主失败阶段和所有辅助事件：`perception_failure`、`model_error`、`no_candidates`、`width_invalid`、`ik_unreachable`、`planning_failure`、`collision`、`grip_geometry_failure`、`lift_failure`、`hold_failure`、`timeout`。人工干预记录为本次任务未自动完成。

基础设施中断（虚拟机失联、许可证服务故障、实验机断电）标为 `infrastructure_invalid`，单独公开次数、原因、原日志和重跑关联 ID；不得把算法困难造成的超时归为基础设施问题。重跑采用预登记规则，并保留首个有效执行结果，不能择优。

主结果同时报告逐工件实例平均成功率和逐任务成功率。首版多个尺寸变体来自相同形状模板，95% 置信区间和方法配对差值按形状族分组 bootstrap；不能把尺寸变体、视角和随机种子都当独立物件。测试集仅有 4 个形状族，区间和比较只能用于探索，正式结论需要扩展独立几何模型。多项检验如使用 p 值，采用 BH–FDR 校正。随机候选生成方法用 seed 0、1、2；同一任务的重复种子仍归入相同形状族。

## 5. 成功判定器先验收

用开发物体验收正确夹持、张开夹爪直接抬升、目标外偏移、夹爪过宽／过窄、手指穿物、撞桌、抓错邻件和人工恢复等正负例。ABB 静态碰撞可通过官方接口记录接触对象；实际路径还需按固定时间步检查全程，不能只查终点。[ABB CollisionDetector](https://developercenter.robotstudio.com/api/robotstudio/api/ABB.Robotics.RobotStudio.Stations.CollisionDetector.html)

若错误案例仍可被挂接并记为成功，应先修正评价器，再运行任何模型排名。上述内容是待执行协议，不代表判定器已经通过验收。