先说明要验证哪一种能力
“这个策略效果不错”可能意味着固定工位上重复执行稳定，也可能意味着换一个物体仍能完成任务。这是不同的结论，需要不同的测试。评估前应写下目标：复现同分布表现、适应新位置、理解新指令，还是在持续学习后保留旧能力。测试设计要围绕问题，而不是围绕容易拍出成功视频的条件。
LIBERO 是面向机器人多任务与终身学习的公开基准。原始工作围绕空间、物体、目标等知识迁移构建任务套件；官方实现还说明 LIBERO-100 可进一步划分为 LIBERO-90 与 LIBERO-10。使用时应注明具体套件和协议，不能把这些名称混作同一项成绩。论文与官方说明给出了基准背景。
成功判据应在试验前固定
以“把零件放进料盒”为例，仅检测零件经过料盒上方，会把尚未放下的轨迹算作成功；仅检测最终位置，也可能漏掉中途掉落后被人工放回的情况。应明确目标区域、保持时间、是否允许碰撞或人为接管，以及超时如何处理。判据既要能执行，也要符合实际任务需求。
可以把一次试验写成一条记录：初始状态、指令、终止原因、最终状态、是否成功、是否接管。先保存原始字段，再由固定规则计算指标。若评估过程中修改判据，应重新计算全部试验，避免新旧口径混在同一张结果表中。
指标要能解释部署代价
| 指标 | 说明什么 | 容易遗漏的条件 |
|---|---|---|
| 成功次数 / 总次数 | 任务完成的频率 | 是否包含超时与接管 |
| 成功用时 | 完成任务的效率 | 只对成功试验统计时须单独注明 |
| 端到端响应延迟 | 观测到指令生效的时间 | 不能只统计网络前向耗时 |
| 失败阶段分布 | 问题集中在识别、接触还是放置 | 分类规则是否在各模型间一致 |
不要只写百分比。8/10 与 80/100 都是 80%，证据量却不同。对于二元成功事件，若试验可近似视作独立且同分布，成功率估计的标准误差可用 sqrt(p(1−p)/n) 作粗略理解；小样本或接近边界时，区间估计应采用更合适的方法。重复使用相同初始状态也要注明，不能把高度相关的试验当成完全独立样本。
把分布变化拆成几组测试
本文建议分别设置常规条件、位置变化、外观变化和组合变化。先一次只改变一个因素，再测试多个因素叠加。这样能够区分“看到新颜色就找错物体”和“知道目标，却无法适应更远的位置”。如果所有变化同时出现，失败虽然明显，却难以指导下一轮改进。
测试物体、场景与指令应避免从训练演示中直接复制。归一化统计、阈值选择和模型选择只能使用约定的训练或验证信息；测试集一旦用于频繁调参，就需要新的独立评估来支撑最终结论。
比较策略时对齐实验条件
- 使用相同的任务定义、初始状态清单、试验次数和时间预算。
- 分别报告训练数据量、输入相机、动作表示与控制频率。
- 保留全部失败与中断，避免只挑表现最好的随机种子。
- 区分原始检查点结果、目标任务微调结果和额外数据训练结果。
对于终身学习，还要在每个新任务学习后回测旧任务。只记录最后一个任务的完成率，无法判断策略是否遗忘了之前的技能。顺序、回放数据和评估时点都应进入实验记录。
让失败记录成为下一轮数据
把失败按可验证原因归档，例如目标识别错误、抓取姿态偏差、动作超限或通信超时。每一类至少保留对应视频、观测和动作日志，再提出只改变一个因素的修复方案。这套过程比单纯追求一张更高的成功率表，更能说明系统是否在持续改善。本文给出的是评估设计建议，不包含本站实测成绩。
资料来源与延伸阅读
整理更新：2026-10-26。本文基于以上公开资料，经 AI 辅助整理与扩写；实践方案为编辑建议，未作为本站实测结果发布。工具接口请结合所用版本核对。