动作误差为什么会越积越多
考虑把零件放入料盒的任务：机械臂接近、调整朝向、闭合夹爪、抬起，再移动到放置点。若策略每次只预测一个动作，某一步出现轻微偏差，下一步看到的画面就可能偏离演示中的状态。机器人继续依据不熟悉的观测行动，误差会沿着轨迹积累。增加网络规模之前，应先检查模型是否学到了连续动作之间的联系。
ACT 来自 2023 年的低成本双臂操作研究，核心是一次预测一段未来动作，而不是单独回归下一步。原始方法使用 Transformer 与条件变分自编码器，训练时由动作序列和关节观测推断潜变量，推理时将潜变量设为先验均值。它是模仿学习方法，仍然依赖演示覆盖与控制接口的正确性。方法来源：ACT 项目介绍。
预测长度与执行长度要分开
把观测记作 o(t)，策略输出 a(t)…a(t+K−1)。K 是预测长度，L 是本轮真正执行的长度，两者不必相等。假设控制频率为 10 Hz、K 为 30，预测覆盖 3 秒；若只执行前 5 步就重新观察，反馈周期是 0.5 秒。这是帮助理解的参数示例，不是论文默认配置。
| 参数 | 主要作用 | 过大的代价 |
|---|---|---|
| 预测长度 K | 让模型学习一段动作的时序联系 | 远期动作更依赖对未来状态的估计 |
| 执行长度 L | 决定重新接收观测的间隔 | 环境变化后更晚修正动作 |
| 推理耗时 | 决定动作何时真正可用 | 策略可能一直追赶过时的观测 |
这一区分能解释一种常见现象：轨迹看起来连续，任务却在抓取前失败。问题可能不在动作平滑性，而在执行过久、没有及时看到物体滑动或夹爪接触。
时间集成如何处理重复预测
连续调用策略时，不同批次会对同一个未来时刻给出多个预测。时间集成把这些重叠预测按时间权重组合，减少分块交界处的突变。融合前必须对齐目标时刻和有效预测范围；把不同时间的动作直接平均，会引入额外延迟。ACT 论文将动作分块与时间集成结合讨论。参见论文中的方法说明。
平滑并不等于成功。若多次预测都朝向错误物体，平均之后仍然是错误动作。排查时应同时查看目标物体、动作单位、关节顺序和观测时间戳，避免把所有失败都解释成策略“不够稳定”。
训练前先把动作标签解释清楚
以关节空间任务为例，记录每个动作维度的关节名称、单位、上下限，以及它代表目标位置还是位置增量。原始 ALOHA 系统使用主臂关节位置作为动作标签，观测包含从臂关节位置与相机画面；换用自己的平台时，不能直接把任意编码器读数当成等价标签。
建议先抽取一条完整演示，逐帧核对“看到了什么、下一步要求执行什么”。尤其检查夹爪开闭方向、双臂维度拼接顺序和轨迹结束标记。末尾补齐的动作不能在训练中被误当成真实未来动作，也不能越过轨迹边界取下一条演示的标签。
一个可以逐步完成的对照实验
- 固定一个任务、相机位置和动作定义，按完整轨迹划分训练集与验证集。
- 在相同数据上比较短分块与长分块，分别记录任务完成率、推理耗时与失败阶段。
- 固定预测长度，比较不同执行长度，观察接近、接触和放置阶段的差别。
- 最后再比较是否启用时间集成，避免同时改变多个因素而无法解释结果。
保留每次试验的初始状态、视频和原始动作输出。若短执行周期改善接触阶段，却增加通信等待，就需要进一步定位控制链路的耗时，而不是只调整训练轮数。上述实验是本文提出的实践方案，不代表已经在某种硬件上取得了成功率。
适用范围与下一步
ACT 适合作为连续操作模仿学习的一个起点。面对演示未覆盖的新物体、明显遮挡或需要复杂力控制的任务，仍应单独验证。先建立稳定的数据与评估流程，再决定是否引入更复杂的策略；这样更容易判断改进究竟来自模型、数据还是控制配置。
资料来源与延伸阅读
整理更新：2026-10-26。本文基于以上公开资料，经 AI 辅助整理与扩写；实践方案为编辑建议，未作为本站实测结果发布。工具接口请结合所用版本核对。