据华尔街见闻10月30日报道,清华大学、无问芯穹与智元联合提出“群体经验学习”(Collective Experience Learning,CEL),并在96台真实机器人组成的集群中完成规模化验证。其核心是让机器人复用同伴在真实任务中积累的经验,而不再主要依靠人类反复示范动作。
这项工作针对的是机器人部署扩张时的人工示教瓶颈:设备可以批量增加,但提供动作示范、纠正错误的操作人员难以同步增加。CEL将机器人摸索出的成功经验沉淀到群体共用的经验池,其他机器人遇到相似场景时,可以检索并复用这些经验。
此次验证覆盖家庭服务与工业生产中的五项任务:插花、叠衣服、手机充电、凳子组装和手机包装。使用的硬件为智元双臂机器人AgiBot G2,基础模型为π0。据团队公布的数据,两台未参与训练的机器人完成600次测试,失败15次,总体成功率为97.5%;五项任务的成功率均超过6名人类操作员的平均水平。
让多台机器人持续积累经验,依靠的是团队基于强化学习开源框架RLinf构建的容错异步训练系统FATS。它统一调度真实机器人与算力资源,单台机器人完成任务后即可上传经验,不必等待其他机器人,并将网络波动、设备掉线和硬件故障纳入系统设计。
在96台机器人的系统测试中,集群累计采集9834轮执行经验。其间,22台机器人共发生30次故障,故障造成的机时损失占全部运行机时的1.3%。这一数据对应的是集群运行与容错表现,与前述两台机器人的任务成功率测试属于不同的验证指标。
算法层面,团队提出失败引导的经验检索微调算法FERT。一次操作可能持续数分钟、包含数千个动作步骤,最终却只有成功或失败的反馈。FERT同时利用成功与失败经验:从成功操作中学习做法,从失败操作中定位问题;机器人遇到困难时,回溯相似场景中的历史成功案例,将改进集中到容易出错的环节。
仅供信息参考,不构成投资建议。
