Skip to content

核心能力路线

在具备编程与系统基础之后,系统学习机器学习、深度学习、多模态大模型、强化学习、世界模型与 VLA,形成机器人自进化与具身智能的核心能力。

概述

本路线图围绕「让机器人拥有自进化能力、脱离人类独立完成任务」这一目标,梳理从数据与模型到决策与执行所需的核心知识与技能,并与其他路线(新手起步、项目实践)衔接。

学习目标

  • 理解并会使用机器学习与深度学习的基本方法,能训练和评估模型
  • 掌握多模态大模型(LLM/VLM)的基本概念与应用(Prompt、Agent、评测)
  • 理解强化学习、世界模型与 VLA 在机器人中的角色,能阅读论文并复现基础实验

建议顺序

1. 基础课程(按需选学/复习)

2. 核心知识(与机器人强相关)

  • 多模态大模型:LLM/VLM 概念、Prompt Engineering、Agent 架构、视觉-语言-动作的结合与评测
    参考:核心知识 / 多模态大模型
  • 强化学习:MDP、值迭代、Q-learning、策略梯度、离线/在线 RL、与机器人训练的结合
    参考:核心知识 / 强化学习
  • 世界模型:环境动态建模、表征学习、模型预测控制(MPC)、长时序规划
    参考:核心知识 / 世界模型
  • VLA:视觉-语言-动作模型、行为克隆、扩散策略、Sim2Real 与部署
    参考:核心知识 / VLA

3. 与项目实践结合

  • 核心能力路线中的每个模块都建议配合 项目实践 中的具体项目进行动手练习
  • 通过数据收集、模型训练、部署与复盘,巩固理论并积累工程经验

自检与进阶

  • 能解释并区分:监督学习、强化学习、世界模型、VLA 在机器人系统中的角色
  • 能阅读社区推荐的论文与文档,并完成至少一个「从数据到模型再到评估」的完整流程
  • 具备在多模态大模型与 RL/VLA 方向继续深入或做应用扩展的基础

相关链接