核心能力路线
在具备编程与系统基础之后,系统学习机器学习、深度学习、多模态大模型、强化学习、世界模型与 VLA,形成机器人自进化与具身智能的核心能力。
概述
本路线图围绕「让机器人拥有自进化能力、脱离人类独立完成任务」这一目标,梳理从数据与模型到决策与执行所需的核心知识与技能,并与其他路线(新手起步、项目实践)衔接。
学习目标
- 理解并会使用机器学习与深度学习的基本方法,能训练和评估模型
- 掌握多模态大模型(LLM/VLM)的基本概念与应用(Prompt、Agent、评测)
- 理解强化学习、世界模型与 VLA 在机器人中的角色,能阅读论文并复现基础实验
建议顺序
1. 基础课程(按需选学/复习)
- 机器学习:数据预处理、特征工程、监督学习(回归/分类)、模型评估与优化
参考:基础课程 / 机器学习 - 深度学习:神经网络基础、CNN/Transformer、训练技巧、PyTorch 实践
参考:基础课程 / 深度学习
2. 核心知识(与机器人强相关)
- 多模态大模型:LLM/VLM 概念、Prompt Engineering、Agent 架构、视觉-语言-动作的结合与评测
参考:核心知识 / 多模态大模型 - 强化学习:MDP、值迭代、Q-learning、策略梯度、离线/在线 RL、与机器人训练的结合
参考:核心知识 / 强化学习 - 世界模型:环境动态建模、表征学习、模型预测控制(MPC)、长时序规划
参考:核心知识 / 世界模型 - VLA:视觉-语言-动作模型、行为克隆、扩散策略、Sim2Real 与部署
参考:核心知识 / VLA
3. 与项目实践结合
- 核心能力路线中的每个模块都建议配合 项目实践 中的具体项目进行动手练习
- 通过数据收集、模型训练、部署与复盘,巩固理论并积累工程经验
自检与进阶
- 能解释并区分:监督学习、强化学习、世界模型、VLA 在机器人系统中的角色
- 能阅读社区推荐的论文与文档,并完成至少一个「从数据到模型再到评估」的完整流程
- 具备在多模态大模型与 RL/VLA 方向继续深入或做应用扩展的基础
