从零开始学习具身智能的完整知识体系
本项目是一个系统化的具身智能(Embodied Intelligence)学习资源库,旨在帮助零基础学习者逐步掌握具身智能所需的全部知识体系。
具身智能是人工智能的一个重要分支,研究如何使智能体通过与环境的交互来获取和运用知识。本项目涵盖从数学基础到前沿研究的完整学习路径。
通过本项目的学习,您将能够:
- 掌握具身智能所需的数学、物理和计算机科学基础
- 理解SLAM、三维重建、感知等核心技术
- 掌握深度学习、强化学习在具身智能中的应用
- 了解机器人硬件与控制原理
- 具备部署和优化具身智能系统的能力
embodied_intelligence/
├── 00-math-foundation/ # 数学基础
│ ├── 01-linear-algebra/ # 线性代数
│ ├── 02-calculus/ # 微积分
│ ├── 03-probability-statistics/ # 概率论与统计
│ ├── 04-numerical-computation/ # 数值计算
│ ├── 05-geometry/ # 几何基础
│ ├── 06-optimization-theory/ # 优化理论
│ ├── 07-information-theory/ # 信息论
│ ├── 08-complex-analysis/ # 复分析与傅里叶分析
│ ├── 09-applications/ # 应用领域
│ └── 10-paper-surveys/ # 论文与综述
├── 01-physics/ # 物理基础
│ ├── 01-classical-mechanics/ # 经典力学基础
│ ├── 02-kinematics/ # 运动学
│ ├── 03-dynamics/ # 动力学
│ ├── 04-control-theory/ # 控制理论基础
│ ├── 05-physics-simulation/ # 物理仿真
│ ├── 06-sensor-modeling/ # 传感器建模
│ ├── 07-contact-mechanics/ # 碰撞检测与接触力学
│ ├── 08-numerical-methods/ # 数值方法
│ ├── 09-applications/ # 应用领域
│ └── 10-paper-surveys/ # 论文与综述
├── 02-slam-3dreconstruction/ # SLAM与三维重建
│ ├── 01-slam-fundamentals/ # SLAM基础理论
│ ├── 02-visual-odometry/ # 视觉里程计(前端)
│ ├── 03-slam-backend/ # SLAM后端优化
│ ├── 04-multi-sensor-fusion/ # 多传感器融合
│ ├── 05-loop-closure/ # 回环检测
│ ├── 06-map-representation/ # 地图表示与管理
│ ├── 07-traditional-3d-reconstruction/ # 传统三维重建
│ ├── 08-neural-3d-reconstruction/ # 神经三维重建
│ ├── 09-datasets-evaluation/ # 数据集与评估
│ ├── 10-applications/ # 应用领域
│ ├── 11-cutting-edge/ # 前沿研究与未来方向
│ └── 12-paper-surveys/ # 论文详解
├── 03-machine-learning/ # 机器学习基础
│ ├── 01-fundamentals/ # 机器学习基础
│ ├── 02-supervised-learning/ # 监督学习
│ ├── 03-unsupervised-learning/ # 无监督学习
│ ├── 04-feature-engineering/ # 特征工程
│ ├── 05-model-evaluation/ # 模型评估与选择
│ ├── 06-dimensionality-reduction/ # 降维方法
│ ├── 07-bayesian-methods/ # 贝叶斯方法
│ ├── 08-ensemble-learning/ # 集成学习
│ ├── 09-applications/ # 应用领域
│ └── 10-paper-surveys/ # 论文详解
├── 04-deep-learning/ # 深度学习
│ ├── 01-neural-network-basics/ # 神经网络基础
│ ├── 02-cnn/ # 卷积神经网络
│ ├── 03-rnn/ # 循环神经网络
│ ├── 04-transformer/ # Transformer架构
│ ├── 05-generative-models/ # 生成模型
│ ├── 06-self-supervised-learning/ # 自监督学习
│ ├── 07-multimodal-learning/ # 多模态学习
│ ├── 08-model-training/ # 模型训练与优化
│ ├── 09-applications/ # 应用领域
│ └── 10-paper-surveys/ # 论文详解
├── 05-reinforcement-learning/ # 强化学习
│ ├── 01-fundamentals/ # RL基础
│ ├── 02-classical-algorithms/ # 经典算法
│ ├── 03-deep-rl/ # 深度强化学习
│ ├── 04-offline-rl/ # 离线强化学习
│ ├── 05-hierarchical-rl/ # 分层强化学习
│ ├── 06-multi-agent/ # 多智能体强化学习
│ ├── 07-model-based-rl/ # 基于模型的RL
│ ├── 08-safe-rl/ # 安全强化学习
│ ├── 09-applications/ # 应用领域
│ └── 10-paper-surveys/ # 论文详解
├── 06-robotics/ # 机器人学基础
│ ├── 01-fundamentals/ # 机器人学基础
│ ├── 02-kinematics/ # 机器人运动学
│ ├── 03-dynamics/ # 机器人动力学
│ ├── 04-perception/ # 机器人感知
│ ├── 05-estimation/ # 状态估计
│ ├── 06-planning/ # 路径规划
│ ├── 07-robot-types/ # 机器人类型
│ ├── 08-applications/ # 应用领域
│ ├── 09-tools/ # 工具与平台
│ └── 10-paper-surveys/ # 论文与综述
├── 07-robot-control/ # 机器人控制
│ ├── 01-basic-control/ # 基础控制理论
│ ├── 02-motion-control/ # 运动控制
│ ├── 03-force-control/ # 力控制
│ ├── 04-adaptive-control/ # 自适应控制
│ ├── 05-robust-control/ # 鲁棒控制
│ ├── 06-learning-control/ # 学习控制
│ ├── 07-distributed-control/ # 分布式控制
│ ├── 08-real-time-control/ # 实时控制
│ ├── 09-control-frameworks/ # 控制框架
│ └── 10-paper-surveys/ # 论文与综述
├── 08-robot-hardware/ # 机器人硬件
│ ├── 01-mechanical-structure/ # 机械结构
│ ├── 02-sensors/ # 传感器系统
│ ├── 03-actuators/ # 执行器
│ ├── 04-embedded-systems/ # 嵌入式系统
│ ├── 05-power-systems/ # 电源系统
│ ├── 06-communication/ # 通信接口
│ ├── 07-hardware-integration/ # 硬件集成
│ ├── 08-robot-platforms/ # 机器人平台
│ ├── 09-hardware-tools/ # 硬件工具
│ └── 10-paper-surveys/ # 论文与综述
├── 09-edge-deployment/ # 边缘部署与CUDA
│ ├── 01-computer-architecture/ # 计算机体系结构
│ ├── 02-cpu-architecture/ # CPU架构
│ ├── 03-gpu-architecture/ # GPU架构
│ ├── 04-parallel-computing/ # 并行计算
│ ├── 05-high-performance/ # 高性能计算
│ ├── 06-cuda-programming/ # CUDA编程
│ ├── 07-model-optimization/ # 模型优化
│ ├── 08-inference-frameworks/ # 推理框架
│ ├── 09-edge-deployment/ # 边缘部署
│ └── 10-paper-surveys/ # 论文与综述
├── 10-large-models/ # 大模型与世界模型
│ ├── 01-llm-fundamentals/ # 大语言模型基础
│ ├── 02-vision-language/ # 视觉-语言模型
│ ├── 03-multimodal-models/ # 多模态模型
│ ├── 04-code-models/ # 代码模型
│ ├── 05-reasoning-models/ # 推理模型
│ ├── 06-world-models/ # 世界模型
│ ├── 07-embodied-models/ # 具身AI模型
│ ├── 08-model-alignment/ # 模型对齐
│ ├── 09-model-deployment/ # 模型部署
│ ├── 10-model-applications/ # 模型应用
│ └── 11-paper-surveys/ # 论文与综述
├── 11-perception-planning/ # 感知与规划控制
│ ├── 01-computer-vision/ # 计算机视觉
│ ├── 02-depth-perception/ # 深度感知
│ ├── 03-state-estimation/ # 状态估计
│ ├── 04-slam/ # SLAM
│ ├── 05-path-planning/ # 路径规划
│ ├── 06-motion-planning/ # 运动规划
│ ├── 07-task-planning/ # 任务规划
│ ├── 08-decision-making/ # 决策方法
│ ├── 09-integration/ # 系统集成
│ └── 10-paper-surveys/ # 论文与综述
├── 12-embodied-systems/ # 具身系统综合
│ ├── 01-embodied-concepts/ # 具身智能概念
│ ├── 02-system-architecture/ # 系统架构
│ ├── 03-learning-paradigms/ # 学习范式
│ ├── 04-perception-action/ # 感知-行动闭环
│ ├── 05-embodied-reasoning/ # 具身推理
│ ├── 06-evaluation-benchmarks/ # 评估基准
│ ├── 07-real-world-deployment/ # 真实部署
│ ├── 08-applications/ # 应用场景
│ ├── 09-cutting-edge/ # 前沿研究
│ └── 10-paper-surveys/ # 论文详解
├── projects/ # 实践项目
└── resources/ # 学习资源
| 模块 | 学习时长 | 核心内容 |
|---|---|---|
| 数学基础 | 4周 | 线性代数、微积分、概率论 |
| 物理基础 | 3周 | 力学、运动学、动力学 |
| 编程基础 | 2周 | Python、数据结构、算法 |
| 模块 | 学习时长 | 核心内容 |
|---|---|---|
| 机器学习 | 4周 | 监督学习、无监督学习、评估方法 |
| 计算机视觉 | 4周 | 图像处理、特征提取、目标检测 |
| SLAM入门 | 3周 | 视觉里程计、滤波方法 |
| 模块 | 学习时长 | 核心内容 |
|---|---|---|
| 深度学习 | 6周 | CNN、Transformer、PyTorch |
| 强化学习 | 6周 | RL基础、PPO、DQN |
| 机器人控制 | 4周 | PID、运动规划、轨迹跟踪 |
| 模块 | 学习时长 | 核心内容 |
|---|---|---|
| 大模型应用 | 4周 | VLM、VLA、世界模型 |
| 具身系统 | 6周 | 感知-行动闭环、决策规划 |
| 实践项目 | 12周 | 完整系统实现 |
- 线性代数:向量、矩阵、特征值分解
- 微积分:多元微积分、优化方法
- 概率论:概率分布、贝叶斯定理
- 经典力学:牛顿定律、刚体运动
- 运动学:位姿表示、坐标变换
- 动力学:拉格朗日力学、控制理论基础
- 视觉里程计:特征匹配、光束法平差
- SLAM算法:EKF、粒子滤波、因子图
- 三维重建:SfM、MVS、NeRF
- 监督学习:回归、分类、评估指标
- 无监督学习:聚类、降维
- 常用算法:SVM、决策树、随机森林
- CNN:卷积、池化、经典架构
- Transformer:自注意力、BERT、ViT
- 训练技巧:正则化、优化器、数据增强
- 基础理论:马尔可夫决策过程
- 经典算法:Q-learning、Policy Gradient
- 进阶算法:PPO、SAC、TD3
- 机器人运动学:正运动学、逆运动学
- 机器人动力学:关节空间、操作空间
- 机器人感知:传感器融合、状态估计
- 基础控制:PID、状态反馈
- 运动规划:A*、RRT、轨迹优化
- 力控制:阻抗控制、自适应控制
- CUDA编程:GPU加速、并行计算
- 模型优化:量化、剪枝、蒸馏
- 边缘框架:TensorRT、ONNX Runtime
- VLM:视觉-语言模型、多模态学习
- VLA:视觉-语言-行动模型
- 世界模型:基于模型的强化学习
- 感知:目标检测、语义分割、深度估计
- 规划:路径规划、任务规划
- 控制:闭环控制、自适应控制
- 系统架构:感知-推理-行动闭环
- 学习范式:模仿学习、强化学习、预训练
- 评估基准:仿真环境、真实场景测试
| 类别 | 工具 | 用途 |
|---|---|---|
| 编程语言 | Python | 主要开发语言 |
| 深度学习框架 | PyTorch | 模型训练与推理 |
| 机器人仿真 | PyBullet, Isaac Gym | 物理仿真 |
| 具身环境 | Habitat, AI2-THOR | 具身AI训练 |
| SLAM框架 | ORB-SLAM3, OpenVSLAM | SLAM实现 |
| 可视化 | Open3D, Matplotlib | 结果展示 |
建议按照以下顺序学习各模块:
数学基础 → 物理基础 → 机器学习 → 计算机视觉 → SLAM → 深度学习 → 强化学习
↓ ↓
机器人学基础 → 机器人控制 → 机器人硬件 → 边缘部署 → 大模型 → 具身系统综合
| 阶段 | 论文类型 | 数量建议 |
|---|---|---|
| 入门 | 综述类、教程类 | 3-5篇 |
| 进阶 | 核心算法论文 | 10-15篇 |
| 研究 | 顶会论文 | 持续跟进 |
欢迎贡献以下内容:
- 论文笔记与解读
- 代码示例与实践项目
- 学习路径优化建议
- 资源推荐与整理
本项目采用 MIT 许可证,详见 LICENSE 文件。
祝您学习愉快! 🤖✨