Skip to content

xMathematics/embodied_intelligence

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

具身智能学习路径指南

从零开始学习具身智能的完整知识体系

📚 项目简介

本项目是一个系统化的具身智能(Embodied Intelligence)学习资源库,旨在帮助零基础学习者逐步掌握具身智能所需的全部知识体系。

具身智能是人工智能的一个重要分支,研究如何使智能体通过与环境的交互来获取和运用知识。本项目涵盖从数学基础到前沿研究的完整学习路径。

🎯 学习目标

通过本项目的学习,您将能够:

  • 掌握具身智能所需的数学、物理和计算机科学基础
  • 理解SLAM、三维重建、感知等核心技术
  • 掌握深度学习、强化学习在具身智能中的应用
  • 了解机器人硬件与控制原理
  • 具备部署和优化具身智能系统的能力

📁 项目结构

embodied_intelligence/
├── 00-math-foundation/           # 数学基础
│   ├── 01-linear-algebra/       # 线性代数
│   ├── 02-calculus/             # 微积分
│   ├── 03-probability-statistics/ # 概率论与统计
│   ├── 04-numerical-computation/  # 数值计算
│   ├── 05-geometry/             # 几何基础
│   ├── 06-optimization-theory/   # 优化理论
│   ├── 07-information-theory/    # 信息论
│   ├── 08-complex-analysis/      # 复分析与傅里叶分析
│   ├── 09-applications/          # 应用领域
│   └── 10-paper-surveys/        # 论文与综述
├── 01-physics/                   # 物理基础
│   ├── 01-classical-mechanics/   # 经典力学基础
│   ├── 02-kinematics/            # 运动学
│   ├── 03-dynamics/              # 动力学
│   ├── 04-control-theory/        # 控制理论基础
│   ├── 05-physics-simulation/    # 物理仿真
│   ├── 06-sensor-modeling/       # 传感器建模
│   ├── 07-contact-mechanics/     # 碰撞检测与接触力学
│   ├── 08-numerical-methods/     # 数值方法
│   ├── 09-applications/           # 应用领域
│   └── 10-paper-surveys/         # 论文与综述
├── 02-slam-3dreconstruction/     # SLAM与三维重建
│   ├── 01-slam-fundamentals/     # SLAM基础理论
│   ├── 02-visual-odometry/       # 视觉里程计(前端)
│   ├── 03-slam-backend/         # SLAM后端优化
│   ├── 04-multi-sensor-fusion/   # 多传感器融合
│   ├── 05-loop-closure/          # 回环检测
│   ├── 06-map-representation/    # 地图表示与管理
│   ├── 07-traditional-3d-reconstruction/ # 传统三维重建
│   ├── 08-neural-3d-reconstruction/ # 神经三维重建
│   ├── 09-datasets-evaluation/   # 数据集与评估
│   ├── 10-applications/          # 应用领域
│   ├── 11-cutting-edge/          # 前沿研究与未来方向
│   └── 12-paper-surveys/         # 论文详解
├── 03-machine-learning/          # 机器学习基础
│   ├── 01-fundamentals/          # 机器学习基础
│   ├── 02-supervised-learning/   # 监督学习
│   ├── 03-unsupervised-learning/ # 无监督学习
│   ├── 04-feature-engineering/   # 特征工程
│   ├── 05-model-evaluation/     # 模型评估与选择
│   ├── 06-dimensionality-reduction/ # 降维方法
│   ├── 07-bayesian-methods/     # 贝叶斯方法
│   ├── 08-ensemble-learning/     # 集成学习
│   ├── 09-applications/          # 应用领域
│   └── 10-paper-surveys/         # 论文详解
├── 04-deep-learning/             # 深度学习
│   ├── 01-neural-network-basics/ # 神经网络基础
│   ├── 02-cnn/                  # 卷积神经网络
│   ├── 03-rnn/                  # 循环神经网络
│   ├── 04-transformer/          # Transformer架构
│   ├── 05-generative-models/     # 生成模型
│   ├── 06-self-supervised-learning/ # 自监督学习
│   ├── 07-multimodal-learning/  # 多模态学习
│   ├── 08-model-training/        # 模型训练与优化
│   ├── 09-applications/          # 应用领域
│   └── 10-paper-surveys/         # 论文详解
├── 05-reinforcement-learning/   # 强化学习
│   ├── 01-fundamentals/         # RL基础
│   ├── 02-classical-algorithms/ # 经典算法
│   ├── 03-deep-rl/              # 深度强化学习
│   ├── 04-offline-rl/           # 离线强化学习
│   ├── 05-hierarchical-rl/       # 分层强化学习
│   ├── 06-multi-agent/           # 多智能体强化学习
│   ├── 07-model-based-rl/        # 基于模型的RL
│   ├── 08-safe-rl/              # 安全强化学习
│   ├── 09-applications/          # 应用领域
│   └── 10-paper-surveys/         # 论文详解
├── 06-robotics/                  # 机器人学基础
│   ├── 01-fundamentals/          # 机器人学基础
│   ├── 02-kinematics/            # 机器人运动学
│   ├── 03-dynamics/              # 机器人动力学
│   ├── 04-perception/            # 机器人感知
│   ├── 05-estimation/            # 状态估计
│   ├── 06-planning/              # 路径规划
│   ├── 07-robot-types/          # 机器人类型
│   ├── 08-applications/          # 应用领域
│   ├── 09-tools/                # 工具与平台
│   └── 10-paper-surveys/        # 论文与综述
├── 07-robot-control/             # 机器人控制
│   ├── 01-basic-control/         # 基础控制理论
│   ├── 02-motion-control/       # 运动控制
│   ├── 03-force-control/        # 力控制
│   ├── 04-adaptive-control/      # 自适应控制
│   ├── 05-robust-control/       # 鲁棒控制
│   ├── 06-learning-control/     # 学习控制
│   ├── 07-distributed-control/  # 分布式控制
│   ├── 08-real-time-control/    # 实时控制
│   ├── 09-control-frameworks/    # 控制框架
│   └── 10-paper-surveys/        # 论文与综述
├── 08-robot-hardware/           # 机器人硬件
│   ├── 01-mechanical-structure/  # 机械结构
│   ├── 02-sensors/              # 传感器系统
│   ├── 03-actuators/            # 执行器
│   ├── 04-embedded-systems/     # 嵌入式系统
│   ├── 05-power-systems/        # 电源系统
│   ├── 06-communication/        # 通信接口
│   ├── 07-hardware-integration/ # 硬件集成
│   ├── 08-robot-platforms/      # 机器人平台
│   ├── 09-hardware-tools/       # 硬件工具
│   └── 10-paper-surveys/       # 论文与综述
├── 09-edge-deployment/          # 边缘部署与CUDA
│   ├── 01-computer-architecture/ # 计算机体系结构
│   ├── 02-cpu-architecture/    # CPU架构
│   ├── 03-gpu-architecture/    # GPU架构
│   ├── 04-parallel-computing/  # 并行计算
│   ├── 05-high-performance/    # 高性能计算
│   ├── 06-cuda-programming/     # CUDA编程
│   ├── 07-model-optimization/  # 模型优化
│   ├── 08-inference-frameworks/ # 推理框架
│   ├── 09-edge-deployment/     # 边缘部署
│   └── 10-paper-surveys/       # 论文与综述
├── 10-large-models/             # 大模型与世界模型
│   ├── 01-llm-fundamentals/    # 大语言模型基础
│   ├── 02-vision-language/       # 视觉-语言模型
│   ├── 03-multimodal-models/    # 多模态模型
│   ├── 04-code-models/          # 代码模型
│   ├── 05-reasoning-models/     # 推理模型
│   ├── 06-world-models/        # 世界模型
│   ├── 07-embodied-models/     # 具身AI模型
│   ├── 08-model-alignment/     # 模型对齐
│   ├── 09-model-deployment/    # 模型部署
│   ├── 10-model-applications/  # 模型应用
│   └── 11-paper-surveys/       # 论文与综述
├── 11-perception-planning/      # 感知与规划控制
│   ├── 01-computer-vision/     # 计算机视觉
│   ├── 02-depth-perception/    # 深度感知
│   ├── 03-state-estimation/    # 状态估计
│   ├── 04-slam/                # SLAM
│   ├── 05-path-planning/       # 路径规划
│   ├── 06-motion-planning/     # 运动规划
│   ├── 07-task-planning/       # 任务规划
│   ├── 08-decision-making/     # 决策方法
│   ├── 09-integration/         # 系统集成
│   └── 10-paper-surveys/       # 论文与综述
├── 12-embodied-systems/         # 具身系统综合
│   ├── 01-embodied-concepts/   # 具身智能概念
│   ├── 02-system-architecture/ # 系统架构
│   ├── 03-learning-paradigms/  # 学习范式
│   ├── 04-perception-action/   # 感知-行动闭环
│   ├── 05-embodied-reasoning/  # 具身推理
│   ├── 06-evaluation-benchmarks/ # 评估基准
│   ├── 07-real-world-deployment/ # 真实部署
│   ├── 08-applications/        # 应用场景
│   ├── 09-cutting-edge/        # 前沿研究
│   └── 10-paper-surveys/       # 论文详解
├── projects/                    # 实践项目
└── resources/                  # 学习资源

🚀 学习路径

基础阶段(第1-3个月)

模块 学习时长 核心内容
数学基础 4周 线性代数、微积分、概率论
物理基础 3周 力学、运动学、动力学
编程基础 2周 Python、数据结构、算法

进阶阶段(第4-6个月)

模块 学习时长 核心内容
机器学习 4周 监督学习、无监督学习、评估方法
计算机视觉 4周 图像处理、特征提取、目标检测
SLAM入门 3周 视觉里程计、滤波方法

高级阶段(第7-12个月)

模块 学习时长 核心内容
深度学习 6周 CNN、Transformer、PyTorch
强化学习 6周 RL基础、PPO、DQN
机器人控制 4周 PID、运动规划、轨迹跟踪

研究阶段(第13-24个月)

模块 学习时长 核心内容
大模型应用 4周 VLM、VLA、世界模型
具身系统 6周 感知-行动闭环、决策规划
实践项目 12周 完整系统实现

📖 模块概览

1. 数学基础

  • 线性代数:向量、矩阵、特征值分解
  • 微积分:多元微积分、优化方法
  • 概率论:概率分布、贝叶斯定理

2. 物理基础

  • 经典力学:牛顿定律、刚体运动
  • 运动学:位姿表示、坐标变换
  • 动力学:拉格朗日力学、控制理论基础

3. SLAM与三维重建

  • 视觉里程计:特征匹配、光束法平差
  • SLAM算法:EKF、粒子滤波、因子图
  • 三维重建:SfM、MVS、NeRF

4. 机器学习

  • 监督学习:回归、分类、评估指标
  • 无监督学习:聚类、降维
  • 常用算法:SVM、决策树、随机森林

5. 深度学习

  • CNN:卷积、池化、经典架构
  • Transformer:自注意力、BERT、ViT
  • 训练技巧:正则化、优化器、数据增强

6. 强化学习

  • 基础理论:马尔可夫决策过程
  • 经典算法:Q-learning、Policy Gradient
  • 进阶算法:PPO、SAC、TD3

7. 机器人学

  • 机器人运动学:正运动学、逆运动学
  • 机器人动力学:关节空间、操作空间
  • 机器人感知:传感器融合、状态估计

8. 机器人控制

  • 基础控制:PID、状态反馈
  • 运动规划:A*、RRT、轨迹优化
  • 力控制:阻抗控制、自适应控制

9. 边缘部署

  • CUDA编程:GPU加速、并行计算
  • 模型优化:量化、剪枝、蒸馏
  • 边缘框架:TensorRT、ONNX Runtime

10. 大模型与世界模型

  • VLM:视觉-语言模型、多模态学习
  • VLA:视觉-语言-行动模型
  • 世界模型:基于模型的强化学习

11. 感知与规划控制

  • 感知:目标检测、语义分割、深度估计
  • 规划:路径规划、任务规划
  • 控制:闭环控制、自适应控制

12. 具身系统综合

  • 系统架构:感知-推理-行动闭环
  • 学习范式:模仿学习、强化学习、预训练
  • 评估基准:仿真环境、真实场景测试

🛠️ 工具栈

类别 工具 用途
编程语言 Python 主要开发语言
深度学习框架 PyTorch 模型训练与推理
机器人仿真 PyBullet, Isaac Gym 物理仿真
具身环境 Habitat, AI2-THOR 具身AI训练
SLAM框架 ORB-SLAM3, OpenVSLAM SLAM实现
可视化 Open3D, Matplotlib 结果展示

📊 学习进度追踪

建议按照以下顺序学习各模块:

数学基础 → 物理基础 → 机器学习 → 计算机视觉 → SLAM → 深度学习 → 强化学习
     ↓                                              ↓
   机器人学基础 → 机器人控制 → 机器人硬件 → 边缘部署 → 大模型 → 具身系统综合

📝 论文阅读建议

阶段 论文类型 数量建议
入门 综述类、教程类 3-5篇
进阶 核心算法论文 10-15篇
研究 顶会论文 持续跟进

👥 贡献指南

欢迎贡献以下内容:

  • 论文笔记与解读
  • 代码示例与实践项目
  • 学习路径优化建议
  • 资源推荐与整理

📄 许可证

本项目采用 MIT 许可证,详见 LICENSE 文件。


祝您学习愉快! 🤖✨

About

具身智能从硬件到软件的整体流程相关的教程文档,涉及到相关的数学物理内容,slam和三维重建,机器学习和深度学习,强化学习,机器人控制,大模型,边缘部署,感知规划控制,具身智能VLA、VLM等内容,后续还在不断补充。。。。。

Resources

License

Stars

3 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors