AI Engineering from Scratch
📅 2026-06-17
课程
AI
ML
开源
自学
🔗 GitHub: rohitg00/ai-engineering-from-scratch
⭐ 34,000 stars | MIT 开源 | 503 课 / 20 阶段 / ~320 小时
由 Rohit Ghumare（Agent Memory 作者）创建的端到端 AI 工程全栈课程。从裸数学到多 Agent 集群部署，4 种语言（Python / TypeScript / Rust / Julia），每节课产出一个可复用工件。
核心哲学："You don't just learn AI. You build it. End-to-end. By hand."
🌐 配套网站: aiengineeringfromscratch.com
一、20 阶段概览
Phase 0
Setup & Tooling
Python / Rust 环境
Phase 1
Math Foundations
线代 · 微积分 · 概率
Phase 2
ML Fundamentals
回归 · 树 · KNN · PCA
Phase 3
Deep Learning Core
手写反向传播 · CNN · RNN
Phase 4
Computer Vision
CNN · 检测 · 分割 · 3D
Phase 5
NLP Foundations→Advanced
词嵌入 · LSTM · BERT
Phase 6
Speech & Audio
波形 → MFCC → Whisper
Phase 7
Transformers Deep Dive
注意力 · MoE · FlashAttn
Phase 8
Generative AI
VAE · 扩散模型 · GAN
Phase 9
Reinforcement Learning
Q-Learning · PPO
Phase 10
LLMs from Scratch
手搭 Tokenizer → 预训练 → RLHF → 量化
Phase 11
LLM Engineering
微调 · RAG · Prompt工程 · 评估
Phase 12
Multimodal AI
CLIP · LLaVA · SD
Phase 13
Tools & Protocols
MCP · Function Calling · A2A
Phase 14
Agent Engineering
Agent Loop · ReWOO · Reflexion · LangGraph · CrewAI
Phase 15
Autonomous Systems
循环 · 规划 · 工具链
Phase 16
Multi-Agent & Swarms
编排 · 编队 · 协调
Phase 17
Infrastructure & Production
Docker · K8s · 监控 · CI
Phase 18
Ethics, Safety & Alignment
安全 · 偏见 · 宪法AI
Phase 19
Capstone Projects
综合工程项目
二、课程设计精髓
每课六拍结构
| 拍 | 内容 |
|---|
| MOTTO | 一句话核心思想 |
| PROBLEM | 具体痛点——为什么这个技术存在 |
| CONCEPT | 图解 + 直觉理解 |
| BUILD IT | 从裸数学手写实现，零框架 |
| USE IT | 同样功能在 PyTorch / sklearn 里跑 |
| SHIP IT | 产出 prompt / skill / agent / MCP server |
每课产出 503 个可复用工件
- FIG 001-A 提示词 — 黏贴到任何 AI 助手即用
- FIG 001-B Skills — 可加载到 Claude/Cursor/Codex/Hermes
- FIG 001-C Agents — 自主工作代理（Phase 14 你亲自写循环）
- FIG 001-D MCP Servers — 完整的 MCP 服务器（Phase 13 实现）
内置 AI 助教 slash 命令
| 命令 | 功能 |
|---|
/find-your-level | 10 题定位测验，映射到合适的起始阶段，生成个性化路径及预估时间 |
/check-understanding N | 第 N 阶段测验，8 题 + 反馈 + 复习建议 |
三、与你的现有体系互补
| 你有 | 这里补什么 |
|---|
| Loop Engineering（橙书）→ 怎么设计循环 | Phase 14-16 → 循环里的 Agent 具体怎么实现 |
| 日常用 Ollama + API | Phase 10 → 从 tokenizer 到 RLHF，整条 LLM 管线亲手搭 |
| MCP 概念了解 | Phase 13 → 完整 MCP 服务器实现 |
| 运行着多个 agent cron | Phase 17 → 生产级基础设施 Docker/K8s/监控 |
| Transformer 黑箱 | Phase 7 → 15 课深入：注意力/MoE/FlashAttention/Scaling Laws |
四、关键链接
五、复习建议
对你当前水平，建议跳过 Phase 0-6（数学/ML基础），直接从 Phase 7（Transformer） 和 Phase 10（LLM 手搭） 入手，然后钻 Phase 14（Agent 工程） — 后者包含 15 种不同 Agent 架构的完整实现，跟你的橙书实践形成完美闭环。