learn-minimind

Learn MiniMind

从零基础到面试通关 —— 24节课 + 190道面试题 + 哆啦A梦图解，彻底搞懂大语言模型

快速开始 • 课程目录 • 面试宝典 • 学习路线图 • 漫画图解 • 多格式输出

这个项目是什么？

用 24 节课 + 190 道面试八股文 + 15 张哆啦A梦漫画图解，把一个完全零基础的小白，带到能在面试中自信讲述"我从零训练了一个大语言模型"的水平。

MiniMind 是一个仅需 3 块钱、2 小时就能从零训练出 64M 参数 GPT 的开源项目，在 GitHub 上获得了 45k+ Star。本仓库是 MiniMind 的系统化学习教程 + 面试备战手册，专为以下人群设计：

• 零基础小白 —— 不懂 Python、不懂深度学习也能看懂，配有哆啦A梦漫画图解
• 求职面试者 —— 190+ 道面试八股文 + STAR 面试稿 + 简历撰写指南
• 想动手实践 —— 每节课都有可运行的 PyTorch 实验代码

本项目的特色

学习路线图

你现在在这里
    ↓
Phase 1                    Phase 2                    Phase 3                    Phase 4                 Phase 5
零基础入门                 模型核心组件               训练全流程                 高级特性 & 面试          求职冲刺
============              ==============             ============              ================        ============

L01 什么是LLM         →   L05 Tokenizer分词器    →   L11 数据处理流水线    →   L17 DPO偏好优化     →  L23 简历撰写指南
 |                         |                          |                         |                       |
L02 Transformer全景    →   L06 词嵌入Embedding    →   L12 预训练Pretrain    →   L18 PPO/GRPO强化学习 →  L24 STAR面试法
 |                         |                          |                         |
L03 PyTorch快速上手    →   L07 RMSNorm归一化      →   L13 监督微调SFT       →   L19 MoE混合专家
 |                         |                          |                         |
L04 MiniMind环境搭建   →   L08 RoPE位置编码       →   L14 LoRA高效微调      →   L20 推理优化
                           |                          |                         |
                           L09 注意力机制&GQA      →   L15 知识蒸馏KD         →   L21 部署与应用
                           |                          |                         |
                           L10 FFN前馈网络&SwiGLU  →   L16 完整模型组装       →   L22 面试通关指南
                                                                                    ↓
                                                                           190+ 面试八股文
                                                                                    ↓
                                                                              写进简历，拿下Offer！

学习时间估算

3 天快速通关路线

7 天系统学习路线

课程目录

Phase 1 · 零基础入门

从"大语言模型是什么"开始，到亲手跑通 MiniMind

Phase 2 · 模型核心组件

逐个拆解 Transformer 的每一个"零件"，对应 MiniMind 源码，配有哆啦A梦漫画图解

Phase 3 · 训练全流程

从数据到模型训练的完整链路，亲手训出属于你的 LLM

Phase 4 · 高级特性与面试通关

强化学习、MoE、部署优化，以及最终的面试通关指南

Phase 5 · 求职冲刺

简历撰写 + STAR 面试法，直接用于求职

面试宝典

共 190+ 道面试题，覆盖 MiniMind 项目的每一个技术细节

基础面试

深度面试八股文（新增）

面试速查表

哆啦A梦图解

15 张原创漫画，让复杂概念变得生动有趣

概念	漫画	说明
LLM 全景		哆啦A梦从口袋掏出 Transformer 各组件
Tokenizer		大雄把句子切成小积木，BPE 合并过程
Embedding		词语在向量空间中的星星
RMSNorm		标准化光线枪让数据统一
RoPE		旋转木马上的位置编码
Self-Attention		同学们互相传纸条
GQA		MHA vs MQA vs GQA 三种方案对比
SwiGLU		门控开关选择信息通过
预训练		哆啦A梦在图书馆读海量书籍
SFT		大雄教哆啦A梦礼貌说话
DPO		选择好的回答，拒绝坏的回答
LoRA		只改一小部分的"效率道具"
MoE		多个专家小叮当各司其职
KV Cache		记忆面包不用重复背
训练流程		从零到一的冒险地图

快速开始

# 1. 克隆本学习仓库
git clone https://github.com/bcefghj/learn-minimind.git
cd learn-minimind

# 2. 克隆 MiniMind 原项目（学习时需要对照源码）
git clone https://github.com/jingyaogong/minimind.git
cd minimind && pip install -r requirements.txt

# 3. 从第一课开始
# 打开 docs/L01-什么是大语言模型.md 开始学习！

生成 HTML 版本

pip install markdown pygments
python scripts/build_html.py
# 打开 dist/html/index.html 查看

生成 PDF 版本

pip install markdown weasyprint
python scripts/build_pdf.py
# 查看 dist/pdf/ 目录

项目结构

learn-minimind/
│
├── README.md                          ← 你在这里
│
├── docs/                              ← 24 节课程（核心内容）
│   ├── L01-什么是大语言模型.md
│   ├── ...
│   ├── L22-面试通关指南.md
│   ├── L23-简历撰写指南.md            ← 新增：简历撰写
│   └── L24-STAR面试法完整稿.md         ← 新增：STAR 面试
│
├── interview/                         ← 面试宝典（10 篇，190+ 题）
│   ├── 01-项目介绍话术.md
│   ├── ...
│   ├── 05-综合追问与深挖题.md
│   ├── 06-Transformer深度拷问30题.md   ← 新增
│   ├── 07-训练全流程面试50题.md        ← 新增
│   ├── 08-推理优化与部署面试30题.md    ← 新增
│   ├── 09-工程实践面试30题.md          ← 新增
│   └── 10-MiniMind项目专属面试50题.md  ← 新增
│
├── assets/comics/                     ← 哆啦A梦风格漫画（15 张）
│   ├── 01-llm-overview.png
│   ├── ...
│   └── 15-training-pipeline.png
│
├── scripts/                           ← 工具脚本
│   ├── build_html.py                  ← Markdown → HTML
│   └── build_pdf.py                   ← Markdown → PDF
│
├── dist/                              ← 生成的多格式输出
│   ├── html/                          ← HTML 版本
│   └── pdf/                           ← PDF 版本
│
├── web/                               ← 交互式学习网站（Next.js）
│   ├── src/components/
│   └── package.json
│
└── LICENSE                            ← MIT

交互式学习网站

本项目包含一个基于 Next.js + Framer Motion 的交互式学习网站，包含：

• 代码打字机动画 — Transformer Block 源码逐字打出 + 语法高亮
• Token 数据流动画 — 直观看到输入→Tokenizer→Embedding→Transformer→输出的全过程
• 学习路径卡片 — 24 节课滚动入场动画
• 模型架构交互图 — 可展开/折叠的 Transformer Block 可视化
• 模拟面试动画 — 面试官提问、你来回答的对话循环

cd web && npm install && npm run dev   # http://localhost:3000

MiniMind 项目速览

参考资源

官方资源

• MiniMind 原项目 — GitHub 45k+ Stars
• MiniMind Wiki — 官方学习文档
• MiniMind 在线体验 — ModelScope Demo

优质学习仓库

• MiniMind-in-Depth — 源码深度解读（880 stars）
• breakdown-minimind — 交互式 Notebook 拆解（148 stars）
• MLNLP-World/minimind-notes — 社区详细中文注释版（128 stars）
• joyehuang/minimind-notes — 原理与实践指南（86 stars）
• tomatoyuan/minimind-learn — 从零复现实践（230 stars）

面试资源

• 小林coding 530+ AI面试题 — 9 大方向全覆盖
• Transformer 面试题灵魂 20 问
• 大模型面试 100 问

博客教程

• CSDN: minimind 详解+训练+推理
• CSDN: 从零开始训练大模型实践指南
• 掘金: 从零开始训练 26M 参数的 GPT 模型

多格式输出

License

MIT

大道至简 —— 从零开始，一步一步，你也能训练自己的大语言模型。

Star 这个仓库，开始你的 LLM 学习之旅吧！