写在前面
零机器学习背景的开发者学大模型，最容易卡在两条路上：一是直接上手 API 调用，对模型内部一无所知；二是从数学啃起，迟迟到不了动手阶段。本文按 入门 → 进阶 整理了一份 GitHub 开源路线学习资料，每一阶段都有明确目标。
主线：先补深度学习地基 → 理解 Transformer → 吃透 LLM 原理 → 上手应用（Prompt/RAG/Agent）→ 微调与部署 → 源码与论文。
学习大纲
阶段一：机器学习与深度学习基础
- 概念：线性回归、损失函数、梯度下降、反向传播、神经网络直觉（不用啃数学推导，理解"训练 = 调参使损失变小"即可）
- 资源：吴恩达课程中文笔记 + 《动手学深度学习》（读到注意力章节为止，每章跑代码）
- 目标：能看懂一段 PyTorch 训练代码在做什么
- 概念：Attention、自注意力、多头注意力、位置编码、Transformer 整体架构
- 资源：《大模型基础》图文速览（先搭骨架）+ LLMs-from-scratch 第 2-3 章手写 tokenizer 与注意力
- 目标：能讲清"输入一句话 → 模型输出下一个词"的完整流程
阶段三：大模型核心原理
- 概念：tokenizer、预训练 vs 微调、自回归生成、上下文窗口、RLHF 对齐、幻觉来源
- 资源：Karpathy LLM101n（从数据到部署手搓一个模型，带视频）+《蘑菇书》补强化学习基础（RLHF 前置）
- 目标：理解 LLM 从预训练数据到对齐部署的完整链路
阶段四：应用开发
- 概念：Prompt 工程、RAG（检索增强）、Agent、Function Calling
- 资源：llm-universe（零基础 LLM 应用开发，手把手 Prompt → RAG → Agent 实战，首选）+ OpenAI 官方 cookbook（生产级最佳实践）
- 目标：能独立开发一个带知识库的 RAG 问答应用
阶段五：微调与部署
- 概念：LoRA/QLoRA、全参微调 vs 参数高效微调、推理优化、vLLM
- 资源：self-llm（开源模型微调 + 部署全流程实操）+ LlamaFactory（一键微调框架，中文文档 + WebUI）
- 目标：能在本地微调并部署一个开源模型（如 Qwen）
阶段六：源码与论文（按需）
- 论文精读：Transformer 原论文、GPT 系列中文逐段精读
- 源码：nanoGPT（最小可读的 GPT 训练代码）
- 底层：AIInfra（GPU、推理引擎、AI 系统）
- 面试：大模型八股题库（注意 2024 年后停更）
- 导航：Awesome-LLM（全领域资源地图）
资源清单
阶段一：深度学习基础
阶段三：LLM 核心原理
阶段四：应用开发
阶段五：微调与部署
阶段六：源码与论文
几点建议
- 不用先啃数学：线性代数基础即可起步，遇到公式用到再补
- 代码优先：《动手学深度学习》每章都跑一遍代码，比读十篇博客强
- 手写一遍注意力：LLMs-from-scratch 第 3 章手写自注意力，胜过看任何图解
- 应用从 RAG 入手：llm-universe 全流程走一遍，立刻有产出感
- 微调先 LoRA：成本低见效快，LlamaFactory 一条命令跑通再谈全参
- 注意时效：大模型领域迭代快，本文标注了停更/归档的资源（llm101n、llm_interview_note），当作"底子"用，新知识看活跃仓库
