README

  
  
    
  


---

 简 介

🎉 原创 100+ 架构图，系统讲解大模型、强化学习，涵盖：LLM / VLM 等大模型原理、训练算法（RL、RLHF、GRPO、DPO、SFT 与 CoT 蒸馏等）、效果优化与 RAG 等。  

🎉 关于架构图更详细的解读可参考：《大模型算法：强化学习、微调与对齐》 (豆瓣高分，多次京东AI图书Top 5 ！)

🎉 本仓库长期勘误、追加，欢迎点击仓库顶部的 Star ⭐ 关注，感谢鼓励✨

🎉 单击图片可看高清大图，或浏览仓库目录中的 .svg 格式矢量图（活图，可无限缩放、可选择文字）







---


 目 录

 第1部分：大模型、强化学习的技术全景图
- 大模型算法总体架构（以LLM、VLM为主）  
- 强化学习算法图谱 (rl‑algo‑map).pdf——全网最大！
- LLM结构总图——全网最大！  
- 策略梯度(Policy Gradient)-强化学习(PPO&GRPO等)之根基.pdf  

 第2部分：大模型基础
- LLM（Large Language Model）结构  
- LLM生成与解码（Decoding）过程  
- LLM输入层  
- LLM输出层  
- 多模态模型结构（VLM、MLLM …）  
- LLM训练流程

 第3部分：SFT（有监督微调）
- 微调（Fine‑Tuning）技术分类  
- LoRA（1 of 2）  
- LoRA（2 of 2）  
- Prefix‑Tuning  
- TokenID与词元的映射关系  
- SFT的Loss（交叉熵）  
- 指令数据的来源  
- 多个数据的拼接（Packing）

 第4部分：DPO（直接偏好优化）
- RLHF与DPO的训练架构对比  
- Prompt的收集  
- DPO（Direct Preference Optimization）  
- DPO训练全景图  
- β参数对DPO的影响  
- 隐式奖励差异对参数更新幅度的影响

 第5部分：免训练的大模型优化技术
- CoT（Chain of Thought）与传统问答的对比  
- CoT、Self‑consistency CoT、ToT、GoT  
- 穷举搜索（Exhaustive Search）  
- 贪婪搜索（Greedy Search）  
- 波束搜索（Beam Search）  
- 多项式采样（Multinomial Sampling）  
- Top‑K采样（Top‑K Sampling）  
- Top‑P采样（Top‑P Sampling）  
- RAG（检索增强生成, Retrieval‑Augmented Generation）  
- 功能调用（Function Calling）

 第6部分：强化学习（RL）基础
- 强化学习(Reinforcement Learning, RL)的发展历程  
- 三大机器学习范式  
- 强化学习的基础架构  
- 强化学习的运行轨迹  
- 马尔可夫链 vs 马尔可夫决策过程（MDP）  
- 探索与利用问题（Exploration and Exploitation）  
- Ɛ‑贪婪策略下使用动态的Ɛ值  
- 强化学习训练范式的对比  
- 强化学习算法分类  
- 回报（累计奖励，Return）  
- 反向迭代并计算回报 G  
- 奖励（Reward）、回报（Return）、价值（Value）的关系  
- 价值函数 Qπ 与 Vπ 的关系  
- 蒙特卡洛（Monte Carlo，MC）法预估状态 St 的价值  
- TD 目标与 TD 误差的关系（TD target and TD error）  
- TD(0)、多步 TD 与蒙特卡洛的关系  
- 蒙特卡洛方法与 TD 方法的特性  
- 蒙特卡洛、TD、DP、穷举搜索的关系  
- 两种输入输出结构的 DQN（Deep Q-Network）模型  
- DQN 的实际应用示例  
- DQN 的“高估”问题  
- 基于价值 vs 策略（Value-Based vs Policy-Based）  
- 策略梯度（Policy Gradient）  
- 多智能体强化学习（MARL，Multi-agent reinforcement learning）  
- 多智能体 DDPG  
- 模仿学习（IL，Imitation Learning）  
- 行为克隆（BC，Behavior Cloning）  
- 逆向强化学习（IRL，Inverse RL）  
- 有模型（Model-Based） vs 无模型（Model-Free）  
- 封建等级强化学习（Feudal RL）  
- 分布价值强化学习（Distributional RL）

 第7部分：策略优化架构及衍生算法
- Actor‑Critic 架构  
- 引入基线与优势函数 A （Advantage）的作用  
- GAE（广义优势估计,Generalized Advantage Estimation）算法  
- PPO（Proximal Policy Optimization）算法的演进  
- TRPO（Trust Region Policy Optimization）及其置信域  
- 重要性采样（Importance sampling）  
- PPO‑Clip  
- PPO训练中策略模型的更新过程  
- PPO 伪代码  
- PPO 与 GRPO  
- 确定性 vs 随机性策略（Deterministic policy vs. Stochastic policy）  
- 确定性策略梯度（DPG）  
- DDPG（Deep Deterministic Policy Gradient）

 第8部分：RLHF 与 RLAIF
- 语言模型的强化学习建模  
- RLHF 的两阶段式训练流程  
- 奖励模型（RM）结构  
- 奖励模型的输入输出  
- 预测偏差与 Loss 的关系  
- 奖励模型的训练  
- PPO 中四种模型的合作关系  
- PPO 中四种模型的结构与初始化  
- 双头结构的价值模型  
- 共享底座的四种模型  
- PPO 输入与输出  
- PPO 中的 KL 距离计算  
- 基于 PPO 的 RLHF 原理图  
- 拒绝采样（Rejection Sampling）微调  
- RLAIF 与 RLHF 的区别  
- Claude模型应用的宪法AI（CAI）原理  
- OpenAI RBR（基于规则的奖励）

 第9部分：逻辑推理（Reasoning）能力优化
- 基于 CoT 的知识蒸馏（Knowledge Distillation）  
- 基于 DeepSeek 进行蒸馏  
- ORM 和 PRM（结果奖励模型和过程奖励模型）  
- MCTS 每次迭代的四个关键步骤  
- MCTS 的运行过程  
- 语言场景下的搜索树示例  
- B