· 11 分钟
大模型到底是怎么训练出来的?
用培养一个人的比喻,把大模型训练拆成预训练、CPT、SFT、强化学习、推理训练五步,一次讲清 RLHF、DPO、GRPO、LoRA 这些缩写到底在干什么。
大模型到底是怎么训练出来的?
现在我们每天都在用 ChatGPT、Claude、千问、DeepSeek 之类的 AI。
但有一个问题可能很多人都想过:
这些 AI 到底是怎么“学会”这么多东西的?
它们是不是把互联网上的文章全部背下来了?
是不是工程师给它准备了一套巨大的“标准答案”,然后让它照着学习?
其实都不是这么简单。
如果把一个大模型的成长过程比喻成培养一个人,那么整个过程可以简单理解成:
先让它读万卷书,再教它怎么做人做事,最后再让它自己琢磨怎么把事情做好。
而这整个过程,大体可以分成两大阶段:
预训练(Pre-training)→ 后训练(Post-training)
后训练里面,又主要包含:
监督微调(SFT)→ 强化学习(RL)
理解了这条主线,平时看到的什么 GPT、SFT、RLHF、DPO、GRPO、RFT、LoRA……基本就不会再觉得是一堆“天书缩写”了。
一、第一阶段:预训练——先把它变成一个“书呆子”
我们先想象一下。
如果我要培养一个人,让他以后什么都懂,我会怎么做?
很简单:
给他读书。
大量地读书。
小说、新闻、百科、论文、代码、网页……
能找到的资料,统统拿过来。
大模型的预训练,其实就是这么一个思路。
给模型喂什么?
简单来说,就是海量的数据。
原始笔记里用了一个非常直观的说法:
差不多整个互联网都可以成为它的“教材”。
当然,现实中的数据处理会复杂得多,不是把互联网直接打包扔进模型里。
但从理解训练逻辑的角度,可以把它想象成:
让模型阅读海量的书、网页、代码和其他文本资料。
这个规模有多大?
已经不是“几百万篇文章”这种概念了,而是到了万亿级 Token/文字规模。
二、但模型到底是怎么“读书”的?
这里就有意思了。
模型并不是像我们一样:
“今天学习《三国演义》,明天学习物理,后天学习编程。”
它干的事情其实非常简单,甚至可以说有点“笨”。
猜下一个字。
比如给它:
今天天气真……
让它猜:
好
然后再给它:
今天天气真好,适合……
继续猜下一个。
不断重复。
猜错了,就调整自己的参数;猜对了,就继续。
一个字、一个词、一个 Token……
不停地猜。
猜上几万亿、甚至更多次。
三、这么简单的游戏,为什么能练出一个大模型?
这其实是大模型最神奇的地方之一。
表面上看,它只是在玩一个:
“猜下一个字”
的游戏。
但如果你想把这个游戏玩好,就不得不慢慢学会大量东西。
比如:
“太阳从东边……”
后面大概率是什么?
模型要想猜得准,就得知道:
太阳、东边、升起、方向……
这些东西之间存在关系。
再比如:
“爱因斯坦提出了……”
模型如果想预测得准确,就必须逐渐掌握:
爱因斯坦、相对论、物理学……
之间的关系。
所以你会发现:
模型并不是被人直接教会“知识”,而是在不断预测下一个 Token 的过程中,被迫学习语言、知识、常识以及各种事物之间的关系。
这就是预训练最核心的逻辑。
四、预训练结束后,它其实还是个“书呆子”
经过这么多轮训练之后,模型已经可以说是:
满肚子墨水。
但问题来了。
它可能还是一个非常奇怪的“人”。
比如你问它:
“什么是黑洞?”
它可能并不会像 ChatGPT 这样:
“黑洞是一种引力极强的天体……”
而是继续进行文本续写。
因为它在预训练阶段学到的核心能力其实是:
根据前面的内容,预测后面的内容。
它本质上首先是一个非常厉害的文本续写机器。
所以这个阶段得到的东西叫:
基座模型(Base Model)
可以把它理解成:
读完了万卷书,但是还没学会怎么跟人正常交流的书呆子。
五、如果想让它成为专业人士怎么办?
这时候还有一个东西叫:
CPT——继续预训练(Continued Pre-Training)
什么意思?
就是:
你已经读完了大学通识课程,现在我再让你专门读一个领域的大量资料。
比如一个通用模型已经学习了大量互联网知识。
现在我们再给它大量:
- 医学论文
- 医疗资料
- 临床知识
- 医学教材
让它继续训练。
它就会进一步加强医学领域的能力。
所以可以简单理解:
预训练 = 读万卷书
CPT = 进入某个专业继续深造
这时候,它还是那个“书呆子”,只不过已经变成了一个医学书呆子。
六、第二阶段:后训练——终于开始教它“怎么做人”
现在模型已经“知道很多东西”了。
但我们真正想要的不是一个只会续写文章的模型。
我们希望它能够:
听懂我的话。
回答我的问题。
按我的要求完成任务。
不要胡说八道。
最好还能知道什么回答比较合适。
所以接下来就进入:
后训练(Post-training)
这里主要可以理解成两个步骤:
SFT 监督微调 + RL 强化学习
七、第一步:SFT——手把手教它怎么回答
SFT 的全称是:
Supervised Fine-Tuning,监督微调。
这个东西其实非常好理解。
如果预训练是在:
“读书”
那么 SFT 就是在:
“找老师手把手教。”
比如我们给模型一道题:
用户:为什么天空是蓝色的?
然后人工准备一个比较好的答案:
助手:因为太阳光进入大气层后……
然后把这种:
问题 → 标准答案
的样本准备很多很多。
让模型不断学习。
于是模型慢慢就知道:
用户这样问的时候,我应该这样回答。
这就是 SFT。
所以一句话记忆:
预训练让模型“知道很多东西”,SFT 教模型“怎么回答问题”。
八、SFT 还能教它各种不同的本事
微调并不只有一种。
你想教它什么,就可以准备对应的数据。
比如:
| 微调方向 | 主要目的 |
|---|---|
| 指令微调 | 学会执行用户指令 |
| 对话微调 | 学会多轮聊天 |
| 领域微调 | 加强医疗、法律、代码等专业能力 |
| 上下文微调 | 加强长文本理解能力 |
| 工具微调 | 学会调用工具、查资料、操作软件 |
所以你会发现:
SFT 本质上就是“针对某个目标进行教学”。
九、那是不是每次微调都要把整个模型重新训练?
当然不是。
如果一个模型有几百亿甚至上千亿参数,每次只为了教它一项新技能,就把整个模型重新训练一遍:
成本实在太高了。
于是就出现了一大类非常重要的技术:
PEFT——参数高效微调
它的思路很简单:
别把整个模型都动了,只改其中一小部分。
这里最有名的就是:
LoRA
以及:
- QLoRA
- DoRA
- Adapter
- Prefix Tuning
等等。
其中普通用户如果不想陷入太深的技术细节,其实先记住:
LoRA = 一种非常流行的低成本微调方法。
它最大的意义就是:
把原本需要巨大算力才能干的微调工作,降低到了普通显卡也有机会参与的程度。
十、SFT之后,还没完
现在模型已经会:
听懂指令、回答问题、跟人聊天。
但还有一个问题:
同一个问题,它可能可以生成很多不同的答案。
比如你问:
“怎么评价一个人?”
它可以给出:
A:比较客观、礼貌的答案。
B:虽然正确,但非常生硬。
C:阴阳怪气。
D:甚至可能产生有害内容。
那么问题来了:
我们怎么告诉它,什么样的回答才是“更好的回答”?
这就轮到:
强化学习(RL)
十一、强化学习:不再告诉它标准答案,而是给它“打分”
这时候,训练方式发生了变化。
SFT 是:
我告诉你正确答案,你照着学。
强化学习则更像:
你自己回答,我来给你打分。
比如同一个问题,模型生成了三个答案。
人类觉得:
- A:很好 → 9分
- B:还行 → 6分
- C:很差 → 2分
模型慢慢就会发现:
“哦,原来这种回答更容易拿高分。”
于是它就会不断调整自己。
这就是强化学习最核心的思路。
十二、所谓“AI对齐”,到底是什么?
我们经常听到一个词:
Alignment,对齐。
听起来很玄学。
其实可以把它简单理解成:
让 AI 的行为越来越符合人类希望它表现出来的样子。
比如:
- 更有帮助
- 更准确
- 更礼貌
- 更安全
- 更遵循指令
- 少说废话
- 不做明显有害的事情
这些都属于“对齐”的范畴。
所以:
强化学习是实现对齐的重要技术手段之一。
十三、RLHF、DPO、GRPO……到底有什么区别?
到了这里,很多人就开始懵了。
因为突然冒出来一大堆:
RLHF、PPO、DPO、GRPO、RLAIF……
其实不用害怕。
你只需要抓住一个核心问题:
到底是谁在给模型的答案打分?
这样一下就简单了。
1. RLHF + PPO
这是比较经典的一套路线。
先让模型针对同一个问题生成多个答案。
然后让人类来排序:
A 比 B 好,B 比 C 好。
再利用这些人工评价训练一个:
奖励模型(Reward Model)
这个奖励模型就像一个专门的:
AI 裁判。
之后模型不断答题,裁判不断打分,然后通过 PPO 等方法,让模型往高分方向优化。
所以可以记成:
人类排序 → 训练奖励模型 → 奖励模型打分 → PPO 优化
十四、DPO:嫌训练“裁判”太麻烦了
后来大家发现:
既然我们已经有了人类排序好的答案,
为什么还要专门训练一个“裁判”?
于是就出现了:
DPO
它的思路非常直接:
不要奖励模型了,直接拿人类偏好的答案训练模型。
所以:
RLHF:
人类评价 → 奖励模型 → 模型优化
DPO:
人类评价 → 直接优化模型
简单很多。
十五、GRPO:让模型自己在“一群答案”里比一比
GRPO 又是另一种思路。
它不一定需要一个单独的奖励模型。
而是:
一次生成一组答案,然后比较这一组答案谁更好。
比如一次生成 8 个答案。
其中:
- 第1个:90分
- 第2个:70分
- 第3个:30分
- ……
模型根据这一组答案之间的相对表现获得训练信号。
这类方法后来尤其受到推理模型训练的重视。
比如 DeepSeek-R1 就让很多人真正认识到了 GRPO 这条路线。
十六、RLAIF:连人都可以少请一点
还有一种思路更有意思:
既然人工打分这么贵,
能不能让 AI 来打分?
于是就有:
RLAIF
也就是:
让 AI 给 AI 的回答进行评价。
人类提前制定一些规则,然后让另一个 AI 按这些规则充当“裁判”。
这样就可以减少大量人工标注工作。
Anthropic 的 Constitutional AI(宪法 AI) 就是这类思路的代表之一。
十七、所以这些乱七八糟的缩写,其实没那么复杂
如果把刚才的内容压缩成一句话:
它们都是在解决同一个问题:怎么告诉模型“什么答案更好”。
区别主要在:
| 方法 | 谁来提供评价信号? |
|---|---|
| RLHF + PPO | 人类评价 → 奖励模型 |
| DPO | 直接使用人类偏好数据 |
| GRPO | 一组答案进行相对比较 |
| RLAIF | AI 来评价 AI |
这么一看,是不是突然没那么玄学了?
十八、最近几年最有意思的变化:开始训练 AI“先想一想”
这里就进入了现在大家非常熟悉的:
推理模型。
以前我们问 AI 一个数学题。
它可能:
看到问题 → 马上开始回答。
现在一些推理模型会表现成:
看到问题 → 先分析 → 尝试不同方案 → 检查 → 最后回答。
为什么?
因为大家发现:
很多复杂问题,如果让模型先进行更充分的推理,再给答案,正确率会明显提高。
于是训练目标也发生了变化。
十九、RFT:不教它“怎么想”,而是奖励它“想对”
这时候又出现了:
RFT——Reinforcement Fine-Tuning,强化微调。
虽然名字里有一个“Fine-Tuning”,但它背后的核心思想仍然是强化学习。
比如给模型一道数学题。
模型可以尝试不同的解法。
最后:
答对 → 奖励
答错 → 不奖励
经过大量训练之后,模型逐渐摸索出:
“我是不是应该先认真分析一下,再给最终答案?”
这其实就是现在很多“推理模型”背后的重要训练思路之一。
所以你现在看到:
“这个 AI 怎么回答问题之前要先思考这么久?”
从训练角度看,并不是 AI 突然拥有了一个神秘的“思考器”。
而是:
训练过程让它学会了,在某些问题上先进行更充分的推理,往往更容易得到高分。
二十、把整个大模型训练过程串起来
到这里,我们终于可以把整件事情串起来了。
如果把模型培养成人:
第一阶段:预训练
读万卷书
↓
获得大量知识和语言能力
↓
成为一个:
“满肚子墨水的书呆子”
第二阶段:CPT
专业深造
↓
继续学习某一个领域的大量知识
↓
变成:
“某个专业领域的书呆子”
第三阶段:SFT
老师手把手教
↓
告诉它:
“用户这么问,你应该这么答。”
↓
学会:
听懂指令、回答问题、聊天、使用工具……
第四阶段:RL
开始自己答题,然后接受评价
↓
好的答案奖励高
差的答案奖励低
↓
慢慢学会:
什么样的行为更符合人类期待
第五阶段:推理训练
不仅要答得好,还要答得对。
↓
通过奖励机制不断训练
↓
逐渐形成:
先分析 → 再推理 → 最后回答
这样的能力。
二十一、所以,一个大模型并不是“一次训练出来的”
这其实是理解大模型最重要的一点。
我们经常会说:
“某某公司训练了一个大模型。”
但实际上,大模型的成长更像是一个长期过程。
它不是:
数据 → 模型 → 完成
而更像:
海量数据
↓
预训练
↓
基座模型
↓
继续预训练 / 专业能力
↓
SFT
↓
强化学习
↓
推理能力训练
↓
最终产品
所以,当你以后再看到:
Base Model、CPT、SFT、LoRA、RLHF、DPO、GRPO、RLAIF、RFT
这些词的时候,不妨先别急着记英文全称。
先想一件事情:
它到底是在“让模型学知识”,还是“教模型怎么回答”,还是“让模型知道什么答案更好”,还是“让模型学会怎么推理”?
这么一来,这套看起来非常复杂的 AI 训练体系,其实就清楚很多了。
最后,用一句话记住整个大模型训练流程
预训练,让 AI 读万卷书;CPT,让它专攻某个领域;SFT,教它怎么回答问题;强化学习,教它什么样的回答更好;推理训练,则进一步让它学会先想清楚,再给答案。
而我们今天看到的 ChatGPT、Claude、千问、DeepSeek 等各种 AI 产品,真正呈现在我们面前的“会聊天、会写代码、会分析问题、会调用工具”,其实都是在这一层层训练之后,才逐渐形成的。
所以说到底:
大模型并不是一开始就“什么都会”。
它更像一个人——
先读书,获得知识;再学习如何与人交流;然后不断接受反馈;最后,慢慢学会自己解决问题。
这大概就是今天大模型“长大”的全过程。