· 11 分钟

大模型到底是怎么训练出来的?

用培养一个人的比喻,把大模型训练拆成预训练、CPT、SFT、强化学习、推理训练五步,一次讲清 RLHF、DPO、GRPO、LoRA 这些缩写到底在干什么。

大模型到底是怎么训练出来的?

现在我们每天都在用 ChatGPT、Claude、千问、DeepSeek 之类的 AI。

但有一个问题可能很多人都想过:

这些 AI 到底是怎么“学会”这么多东西的?

它们是不是把互联网上的文章全部背下来了?

是不是工程师给它准备了一套巨大的“标准答案”,然后让它照着学习?

其实都不是这么简单。

如果把一个大模型的成长过程比喻成培养一个人,那么整个过程可以简单理解成:

先让它读万卷书,再教它怎么做人做事,最后再让它自己琢磨怎么把事情做好。

而这整个过程,大体可以分成两大阶段:

预训练(Pre-training)→ 后训练(Post-training)

后训练里面,又主要包含:

监督微调(SFT)→ 强化学习(RL)

理解了这条主线,平时看到的什么 GPT、SFT、RLHF、DPO、GRPO、RFT、LoRA……基本就不会再觉得是一堆“天书缩写”了。


一、第一阶段:预训练——先把它变成一个“书呆子”

我们先想象一下。

如果我要培养一个人,让他以后什么都懂,我会怎么做?

很简单:

给他读书。

大量地读书。

小说、新闻、百科、论文、代码、网页……

能找到的资料,统统拿过来。

大模型的预训练,其实就是这么一个思路。

给模型喂什么?

简单来说,就是海量的数据。

原始笔记里用了一个非常直观的说法:

差不多整个互联网都可以成为它的“教材”。

当然,现实中的数据处理会复杂得多,不是把互联网直接打包扔进模型里。

但从理解训练逻辑的角度,可以把它想象成:

让模型阅读海量的书、网页、代码和其他文本资料。

这个规模有多大?

已经不是“几百万篇文章”这种概念了,而是到了万亿级 Token/文字规模。


二、但模型到底是怎么“读书”的?

这里就有意思了。

模型并不是像我们一样:

“今天学习《三国演义》,明天学习物理,后天学习编程。”

它干的事情其实非常简单,甚至可以说有点“笨”。

猜下一个字。

比如给它:

今天天气真……

让它猜:

好

然后再给它:

今天天气真好,适合……

继续猜下一个。

不断重复。

猜错了,就调整自己的参数;猜对了,就继续。

一个字、一个词、一个 Token……

不停地猜。

猜上几万亿、甚至更多次。


三、这么简单的游戏,为什么能练出一个大模型?

这其实是大模型最神奇的地方之一。

表面上看,它只是在玩一个:

“猜下一个字”

的游戏。

但如果你想把这个游戏玩好,就不得不慢慢学会大量东西。

比如:

“太阳从东边……”

后面大概率是什么?

模型要想猜得准,就得知道:

太阳、东边、升起、方向……

这些东西之间存在关系。

再比如:

“爱因斯坦提出了……”

模型如果想预测得准确,就必须逐渐掌握:

爱因斯坦、相对论、物理学……

之间的关系。

所以你会发现:

模型并不是被人直接教会“知识”,而是在不断预测下一个 Token 的过程中,被迫学习语言、知识、常识以及各种事物之间的关系。

这就是预训练最核心的逻辑。


四、预训练结束后,它其实还是个“书呆子”

经过这么多轮训练之后,模型已经可以说是:

满肚子墨水。

但问题来了。

它可能还是一个非常奇怪的“人”。

比如你问它:

“什么是黑洞?”

它可能并不会像 ChatGPT 这样:

“黑洞是一种引力极强的天体……”

而是继续进行文本续写。

因为它在预训练阶段学到的核心能力其实是:

根据前面的内容,预测后面的内容。

它本质上首先是一个非常厉害的文本续写机器。

所以这个阶段得到的东西叫:

基座模型(Base Model)

可以把它理解成:

读完了万卷书,但是还没学会怎么跟人正常交流的书呆子。


五、如果想让它成为专业人士怎么办?

这时候还有一个东西叫:

CPT——继续预训练(Continued Pre-Training)

什么意思?

就是:

你已经读完了大学通识课程,现在我再让你专门读一个领域的大量资料。

比如一个通用模型已经学习了大量互联网知识。

现在我们再给它大量:

  • 医学论文
  • 医疗资料
  • 临床知识
  • 医学教材

让它继续训练。

它就会进一步加强医学领域的能力。

所以可以简单理解:

预训练 = 读万卷书

CPT = 进入某个专业继续深造

这时候,它还是那个“书呆子”,只不过已经变成了一个医学书呆子。


六、第二阶段:后训练——终于开始教它“怎么做人”

现在模型已经“知道很多东西”了。

但我们真正想要的不是一个只会续写文章的模型。

我们希望它能够:

听懂我的话。

回答我的问题。

按我的要求完成任务。

不要胡说八道。

最好还能知道什么回答比较合适。

所以接下来就进入:

后训练(Post-training)

这里主要可以理解成两个步骤:

SFT 监督微调 + RL 强化学习


七、第一步:SFT——手把手教它怎么回答

SFT 的全称是:

Supervised Fine-Tuning,监督微调。

这个东西其实非常好理解。

如果预训练是在:

“读书”

那么 SFT 就是在:

“找老师手把手教。”

比如我们给模型一道题:

用户:为什么天空是蓝色的?

然后人工准备一个比较好的答案:

助手:因为太阳光进入大气层后……

然后把这种:

问题 → 标准答案

的样本准备很多很多。

让模型不断学习。

于是模型慢慢就知道:

用户这样问的时候,我应该这样回答。

这就是 SFT。

所以一句话记忆:

预训练让模型“知道很多东西”,SFT 教模型“怎么回答问题”。


八、SFT 还能教它各种不同的本事

微调并不只有一种。

你想教它什么,就可以准备对应的数据。

比如:

微调方向主要目的
指令微调学会执行用户指令
对话微调学会多轮聊天
领域微调加强医疗、法律、代码等专业能力
上下文微调加强长文本理解能力
工具微调学会调用工具、查资料、操作软件

所以你会发现:

SFT 本质上就是“针对某个目标进行教学”。


九、那是不是每次微调都要把整个模型重新训练?

当然不是。

如果一个模型有几百亿甚至上千亿参数,每次只为了教它一项新技能,就把整个模型重新训练一遍:

成本实在太高了。

于是就出现了一大类非常重要的技术:

PEFT——参数高效微调

它的思路很简单:

别把整个模型都动了,只改其中一小部分。

这里最有名的就是:

LoRA

以及:

  • QLoRA
  • DoRA
  • Adapter
  • Prefix Tuning

等等。

其中普通用户如果不想陷入太深的技术细节,其实先记住:

LoRA = 一种非常流行的低成本微调方法。

它最大的意义就是:

把原本需要巨大算力才能干的微调工作,降低到了普通显卡也有机会参与的程度。


十、SFT之后,还没完

现在模型已经会:

听懂指令、回答问题、跟人聊天。

但还有一个问题:

同一个问题,它可能可以生成很多不同的答案。

比如你问:

“怎么评价一个人?”

它可以给出:

A:比较客观、礼貌的答案。

B:虽然正确,但非常生硬。

C:阴阳怪气。

D:甚至可能产生有害内容。

那么问题来了:

我们怎么告诉它,什么样的回答才是“更好的回答”?

这就轮到:

强化学习(RL)


十一、强化学习:不再告诉它标准答案,而是给它“打分”

这时候,训练方式发生了变化。

SFT 是:

我告诉你正确答案,你照着学。

强化学习则更像:

你自己回答,我来给你打分。

比如同一个问题,模型生成了三个答案。

人类觉得:

  • A:很好 → 9分
  • B:还行 → 6分
  • C:很差 → 2分

模型慢慢就会发现:

“哦,原来这种回答更容易拿高分。”

于是它就会不断调整自己。

这就是强化学习最核心的思路。


十二、所谓“AI对齐”,到底是什么?

我们经常听到一个词:

Alignment,对齐。

听起来很玄学。

其实可以把它简单理解成:

让 AI 的行为越来越符合人类希望它表现出来的样子。

比如:

  • 更有帮助
  • 更准确
  • 更礼貌
  • 更安全
  • 更遵循指令
  • 少说废话
  • 不做明显有害的事情

这些都属于“对齐”的范畴。

所以:

强化学习是实现对齐的重要技术手段之一。


十三、RLHF、DPO、GRPO……到底有什么区别?

到了这里,很多人就开始懵了。

因为突然冒出来一大堆:

RLHF、PPO、DPO、GRPO、RLAIF……

其实不用害怕。

你只需要抓住一个核心问题:

到底是谁在给模型的答案打分?

这样一下就简单了。


1. RLHF + PPO

这是比较经典的一套路线。

先让模型针对同一个问题生成多个答案。

然后让人类来排序:

A 比 B 好,B 比 C 好。

再利用这些人工评价训练一个:

奖励模型(Reward Model)

这个奖励模型就像一个专门的:

AI 裁判。

之后模型不断答题,裁判不断打分,然后通过 PPO 等方法,让模型往高分方向优化。

所以可以记成:

人类排序 → 训练奖励模型 → 奖励模型打分 → PPO 优化


十四、DPO:嫌训练“裁判”太麻烦了

后来大家发现:

既然我们已经有了人类排序好的答案,

为什么还要专门训练一个“裁判”?

于是就出现了:

DPO

它的思路非常直接:

不要奖励模型了,直接拿人类偏好的答案训练模型。

所以:

RLHF:

人类评价 → 奖励模型 → 模型优化

DPO:

人类评价 → 直接优化模型

简单很多。


十五、GRPO:让模型自己在“一群答案”里比一比

GRPO 又是另一种思路。

它不一定需要一个单独的奖励模型。

而是:

一次生成一组答案,然后比较这一组答案谁更好。

比如一次生成 8 个答案。

其中:

  • 第1个:90分
  • 第2个:70分
  • 第3个:30分
  • ……

模型根据这一组答案之间的相对表现获得训练信号。

这类方法后来尤其受到推理模型训练的重视。

比如 DeepSeek-R1 就让很多人真正认识到了 GRPO 这条路线。


十六、RLAIF:连人都可以少请一点

还有一种思路更有意思:

既然人工打分这么贵,

能不能让 AI 来打分?

于是就有:

RLAIF

也就是:

让 AI 给 AI 的回答进行评价。

人类提前制定一些规则,然后让另一个 AI 按这些规则充当“裁判”。

这样就可以减少大量人工标注工作。

Anthropic 的 Constitutional AI(宪法 AI) 就是这类思路的代表之一。


十七、所以这些乱七八糟的缩写,其实没那么复杂

如果把刚才的内容压缩成一句话:

它们都是在解决同一个问题:怎么告诉模型“什么答案更好”。

区别主要在:

方法谁来提供评价信号?
RLHF + PPO人类评价 → 奖励模型
DPO直接使用人类偏好数据
GRPO一组答案进行相对比较
RLAIFAI 来评价 AI

这么一看,是不是突然没那么玄学了?


十八、最近几年最有意思的变化:开始训练 AI“先想一想”

这里就进入了现在大家非常熟悉的:

推理模型。

以前我们问 AI 一个数学题。

它可能:

看到问题 → 马上开始回答。

现在一些推理模型会表现成:

看到问题 → 先分析 → 尝试不同方案 → 检查 → 最后回答。

为什么?

因为大家发现:

很多复杂问题,如果让模型先进行更充分的推理,再给答案,正确率会明显提高。

于是训练目标也发生了变化。


十九、RFT:不教它“怎么想”,而是奖励它“想对”

这时候又出现了:

RFT——Reinforcement Fine-Tuning,强化微调。

虽然名字里有一个“Fine-Tuning”,但它背后的核心思想仍然是强化学习。

比如给模型一道数学题。

模型可以尝试不同的解法。

最后:

答对 → 奖励

答错 → 不奖励

经过大量训练之后,模型逐渐摸索出:

“我是不是应该先认真分析一下,再给最终答案?”

这其实就是现在很多“推理模型”背后的重要训练思路之一。

所以你现在看到:

“这个 AI 怎么回答问题之前要先思考这么久?”

从训练角度看,并不是 AI 突然拥有了一个神秘的“思考器”。

而是:

训练过程让它学会了,在某些问题上先进行更充分的推理,往往更容易得到高分。


二十、把整个大模型训练过程串起来

到这里,我们终于可以把整件事情串起来了。

如果把模型培养成人:

第一阶段:预训练

读万卷书

↓

获得大量知识和语言能力

↓

成为一个:

“满肚子墨水的书呆子”


第二阶段:CPT

专业深造

↓

继续学习某一个领域的大量知识

↓

变成:

“某个专业领域的书呆子”


第三阶段:SFT

老师手把手教

↓

告诉它:

“用户这么问,你应该这么答。”

↓

学会:

听懂指令、回答问题、聊天、使用工具……


第四阶段:RL

开始自己答题,然后接受评价

↓

好的答案奖励高

差的答案奖励低

↓

慢慢学会:

什么样的行为更符合人类期待


第五阶段:推理训练

不仅要答得好,还要答得对。

↓

通过奖励机制不断训练

↓

逐渐形成:

先分析 → 再推理 → 最后回答

这样的能力。


二十一、所以,一个大模型并不是“一次训练出来的”

这其实是理解大模型最重要的一点。

我们经常会说:

“某某公司训练了一个大模型。”

但实际上,大模型的成长更像是一个长期过程。

它不是:

数据 → 模型 → 完成

而更像:

海量数据

↓

预训练

↓

基座模型

↓

继续预训练 / 专业能力

↓

SFT

↓

强化学习

↓

推理能力训练

↓

最终产品

所以,当你以后再看到:

Base Model、CPT、SFT、LoRA、RLHF、DPO、GRPO、RLAIF、RFT

这些词的时候,不妨先别急着记英文全称。

先想一件事情:

它到底是在“让模型学知识”,还是“教模型怎么回答”,还是“让模型知道什么答案更好”,还是“让模型学会怎么推理”?

这么一来,这套看起来非常复杂的 AI 训练体系,其实就清楚很多了。


最后,用一句话记住整个大模型训练流程

预训练,让 AI 读万卷书;CPT,让它专攻某个领域;SFT,教它怎么回答问题;强化学习,教它什么样的回答更好;推理训练,则进一步让它学会先想清楚,再给答案。

而我们今天看到的 ChatGPT、Claude、千问、DeepSeek 等各种 AI 产品,真正呈现在我们面前的“会聊天、会写代码、会分析问题、会调用工具”,其实都是在这一层层训练之后,才逐渐形成的。

所以说到底:

大模型并不是一开始就“什么都会”。

它更像一个人——

先读书,获得知识;再学习如何与人交流;然后不断接受反馈;最后,慢慢学会自己解决问题。

这大概就是今天大模型“长大”的全过程。