活字：从规则到大模型，AI 大模型发展史与核心技术
#21839机器#9310能#37702不能#5410学会#6743说
其余 50,252 个候选，合计 40.5%
问号之后，模型排出了一枚看不见的结束符，这句话就停了。大模型做的就是这件事：每次只猜下一个词，接上，再猜下一个。
概率和编号是预设的教学数据，没有连接任何真实模型
1956 年夏天，一群研究者在达特茅斯开会，“人工智能”从此成了一个学科的名字。七十年后，机器能一个词一个词写出整篇文章。这里把中间发生的事拆开给你看。
1943—2026，排成一盘字
跳过全景-
第 01 章 · 1943—1980s
规则与神经元
先有人把神经元写成逻辑公式，后来又有人用成千上万条“如果……就……”教机器下判断。规则写得越多，越写不完。
- 1943M-P 神经元
- 1956达特茅斯会议
- 1958感知机
- 1970s专家系统
-
第 02 章 · 1986—2012
从数据中学习
不再手写规则，而是给机器大量例子，让它自己调整内部的数字。反向传播让多层网络能学，显卡和 ImageNet 让它学得动。
- 1986反向传播
- 1998LeNet
- 2009ImageNet
- 2012AlexNet
-
第 03 章 · 2013—2017
注意力
词变成了向量，翻译模型学会“回头看”原句的相关位置。2017 年的 Transformer 只靠注意力处理整句话，可以大规模并行训练。
- 2013word2vec
- 2014注意力机制
- 2017Transformer
-
第 04 章 · 2018—2021
预训练与生成
先在海量文本上只练“猜下一个词”，再拿去做别的事。模型和数据越大，能力越强，而且这个关系相当有规律。
- 2018GPT / BERT
- 2019GPT-2
- 2020GPT-3 与缩放定律
-
第 05 章 · 2017—2023
指令微调与对齐
会续写的模型不等于好用的助手。人类示范和偏好打分，把它校成会回答问题、会拒绝不当请求的样子。
- 2017人类偏好学习
- 2022InstructGPT
- 2022.11ChatGPT
-
第 06 章 · 2020—2025
多模态
图像被切成小块、声音被切成片段，和文字一起变成向量。同一个模型开始能看图、听声音，也能画图、出声。
- 2021CLIP
- 2022扩散模型普及
- 2023GPT-4 看图
-
第 07 章 · 2017—2025
推理与 MoE
一条路是让模型先写出思考过程再作答；另一条路是把模型拆成许多“专家”，每个词只叫醒其中几个。
- 2017稀疏专家层
- 2022思维链
- 2024o1
- 2025DeepSeek-R1
-
第 08 章 · 2020—2026
RAG 与 Agent
模型开始先查资料再回答，再进一步，能调用搜索、代码和各种工具，按步骤完成一件事。
- 2020RAG
- 2022ReAct
- 2024MCP 协议
- 2025编程智能体
-
第 09 章 · 2024.09—2026.10
前沿与边界
截至 2026 年 10 月，推理成了默认能力，智能体能操作电脑、连续完成数小时的任务；但模型仍会自信地出错，最强的几个甚至因攻防能力只开放给少数机构。
- 2025.01DeepSeek-R1 开源
- 2025.07IMO 金牌水平
- 2026.09GPT-6 · Gemini 4 · Claude 5.5