多模态

像倒着玩拼图：把一幅画切成整齐的小方块，按从左到右、从上到下的顺序排成一长条，每块背面写上它原来的位置编号。

Transformer 拿到的就是这一长条方块。位置编号很要紧：没有它，打乱顺序的方块和原图，对模型来说是一回事。

ViT 把 224×224 像素的图像切成 16×16 像素的图块，得到 14×14 = 196 块⁠[2]⁠。每块有 16×16×3 = 768 个数（三个颜色通道），经过一次线性变换变成一个向量，相当于一个“词向量”。序列最前面再加一个专门汇总全图信息的 [CLS] Token，每个位置加上可学习的位置编码，之后就和处理文字一样：一层层自注意力，每个图块都能直接参考其他所有图块。

图块越小，Token 越多，细节越清楚，但注意力的计算量随 Token 数的平方增长。论文还发现，ViT 没有卷积网络那种“相邻像素关系更紧密”的内置假设，在中等规模的数据上不如卷积网络；换到一千多万到三亿张图片的数据集上预训练，才接近甚至超过它们⁠[2]⁠。

像一场配对游戏：一群人里每人都有唯一的搭档。没人告诉你规则，只在每一轮结束时公布“谁和谁是一对”。玩得多了，你自己就能摸出“什么样的人会和什么样的人配成一对”。

CLIP 每一步拿一大批图文对，把“这一批里谁和谁是一对”当作唯一的正确答案，其余组合全当错误答案。

CLIP 从互联网上收集了约 4 亿对图片和文字⁠[1]⁠。训练时，一批 N 张图和 N 段文字分别变成向量，两两计算余弦相似度，得到一张 N×N 的表。对角线上是真正的配对，其余格子都是“负样本”。训练目标是让每一行、每一列里正确那一格的概率最大，这就是对比学习。

相似度先除以一个温度 τ 再做 softmax：τ 越小，概率越“尖”，模型越在意排第一的那一个。CLIP 让 τ 也参与学习，初始值相当于 0.07⁠[1]⁠。

训练完成后，图和字落在同一个空间里。给图分类时，把每个类别写成一句话（比如“一张猫的照片”），看图离哪句话最近，就能给没见过的类别分类，这叫零样本分类。

像在暗房里冲洗照片：相纸刚浸进显影液时一片空白，大的轮廓先浮出来，细节随后一点点出现。

不同的是，扩散模型的“显影液”是一个学会了猜噪声的神经网络：给它一张带噪声的图，它估计里面混进了哪些噪声，减掉一部分，再交给下一步。

DDPM 先定义一个前向过程：用 1000 步把高斯噪声逐渐混进图片，每一步混多少由一张事先定好的表决定⁠[3]⁠。任意一步的结果都能直接算出来：x_t = √ᾱ_t · x₀ + √(1 − ᾱ_t) · ε。训练时随机挑一步、混进噪声，让网络去猜混进去的噪声 ε，猜得越准越好。

生成时从纯噪声开始，反复让网络猜噪声、去掉一部分、再补一点小的随机量，走完全部步数就得到图像。论文观察到，大的轮廓先出现，细节最后才出现⁠[3]⁠。

想让它“按文字画画”，就把文字向量作为条件送进去噪网络。潜空间扩散把整个过程搬到压缩后的小尺寸“潜空间”里做，最后再解码回像素，大大降低了成本⁠[5]⁠。

像乐谱：横轴是时间，纵轴是音高，每个音符占一小格。频谱图就是机器自动画出的“乐谱”，按时间切成一列一列，每一列就是一个声音 Token。

声音本来是一串气压起伏的数字，每秒上万个。直接处理太长，所以先每隔一小段时间取一个窗口，用傅里叶变换算出这一刻各个频率有多强，按时间排起来就是频谱图。语音识别模型 Whisper 先把音频重采样到 16,000 Hz，用 25 毫秒的窗口、每 10 毫秒移动一次，算出 80 个梅尔频带，每次处理 30 秒⁠[10]⁠。梅尔刻度模仿人耳：低频分得细，高频分得粗。

有了频谱图，后面就和图像类似：切块、变成一串向量，交给 Transformer。视频是“会动的图像”：每一帧切成图块，再沿时间排开。

新一代模型不只“读”这些信号，也直接“写”出来：Gemini 2.0 Flash 能原生输出图像和语音⁠[8]⁠，Sora 2 生成视频时同步生成对白和音效⁠[9]⁠。