Section outline

  • 根据《动手学深度学习》第 15 章(自然语言处理:预训练)的完整二级目录结构,我为你将全章涉及的核心技术、模型和方法进行了系统化梳理。

    下表总结了哪些内容在 2017 年 Transformer 时代(及现代大模型中)继续沿用/继承思想,哪些已经不再使用/被彻底取代,并阐述了核心原因。

    第 15 章 预训练技术演变全景表(按二级目录)

    二级目录章节 2017 Transformer 时代继续沿用/继承的部分及原因 2017 Transformer 时代不再使用/被取代的部分及原因
    15.1. Word Embedding (word2vec)

    1. 词嵌入与 Softmax 映射:底层的向量查表(Embedding Layer)和顶部的全连接 Softmax 词表预测被完整保留。


    2. 自监督(Self-Supervised)理念:利用文本自身无标签训练的思想是现代大模型的绝对基石。

    1. 静态词向量(Static Embeddings):Word2Vec 为每个词分配固定向量,无法解决一词多义(被自注意力机制的动态上下文向量取代)。


    2. 局部上下文窗口(Local Window):划窗限制了长距离依赖(被 Transformer 的 $O(1)$ 全局自注意力取代)。


    3. CBOW 向量简单平均:抹杀了词序和权重差异(被位置编码和注意力权重取代)。

    15.2. Approximate Training 1. 负采样(Negative Sampling)思想:将多分类简化为二分类的对比学习(Contrastive Learning)思想,在很多大模型的多模态预训练(如 CLIP)中依然在使用。

    1. 层次 Softmax(Hierarchical Softmax):霍夫曼树的复杂树状结构非常不利于现代 GPU 的并行矩阵化计算,已彻底退出历史舞台。


    2. 传统的负采样:在 Transformer 语言模型中,由于算力和子词技术的提升,通常直接硬算 Full Softmax 或使用掩码交叉熵。

    15.3. The Dataset for Pretraining Word Embeddings 1. 数据流水线与高频词降采样(Subsampling):类似对 "the", "a" 等高频无意义词进行惩罚或子抽样的思想,在今天大模型清洗数据(Data Cleaning)时依然在用。 1. 基于“中心词-上下文词”对的数据构造:这种滑窗拼接数据对(Minibatches)的方式太低效。Transformer 时代直接喂入整段连续的 Token 序列(如 2K 或 4K 窗口)。
    15.4. Pretraining word2vec 1. 预训练-微调(Pretrain-Fine-tune)范式:先在无监督大语料上预训练,再把向量拿去下游任务使用的基本流程被完全继承。 1. 浅层网络的训练:Word2Vec 这种只含一个非线性隐层的极浅网络(Shallow Network)不再用于特征提取,全面被多层深度 Transformer 结构取代。
    15.5. Word Embedding with Global Vectors (GloVe) 1. 全局统计信息的重视:GloVe 强调利用全局共现矩阵的矩阵分解思想。在现代大模型的 Tokenizer(分词器)训练中,依然会统计全局词频和共现。 1. 显式构建全局共现矩阵:当语料库达到几千亿/万亿 Token 时,显式存储和分解几百万 $\times$ 几百万的共现矩阵(Co-occurrence Matrix)在内存和计算上完全不可行。
    15.6. Subword Embedding 1. 子词分词技术(BPE / WordPiece):完全沿用且发扬光大。Transformer(包括后来的 GPT、LLaMA、BERT)彻底抛弃了纯单词词表,100% 采用子词嵌入,这是解决未登录词(OOV)的终极方案。 1. 传统的 fastText 字符级 n-gram:fastText 将单词拆解为字符级的 $n$-gram(如将 "where" 拆为 "wh", "he", "er")。这种硬编码的滑动拆解在处理大词表时效率较低,目前基本被更灵活的 BPE 词表取代。
    15.7. Word Similarity and Analogy 1. 余弦相似度(Cosine Similarity):评估两个向量在特征空间中接近程度的数学方法(余弦相似度)依然在向量数据库、检索增强生成(RAG)中广泛使用。 1. 静态词义类比(Analogy)评估:如 “king - man + woman = queen” 的静态向量加减法不再作为评估模型语言能力的核心指标。现代模型直接通过大模型基准测试(如 MMLU、GSM8K)来评估。
    15.8. Bidirectional Encoder Representations from Transformers (BERT)

    1. Transformer 架构与上下文感知(Context-Sensitive):BERT 引入的 Transformer 块(自注意力+前馈网络)至今仍是所有大模型的核心。


    2. 掩码语言模型(MLM):BERT 的完形填空任务(Masked LM)依然是现代双向编码器(如各类 Embedding 模型)的核心训练方法。

    1. 下一句预测任务(NSP, Next Sentence Prediction):BERT 训练时让模型预测 B 句是否是 A 句的下一句。后来的研究(如 RoBERTa)证实 NSP 任务效果不佳且拖累性能,在后来的 Transformer 预训练中被废弃。
    15.9. The Dataset for Pretraining BERT 1. 动态掩码与特殊标记(Special Tokens):输入序列中加入 [CLK] (或 <s>), [SEP],以及随机 15% 掩码的 Token 替换策略,在现代双向表征模型中依然在用。 1. 短序列拼接与硬性段编码(Segment Embeddings):早期 BERT 受限算力常使用 128 或 512 的短序列,并用 $A/B$ 段编码。现在的模型更倾向于长文本单序列输入,段编码逐渐被更先进的位置编码(如 RoPE)淡化。
    15.10. Pretraining BERT 1. 提取层激活作为下游特征:将预训练好的 Transformer 层输出提取出来作为文本的稠密表征向量,这一做法至今仍是**向量嵌入模型(Embedding Models)**的通用标准。 1. 双向掩码微调范式在生成任务中的限制:BERT 这种双向自编码网络(Autoencoder)在纯文本生成(如 ChatGPT 这种自回归聊天)上不适用,现代生成式大模型全面转向了单向的 Decoder-only 架构。

    💡 总结复习要点

    看这一章的目录,你可以清晰地发现 NLP 预训练的发展脉络:

    1. 15.1 - 15.5(早期探索):我们在尝试用浅层网络、局部窗口去死记硬背单词的含义(留下了“自监督”和“向量化”的传世资产,淘汰了“静态”和“局部”)。

    2. 15.6(关键突破):引入了子词(Subword),彻底解决了词表爆炸和未知词(OOV)问题,至今仍被 Transformer 奉为座上宾。

    3. 15.8 - 15.10(新时代开启):Transformer 闪亮登场(以 BERT 为代表),用自注意力彻底革了前面几节课的命,实现了真正的全局、动态上下文理解。