|
Word2Vec
(Skip-gram / CBOW)
|
2013年 |
局部上下文預測:
1. Skip-gram: 用中心詞預測周圍詞。
2. CBOW: 用周圍詞預測中心詞。
|
淺層線性網路(無隱層激活),包含中心詞和上下文兩張嵌入矩陣。CBOW 階段會將上下文向量求和或取平均。 |
原始:Softmax 交叉熵
實際:帶負採樣(Negative Sampling)的二元交叉熵或層級 Softmax。
|
訓練速度極快;能有效捕捉詞與詞之間的語義相似度與類比關係(如 "國王"-"男人"+"女人"$\approx$"女王")。 |
靜態詞向量,無法解決一詞多義(Polysemy)問題;無法處理未登錄詞(OOV)。 |
| GloVe |
2014年 |
全局詞共現矩陣分解:擬合整個語料庫中「詞-詞共現矩陣」的概率比值。 |
基於全局統計的矩陣分解線性架構。 |
加權平方誤差損失(帶權重函數 $f(X_{ij})$ 防止高頻詞過度主導)。 |
結合了全局統計信息與局部窗口優勢,在詞向量相似度和類比任務上表現比 Word2Vec 更魯棒。 |
依然是靜態詞向量,無法根據上下文動態調整語義。 |
| FastText |
2016年 |
引入子詞的局部預測:與 Word2Vec 的 Skip-gram 任務類似,但將詞拆分為字符級 $n$-gram。 |
基於 Skip-gram 擴展,詞的最終向量由其內部所有 $n$-gram 子詞向量疊加求和構成。 |
帶負採樣的二元交叉熵損失。 |
完美解決**未登錄詞(OOV)**與拼寫錯誤問題;對形態學豐富、多詞綴的語言(如德語)泛化力極強。 |
引入海量字元子詞導致內存和顯存開銷巨大;依然屬於靜態詞向量。 |
| ELMo |
2018年 (3月) |
雙向語言模型(biLM):分別從左到右、從右到左預測下一個/上一個詞。 |
多層雙向 LSTM(biLSTM)。雖然是雙向,但其左向和右向的 LSTM 是獨立訓練後再進行拼接的(屬於淺層雙向)。 |
左向和右向自 regression 語言模型的 Softmax 交叉熵損失之和。 |
開創了動態上下文詞向量的先河,徹底解決一詞多義問題;在下游任務中直接作為特徵提取器(Feature Extractor)使用,即插即用。 |
使用 LSTM 作為特徵提取器,無法並行計算,訓練與推斷速度慢;左向與右向特徵只是簡單拼接,未能做到深度雙向融合。 |
| GPT-1 |
2018年 (6月) |
自回歸語言模型(Causal LM):單向自左向右,根據上文歷史預測下一個詞。 |
多層單向 Transformer 解碼器(Transformer Decoder,帶掩碼的自注意力機制)。 |
標準的自回歸多分類交叉熵損失(預訓練);微調時採用任務損失與預訓練損失的聯合損失。 |
完美契合文本生成與續寫任務;預訓練與微調的輸入形式高度一致(無 Mismatch);開創了「Generative Pre-training」微調範式。 |
單向架構,模型在提取特徵時無法看到「右邊」的上下文,對於閱讀理解、序列標註等需要全局上下文的任務提取能力弱於 BERT。 |
| BERT |
2018年 (10月) |
1. 掩碼語言模型 (MLM):雙向完形填空。
2. 下一句預測 (NSP):句子對關係二分類。
|
多層全向 Transformer 編碼器(Transformer Encoder,無掩碼自注意力)。 |
聯合多任務損失:MLM(多分類交叉熵) + NSP(二分類交叉熵)。 |
具備深度雙向特徵捕捉能力,動態語義理解極強;在各類非生成式 NLP 下遊任務(分類、問答、匹配)中微調效果達到頂峰。 |
算力消耗極其龐大;預訓練引入的 [MASK] 標記在微調時不存在,導致預訓練與微調之間存在非對稱性(Mismatch);不擅長文本生成。 |