章节大纲
-
阅读教材1
阅读教材2
6.1 逻辑斯谛回归模型 1026.2 最大熵模型 1076.3 模型学习的最优化算法 112# 等价关系 **二分类场景下，Softmax 退化为 Sigmoid，二者数学等价** ## 推导 设二分类，输出 \(z_1,z_2\) \( a_1=\frac{e^{z_1}}{e^{z_1}+e^{z_2}},\quad a_2=\frac{e^{z_2}}{e^{z_1}+e^{z_2}} \) 令 \(z=z_1-z_2\) \( a_1=\frac{e^{z}}{1+e^{z}}=\sigma(z) \) \(\sigma(z)\) 就是**Sigmoid函数** ## 关键原因 1. Softmax 输出**概率和为1**，二分类天然互斥 2. 两类别做差值运算，公式直接化简成Sigmoid 3. 损失角度： - 二分类交叉熵 = Sigmoid+对数损失 - 二分类Softmax交叉熵 二者**损失结果完全一致** ## 考点速记 - 类别数=2：**Softmax ≡ Sigmoid** - 类别数≥3：只能用Softmax，无法等价Sigmoid - 逻辑回归就是**二分类Softmax** -
能力图谱
