Week 1

Week 1 我没有听，大概主要是讲解 vector, matrix, feature, layer 这些东西。

Week 2

Week 2 从 Week 1 这里开始介绍，首先给了一个 $X$，像是 fruit sorting，你要找出苹果的 feature 是什么，然后有个 weight（权重）。通过你的 $X$ 矩阵乘于 $W$，也就是 $X_1W_1$，这就是一个如下公式：

$$y = \begin{cases} 0 & (b + w_1x_1 + w_2x_2 \leqslant 0) \\ 1 & (b + w_1x_1 + w_2x_2 > 0) \end{cases}$$

然后介绍了每个参数是什么，最主要的就是计算 vector，用 $L_2\text{ distance}$ 进行计算。首先解释下上面的公式：

• $y$：代表输出变量（Output），在此公式中它只能取两个值：0（Non-Activated）或者 1 (Activated)。
• $x_1, x_2$：输入特征值（Input Features），主要表示代表传入给模型分析的已知条件或数据特征（例如：$x_1$ 代表商品的售价，$x_2$ 代表商品的评价得分）。
• $w_1, w_2$：权重（Weights），分别对应特征 $x_1$ 和 $x_2$ 的重要程度系数。权重绝对值越大，说明该特征对最终结果的影响越大。权重为正代表正向促进，为负代表负向抑制。
• $b$：偏置（Bias），模型的基础门槛（截距），它不依赖于任何输入变量，用于控制模型触发 1 状态的难易程度。

整体公式的逻辑：

中间的表达式 $b + w_1x_1 + w_2x_2$ 被称为加权综合得分：

• 当综合得分 $b + w_1x_1 + w_2x_2 \leqslant 0$ 时：未达到激活门槛，输出 $y = 0$。
• 当综合得分 $b + w_1x_1 + w_2x_2 > 0$ 时：成功激活门槛，输出 $y = 1$。

其次是 $L_2\text{ Distance}$：

这个是在 Reddit 上找的图，大家不太懂的也可以去 Reddit 上找些攻略，类似于知乎。主要逻辑就是 $PQ = \sqrt{|PA|^2 + |QA|^2}$，像是勾三股四弦五。然后衔接到矩阵去 Softmax 就是：

$$\text{向量 (Vectors)} \xrightarrow{\text{计算两两 } L_2 \text{ 距离}} \text{距离矩阵 (Distance Matrix)} \xrightarrow{\text{取负数/相似度转换}} \text{Logits} \xrightarrow{\text{Softmax}} \text{概率矩阵 (Probability Matrix)}$$

这个逻辑是假设你有 $N$ 个 $D$ 维的样本向量，拼成一个矩阵 $X \in \mathbb{R}^{N \times D}$：

$$X = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_N \end{bmatrix}$$

我们想计算任意两个向量 $x_i$ 和 $x_j$ 之间的 $L_2$ 欧氏距离：

$$d_{ij} = \|x_i - x_j\|_2 = \sqrt{\sum_{k=1}^D (x_{ik} - x_{jk})^2}$$

遍历所有的 $i$ 和 $j$，就会得到一个 $N \times N$ 的 $L_2$ 距离矩阵 $D$：

$$D = \begin{bmatrix} 0 & d_{12} & \dots & d_{1N} \\ d_{21} & 0 & \dots & d_{2N} \\ \vdots & \vdots & \ddots & \vdots \\ d_{N1} & d_{N2} & \dots & 0 \end{bmatrix}$$

对于一个 $n$ 维向量 $\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$，其 $p$-范数定义为：

$$\|\mathbf{x}\|_p = \left( |x_1|^p + |x_2|^p + \dots + |x_n|^p \right)^{\frac{1}{p}} \quad (p > 0)$$

其中有三种关键特性：

• $p = 0$（$L_0$ 伪范数/稀疏度）：统计向量中非零元素的个数。用于衡量模型的“稀疏性”（Sparsity），在压缩感知和特征选择中用来约束让尽可能多的参数变为 0。
• $p = 1$（$L_1$ 范数/曼哈顿距离）：向量元素绝对值的和（$\sum |x_i|$）。常用于 $L_1$ 正则化 (Lasso) 和 MAE 损失函数中，鼓励模型参数稀疏化，从而实现特征选择，剔除无用特征。
• $p = 2$（$L_2$ 范数/欧几里得距离）：传统的几何空间向量物理长度（$\sqrt{\sum x_i^2}$）。常用于深度学习中（如 L2 正则化/Weight Decay、MSE 损失函数、计算特征向量相似度），鼓励模型参数较小但不为零，降低过拟合风险。

这里所需要注意的规则是任何“范数”都必须满足以下三条基本原则：

• 非负性与正定性（Non-negativity）：$\|\mathbf{x}\|_p \ge 0$，且 $\|\mathbf{x}\|_p = 0$ 当且仅当 $\mathbf{x} = \mathbf{0}$。长度永远不可能为负数；只有全零向量的长度为零。
• 绝对齐次性（Absolute Homogeneity）：对任意标量 $\alpha$，有 $\|\alpha\mathbf{x}\|_p = |\alpha| \cdot \|\mathbf{x}\|_p$。向量放大/缩小 $k$ 倍，其范数也相应放大/缩小 $|k|$ 倍。
• 三角不等式（Triangle Inequality）：对任意向量 $\mathbf{x}$ 和 $\mathbf{y}$，有 $\|\mathbf{x} + \mathbf{y}\|_p \le \|\mathbf{x}\|_p + \|\mathbf{y}\|_p$。两点之间直线最短。

import torch

X = torch.tensor([
    [1.0, 1.0, 7.0, 150.0],
    [1.0, 1.0, 10.0, 190.0],
    [0.0, 1.0, 9.0, 130.0]
])

W = torch.tensor([
    [0.2, 0.1, 0.9, 0.3],
    [0.5, 0.2, 0.4, 0.1],
    [0.1, 0.6, 0.8, 0.2]
])

logits = X @ W.T

probabilities = torch.softmax(logits, dim=1)

print(probabilities)

上面的的代码展示了如何使用 PyTorch 计算 softmax 概率。

• 数据维度：输入 $X \in \mathbb{R}^{3 \times 4}$（3 个样本，每个 4 个特征），权重矩阵 $W \in \mathbb{R}^{3 \times 4}$（3 个类别，每个 4 个权重）。
• Logits 得分矩阵：通过矩阵乘法 $Z = X W^\top$ 一次性并行算出所有样本对应各个类别的得分。PyTorch 代码写作：logits = X @ W.T。
• Softmax 归一化：对得分矩阵在行维度上做 Softmax（dim=1），将数值转换为每行为 1 的标准概率分布。

在 PyTorch 中，dim（Dimension）代表做计算的“轴”方向。

对于二维矩阵（形状为 [行, 列]），dim 的方向规则如下：

• dim=0 竖向（按列）计算。沿着行的方向滑动，对每一列单独做操作。
• dim=1 横向（按行）计算。沿着列的方向滑动，对每一行单独做操作。

logits 矩阵是一个 $3 \times 3$ 的矩阵（3 个样本 $\times$ 3 个类别）。所以写 logits = X @ W.T。

• 独立对“每一行”做 Softmax。
• 取出第 1 个样本的 3 个得分，算出一组概率，第一行相加等于 1。
• 取出第 2 个样本的 3 个得分，算出一组概率，第二行相加等于 1。
• 取出第 3 个样本的 3 个得分，算出一组概率，第三行相加等于 1。

假设输入矩阵为：$$\begin{bmatrix} a & b & c \\ d & e & f \end{bmatrix}$$

• dim=1 (横着做，常用)： 对 $[a, b, c]$ 算 Softmax，对 $[d, e, f]$ 算 Softmax $\rightarrow$ 每一行的和等于 1（符合“每个样本属于各类别的概率之和为 1”的分类需求）。
• dim=0 (竖着做)： 对 $[a, d]$ 算 Softmax，对 $[b, e]$ 算 Softmax，对 $[c, f]$ 算 Softmax $\rightarrow$ 每一列的和等于 1 （在分类任务中没有实际意义）。

以输入得分向量 $z = [2.0, 1.0, 3.0]$ 为例，温度系数 $T$ 和不同的 Softmax 变体主要通过改变对数得分（Logits）的相对差距，进而影响经由指数函数 $e^x$ 放大后的概率分布。

1. 什么是 Softmin？

公式：$p_i = \frac{e^{-x_i/T}}{\sum_j e^{-x_j/T}}$

作用：在指数项加入了负号。与 Softmax（寻找最大值）相反，Softmin 会让得分越小（或距离越近）的元素获得越高的概率。常用于处理距离矩阵（如 $L_2$ 距离）。

如何缩放 Logits：加上负号处理，相当于乘以 $-1/T$。原始 Logits $[2.0, 1.0, 3.0]$ 变为 $[-2.0, -1.0, -3.0]$。

输出概率分布：数值颠倒后，原先最小的 $1.0$ 变成了最大的 $-1.0$。经指数运算后，$e^{-1.0} \approx 0.368$ 成为最大项，获得最高概率（$66.52\%$），输出为 $[0.2447, 0.6652, 0.0900]$。

为什么是这个分布特征：针对“越小越好”的数据维度（如 $L_2$欧式距离）。在距离矩阵中，距离越小代表两个样本越相似，Softmin 能确保距离最近的样本获得最高的相似度概率。

2. 什么是 Hardmax？

作用：即“胜者通吃”（Winner-takes-all）。只把最大值的位置设为 1，其余位置全部设为 0（输出 One-hot 独热编码），它是一种不可导的离散选择。

• 如何缩放 Logits：Hardmax 不需要做数学除法缩放，它采用纯逻辑规则：直接找到向量中的最大值位置，置为 $1$，其他位置全部置为 $0$。
• 输出概率分布：得分 $3.0$ 最大（位于第 3 位），因此输出为 $[0.0, 0.0, 1.0]$。
• 为什么是这个分布特征：“胜者通吃”（One-hot 独热编码）。它的特点是绝对确定，但由于含有离散突变，在数学上不可导，因此无法直接用于深度学习的梯度下降更新。

3. 什么是温度系数（Temperature $T$）？

温度系数 $T$ 引入在指数项中（$e^{x_i/T}$），用来控制概率分布的尖锐与平缓程度：

• 低温度（如 $T = 0.5$）：放大得分差异，最大值的概率被拉得极高，输出非常确定（自信/尖锐）；
  • Logits 缩放：$[2/0.5, 1/0.5, 3/0.5] = [4.0, 2.0, 6.0]$，得分差距从 $1.0$ 被放大到 $2.0$。
  • 概率计算：指数项分别为 $e^4 \approx 54.6$, $e^2 \approx 7.4$, $e^6 \approx 403.4$。最大项 $e^6$ 占总和的 $86.68\%$，输出为 $[0.1173, 0.0159, 0.8668]$。
  • 分布特征：陡峭/尖锐。拉大得分差距，突出高分项。
• 高温度（如 $T = 5$）：缩小得分差异，各类别的概率趋于平坦均匀，增加了随机性与多样性。
  • Logits 缩放：$[2/5, 1/5, 3/5] = [0.4, 0.2, 0.6]$，得分差距缩小为 $0.2$。
  • 概率计算：指数项分别为 $e^{0.4} \approx 1.49$, $e^{0.2} \approx 1.22$, $e^{0.6} \approx 1.82$，各数值非常接近。输出为 $[0.3289, 0.2693, 0.4018]$。
  • 分布特征：平缓/趋于均匀（接近均等概率 $\frac{1}{3} \approx 0.333$）。缩小得分差距，增加了输出的随机性与多样性。

4. 当温度趋近于零（$T \to 0$）时会发生什么？

结论：Softmax 会直接退化为 Hardmax。

逻辑：当 $T \to 0^+$ 时，最大得分与其他得分的差距在除以 $T$ 后会被无限放大（$\frac{x_i}{T} \to \infty$）。求指数后，最大项占据绝对统治地位，导致其概率趋近于 1，其余项趋近于 0。这就是大语言模型（LLM）将 Temperature 设为 0 时输出会变得完全确定、不再具备随机性的原理。

实际操作如何缩放 Logits：计算 $z/T$。当 $T = 0.0001$ 时，Logits 变为 $[20000, 10000, 30000]$。

输出概率分布：最大项与其他项的差值被放大到了数万倍。在计算 $e^{z_i/T}$ 时， $e^{30000}$ 远大于 $e^{20000}$，导致最大项在分母中的占比无限接近 $100\%$，输出退化为 $[0.0, 0.0, 1.0]$。

为什么是这个分布特征：极低温度放大了得分之间的差距。在大语言模型（LLM）中，将 Temperature 设为 0 会让模型变得极度自信且固定，每次生成完全相同的答案。

import torch

X = torch.tensor([
    [1.0, 1.0, 7.0, 150.0],
    [1.0, 1.0, 10.0, 190.0],
    [0.0, 1.0, 9.0, 130.0]
])

W1 = torch.tensor([
    [0.2, 0.1, 0.9, 0.3],
    [0.5, 0.2, 0.4, 0.1],
    [0.1, 0.8, 0.6, 0.2]
])

H = X @ W1.T
print("H:\n", H)

W2 = torch.tensor([
    [0.2, 0.4, 0.3],
    [0.5, 0.1, 0.2]
])

Y = H @ W2.T
print("Y:\n", Y)

W_eff = W2 @ W1
print("W_eff:\n", W_eff)

Y_eff = X @ W_eff.T
print("Y_eff:\n", Y_eff)

prob = torch.softmax(Y, dim=1)
print("Softmax(Y):\n", prob)

OUTPUT：
H:
 tensor([[51.6000, 18.5000, 35.1000],
        [66.3000, 23.7000, 44.9000],
        [47.2000, 16.8000, 32.2000]])
Y:
 tensor([[28.2500, 34.6700],
        [36.2100, 44.5000],
        [25.8200, 31.7200]])
W_eff:
 tensor([[0.2700, 0.3400, 0.5200, 0.1600],
        [0.1700, 0.2300, 0.6100, 0.2000]])
Y_eff:
 tensor([[28.2500, 34.6700],
        [36.2100, 44.5000],
        [25.8200, 31.7200]])
Softmax(Y):
 tensor([[1.6260e-03, 9.9837e-01],
        [2.5095e-04, 9.9975e-01],
        [2.7320e-03, 9.9727e-01]])

这张图讲解的是多层前馈神经网络（Feedforward Neural Network）的矩阵并行前向传播过程，并借此揭示了深度学习中最核心的一个原理：如果隐藏层之间没有加非线性激活函数，多层神经网络会退化（折叠）为单层线性模型。

计算步骤逐行拆解

1. 输入层到隐藏层（$X \to H$）

• 输入矩阵 $X$：形状为 $3 \times 4$（3 个样本，每个样本 4 个输入特征）。
• 第一层权重 $W^{(1)}$：形状为 $3 \times 4$（有 3 个隐藏神经元，各对应 4 个输入的权重）。
• 隐藏层输出 $H$：通过 $H = X (W^{(1)})^\top$ 计算，得出形状为 $3 \times 3$ 的隐藏特征矩阵。

2. 隐藏层到输出层（$H \to Y$）

• 第二层权重 $W^{(2)}$：形状为 $2 \times 3$（预测 2 个最终类别，连接 3 个隐藏神经元）。
• 未归一化得分 $Y$（Logits）：通过 $Y = H (W^{(2)})^\top$ 计算，得出形状为 $3 \times 2$ 的最终得分矩阵。

核心考点：矩阵折叠与等价合并（$W_{\text{effective}}$）,图中间这三行推导是本页的灵魂所在：

$$Y = X(W^{(1)})^\top (W^{(2)})^\top = X (W^{(2)}W^{(1)})^\top$$$$W_{\text{effective}} = W^{(2)}W^{(1)}$$$$Y = X W_{\text{effective}}^\top$$

• 数学原理：因为矩阵乘法满足结合律，把两层权重矩阵直接相乘，$W^{(2)} W^{(1)}$（形状 $2 \times 3$ 乘以 $3 \times 4$）会合并成一个新的单一权重矩阵 $W_{\text{effective}}$（形状 $2 \times 4$）
• 核心结论：没有非线性激活函数（如 ReLU、Sigmoid）的“多层”网络，本质上和一个单层线性网络没有任何区别。 无论叠多少层，最终都只相当于做了一次普通的线性变换。

最终结果：Softmax概率计算

对 $Y$ 按行做 softmax(Y, dim=1) 归一化：

• 第 1 个样本的 2 类概率为 [0.0016, 0.9984]（几乎 100% 预测为类别 2）。
• 第 2 个样本概率为 [0.0003, 0.9997]。
• 第 3 个样本概率为 [0.0027, 0.9973]。

这张图讲解的是神经网络中单个神经元（微观视角）与整层网络矩阵（宏观视角）在数学上的完全等价性，展示了神经网络如何从“单神经元计算”组装成“全连接层矩阵运算”。

两种视角的对比

• 微观视角（Neuron / Micro view - 右侧）：把每个神经元拆开单独看。第 1 层的 3 个神经元分别拥有各自的权重向量（$W_1^1, W_2^1, W_3^1$）和偏置标量（$b_1^1, b_2^1, b_3^1$）。每个神经元独立进行一次点积加偏置：$$\bar{h}_1^1 = x W_1^1 + b_1^1 \quad \xrightarrow{\text{经过激活函数}} \quad h_1^1 = \sigma(\bar{h}_1^1)$$
• 宏观视角（Layer / Macro view - 左侧）：把同一层所有神经元的权重向量横向拼成一个大矩阵 $W^1$，偏置拼成一个行向量 $b^1$。利用一次矩阵乘法 $xW^1 + b^1$，直接并行算出一整层所有神经元的输出结果。

核心映射与符号拆解

• 矩阵列与神经元：宏观矩阵 $W^1$ 的每一列，正好对应微观下某个神经元的权重：$$W^1 = \begin{bmatrix} W_1^1 & W_2^1 & W_3^1 \end{bmatrix} = \begin{bmatrix} 1 & 1 & -2 \\ -1 & 1 & 2 \\ 3 & 2 & 1 \end{bmatrix}$$
• 符号的具体含义：
  • $x$：输入特征向量 $[x_1, x_2, x_3]$.
  • $\bar{h}$（带有横线）：激活前的加权综合得分（Pre-activation），即 $\bar{h} = xW + b$。
  • $\sigma$（Sigma）：非线性激活函数（如 Sigmoid / ReLU）。
  • $h$：激活后的神经元输出（Post-activation），即 $h = \sigma(\bar{h})$。

为什么深度学习要使用宏观视角？

在 PyTorch 或 TensorFlow 中编写代码时，我们绝不会用 for 循环去逐个计算每一个神经元（微观方式），而是直接写成矩阵乘法 h = torch.sigmoid(x @ W + b)（宏观方式）。这种矩阵化表示能让 GPU 进行大规模并行计算，大幅提升模型训练速度。

假设输入特征向量为 $\mathbf{x} = [1, 0, 1]$，并选择计算简便的 ReLU 激活函数（受刺激点亮为正数，负数则置 zero：$\sigma(z) = \max(0, z)$）。

第一层（Layer 1）：从输入 $\mathbf{x}$ 到 $h^1$

1. 微观视角（单个神经元逐个计算）

• 神经元 1（取 $W^1$ 的第 1 列与偏置 $b_1^1$）：$$\bar{h}_1^1 = \mathbf{x} W_1^1 + b_1^1 = (1 \times 1 + 0 \times (-1) + 1 \times 3) + (-1.5) = 4 - 1.5 = 2.5$$$$h_1^1 = \text{ReLU}(2.5) = 2.5$$
• 神经元 2（取 $W^1$ 的第 2 列与偏置 $b_2^1$）：$$\bar{h}_2^1 = \mathbf{x} W_2^1 + b_2^1 = (1 \times 1 + 0 \times 1 + 1 \times 2) + (-0.5) = 3 - 0.5 = 2.5$$$$h_2^1 = \text{ReLU}(2.5) = 2.5$$
• 神经元 3（取 $W^1$ 的第 3 列与偏置 $b_3^1$）：$$\bar{h}_3^1 = \mathbf{x} W_3^1 + b_3^1 = (1 \times (-2) + 0 \times 2 + 1 \times 1) + 0.5 = -1 + 0.5 = -0.5$$$$h_3^1 = \text{ReLU}(-0.5) = 0$$

得出第一层激活后的输出向量：$h^1 = [2.5, 2.5, 0]$。

2. 宏观视角（全层矩阵并行计算）

直接使用矩阵乘法加偏置：$$\bar{h}^1 = \mathbf{x} W^1 + b^1 = [1, 0, 1] \begin{bmatrix} 1 & 1 & -2 \\ -1 & 1 & 2 \\ 3 & 2 & 1 \end{bmatrix} + [-1.5, -0.5, 0.5]$$$$\bar{h}^1 = [4, 3, -1] + [-1.5, -0.5, 0.5] = [2.5, 2.5, -0.5]$$

激活函数运算：$$h^1 = \text{ReLU}([2.5, 2.5, -0.5]) = [2.5, 2.5, 0]$$两种视角的计算结果完美一致。

第二层（Layer 2）：从 $h^1$ 到最终输出 $h^2$

将第一层算出的输出 $h^1 = [2.5, 2.5, 0]$ 作为第二层的输入：$$\bar{h}^2 = h^1 W^2 + b^2 = [2.5, 2.5, 0] \begin{bmatrix} -1 & 2 \\ 1 & 1 \\ -1 & -2 \end{bmatrix} + [-0.5, 0.5]$$

先做矩阵乘法得到各个通道的得分：$$h^1 W^2 = [2.5 \times (-1) + 2.5 \times 1 + 0 \times (-1),$$

$$\quad 2.5 \times 2 + 2.5 \times 1 + 0 \times (-2)] = [0, 7.5]$$

加上偏置向量 $b^2$：$$\bar{h}^2 = [0, 7.5] + [-0.5, 0.5] = [-0.5, 8.0]$$

经过 ReLU 激活函数后，得到神经网络最终输出：$$h^2 = \text{ReLU}([-0.5, 8.0]) = [0, 8.0]$$

在看这张图之前，我们得先知道什么是XOR；XOR（异或）是一个经典的非线性可分问题，它要求神经网络能够学习到非线性的决策边界。XOR（Exclusive OR，异或） 是逻辑学与计算机科学中的一种基本逻辑运算，核心规则是：“同为假，异为真”（即输入两个相同的值输出 0，输入两个不同的值输出 1）。

真值表（Truth Table）

在机器学习中，通常将 0/1 映射为负例与正例：

为何 XOR 在深度学习中极其重要？XOR 并不只是一道简单的逻辑题，它是深度学习发展史上的里程碑级难题。

1. 几何上的“线性不可分”（Linearly Inseparable）

如果在二维平面直角坐标系中把这四个点画出来：

• 点 $(0,0)$ 和 $(1,1)$ 属于 Class 0（对角线上的两点）
• 点 $(0,1)$ 和 $(1,0)$ 属于 Class 1（另一条对角线上的两点）

在几何上，绝对找不到任何一条单一的直线（$w_1x_1 + w_2x_2 + b = 0$）能够把 Class 0 和 Class 1 完全分开。

2. 引发历史上第一个“AI 寒冬”

1969 年，人工智能先驱马文·明斯基（Marvin Minsky）证明了当时的单层感知机（Single-layer Perceptron）无法解决 XOR 问题。由于单层网络本质上只是一个线性分类器，这一发现直接揭示了当时 AI 模型的致命局限，导致人工智能研究陷入了长达十年的停滞（即第一次 AI 寒冬）。

3. 现代深度学习的破局之道

要解决 XOR 问题，神经网络必须具备两个要素：非线性激活函数和多层结构。

• 多层神经网络（MLP）：通过引入隐藏层（Hidden Layers），将低维不可分特征映射到高维空间。
• 非线性激活函数（Non-linear Activation Functions）：正如你前面 PPT 案例所示，只有加上了 ReLU 或 Sigmoid 等非线性激活函数，网络才能将空间“扭曲/折叠”，从而用多条分类面把原本缠绕在一起的数据彻底分开。

然后我们再来看这张图用具体数值演示了 XOR（异或）分类任务在缺乏非线性激活函数时是如何彻底失效崩溃的。

1. 输入特征与分类目标,数据集包含 4 个二维样本，按 XOR 规则分类：

• Class 0（同号）：$S_1(-1, -1)$ 和 $S_4(+1, +1)$
• Class 1（异号）：$S_2(-1, +1)$ 和 $S_3(+1, -1)$

矩阵 $X$ 巧妙地将二维坐标扩展为了四维特征矩阵 $[x_1, x_2, -x_1, -x_2]$。

2. 第一层运算（隐藏层 $Z_1 = X W_1$）

由于没有使用激活函数（即恒等映射 $H_1 = Z_1$），输入矩阵直接乘以权重 $W_1$：

• $S_1(-1, -1)$ 算得 $H_1 = [-2.00, 2.00, 0.00, 0.00]$
• $S_4(+1, +1)$ 算得 $H_1 = [2.00, -2.00, 0.00, 0.00]$

这一步隐藏层生成了含有正负数值的线性组合。

3. 第二层运算与相抵（$\text{Logits} = H_1 W_2$）

权重 $W_2$ 的逻辑是将 $H_1$ 和 $H_2$ 累加赋给 Class 0，将 $H_3$ 和 $H_4$ 累加赋给 Class 1：

• 对 $S_1$ 计算 Class 0 得分：$(-2.00 \times 1) + (2.00 \times 1) + 0 + 0 = -2 + 2 = \mathbf{0.00}$
• 对 $S_4$ 计算 Class 0 得分：$(2.00 \times 1) + (-2.00 \times 1) + 0 + 0 = 2 - 2 = \mathbf{0.00}$

致命问题出现：由于缺乏非线性截断，正负得分在第二层相加时完全被相抵清零。所有 4 个样本算出的最终得分 Logits 全变成了 $[0.00, 0.00]$。

4. 结果退化（Softmax）

将 Logits $[0, 0]$ 输入 Softmax 计算概率：$$\text{Softmax}([0, 0]) = [0.500, 0.500]$$神经网络对所有样本的输出概率都是 $50\%$，模型退化为纯粹的“随机瞎猜”。

关键结论：激活函数（如 ReLU）如何救场？

假设在第一层后加入了 $\text{ReLU}(z) = \max(0, z)$ 激活函数：

• $S_1$ 算出的负数 $-2.00$ 会被强制截断清零，隐藏状态变为 $H_1 = [0, 2.00, 0, 0]$。
• 再次计算 Class 0 得分时，变成 $0 + 2.00 = 2.00$，得分不再会被抵消！

非线性激活函数的“非对称截断”破坏了正负相抵的线性僵局，才使神经网络获得了扭曲特征空间、解决非线性分类的能力。

这张图通过有无激活函数（ReLU）的对照实验，直观展示了非线性激活函数在解决 XOR 异或问题时起到的决定性作用。

这张 PPT 直观地阐明了激活函数（Activation Functions）的核心使命：通过引入非线性（Non-linearity），赋予神经网络拟合复杂曲面判定边界的能力。

三图对比解析

• 原始数据（Our data）：绿色数据点集中在中心区域，粉色数据点包围在四周，属于典型的非线性可分数据集（无法用一条直线将两类划分开）。
• 无激活函数（Networks without activations）：无论网络加深到多少层，缺乏非线性激活函数时，模型整体仍是一个线性函数。分类边界被迫保持为一条硬邦邦的直线，引发大量误判。
• 含激活函数（Networks with activations）：引入非线性激活函数后，网络能够弯曲、折叠特征空间，生成平滑收拢的非线性决策边界，将绿色数据点精准包裹隔离。

关键数学本质

如果隐藏层不施加激活函数 $\sigma(\cdot)$，多层神经网络的前向传播会直接折叠为单个矩阵运算：$$\mathbf{y} = W_2 (W_1 \mathbf{x} + \mathbf{b}_1) + \mathbf{b}_2 = (W_2 W_1)\mathbf{x} + (W_2 \mathbf{b}_1 + \mathbf{b}_2) = W_{net} \mathbf{x} + \mathbf{b}_{net}$$多层线性函数的复合仍然是线性函数。只有引入激活函数后，网络才打破了线性组合的约束，具备拟合任意复杂决策边界的能力（通用近似定理）。

这张 PPT 通过反例探讨了一个核心问题：“我们总是需要激活函数吗？在某些特定情况下，加不加 ReLU 效果可能完全一样。”

week3

What is Supervised Learning?

左侧：传统监督学习（Classic Supervised Learning）

二维坐标系中的数据点（红点、蓝点）以及对应的猫咪图片:传统的监督学习主要关注‘特征->明确标签’的映射。给定输入特征（如坐标或图像），模型学习预测固定的类别标签（如分类为红类或蓝类）

在监督学习中，模型通过学习输入数据与相应标签之间的映射关系，来预测新的输入数据的标签。监督学习通常用于分类和回归问题，其中输入数据可以是图像、文本、音频等，而标签则是预定义的类别或数值。

监督学习的目标是通过训练模型，使其能够从输入数据中学习到输入与输出之间的映射关系，从而能够对新的输入数据进行预测或分类。

监督学习可以分为分类和回归两种类型。在分类问题中，模型需要将输入数据分类到预定义的类别中，例如图像分类、文本分类等。在回归问题中，模型需要预测连续的数值输出，例如房价预测、股票价格预测等。

监督学习的训练过程通常包括数据预处理、特征工程、模型选择、模型训练和模型评估等步骤。在训练过程中，模型会根据输入数据和标签进行学习，不断调整模型参数，以最小化预测误差。

中间：文本生成中的“监督”（Sequence Generation as Supervision）

一个故事的开头（Prompt），以及两个模型的续写文本：
• 输入上下文：小男孩 Max 在房间里用积木搭建高塔，突然……（Suddenly,）
• 参考答案（GPT-4o）： Max 的猫 Whiskers 跑进房间撞倒了高塔，Max 很伤心。
• 完全训练的模型（Fully Trained Transformer）： Max 的妹妹走进房间想一起玩，最后大家开心在一起。
概念：在生成式深度学习中，“监督”体现为预测下一个 Token 或接续合理的文本。目标是让模型生成的文本在逻辑和语义上符合训练集中的参考分布。

右侧框图：现代 LLM 中的“弱监督与验证”机制（Weak Supervision & Verifiers）

展示内容：
• Instruction + LM Generation：指令输入与大模型生成内容。
• LM Judges / Reward Models：多个评估模型或奖励模型对生成文本进行打分（如 0.0, 0.5, 0.7, 0.2）。
• Weak Supervision（弱监督）：计算不同评估器的加权得分。
• Verdict（判定）：最终决定接受（Accept）还是拒绝（Reject）该生成结果。
概念：现代大模型的“监督”不再仅仅依赖人工标注的标准答案，而是引入奖励模型（Reward Model）、判别器/验证器（Verifiers）等提供隐性或弱监督信号，引导模型生成更高质量的内容。

总结：深度学习时代的监督学习概念已经大大拓展：它不仅包括传统的“画边界打标签”，也涵盖了现代大模型的“上下文序列生成”以及“基于评估模型的弱监督/强化反馈”。

所以在学习CNN之前，我们需要先知道交叉熵损失函数 ，其目的是在为深度学习建立“如何量化模型预测有多错”的数学与直觉基础。它完成了从几何空间的“点距”到信息论世界的“分布偏差”的逻辑跃迁。

1. 从 Distance 到 Divergence：回归与分类任务的本质区别
• Difference（差值）：衡量数值的变化程度，可以为负数。关注数值大小的直接增减，图中展示了平均差（Mean Difference）公式：$\text{MD} = \frac{1}{n^2} \sum_{i=1}^n \sum_{j=1}^n \vert{}x_i - y_j\vert{}$。
• Distance（距离）：衡量两个具体数据点或向量在坐标空间中的距离，通常非负。图中以几何欧氏距离（Euclidean Distance）为例，展示了点 $A(6.0, 6.0)$ 与点 $B(-6.0, -6.0)$ 之间的直线间隔。
• Divergence（散度）：衡量两个概率分布（例如真实数据分布 $P$ 与模型预测概率分布 $Q$）之间的非对称差异。图中展示了 KL 散度（Kullback-Leibler Divergence）公式： $$D_{KL}(P\vert{}\vert{}Q) = \sum_i P_i \log \frac{P_i}{Q_i}$$

信息量与“惊奇度” (Information & Surprise)

公式定义：单事件的信息量（Surprise / Self-Information）计算公式为 $I = -\log_2(p)$，其中 $p$ 为事件发生的概率。 核心逻辑：概率越低（越罕见）的事件发生，带来的信息量/惊奇度越高；概率越高（越可预测）的事件，带来的信息量越低。

文本预测示例：参考词库包含 3 个 "HELP" 和 1 个 "HELLO"。当输入前缀 "HEL" 时：
• 接 "P" 的概率较高（$p = 0.75$），结果在预料之中，惊奇度较低；
• 接 "LO" 的概率较低（$p = 0.25$），出现时带来的惊奇度（信息量）更高。

图像预测示例：右侧展示了一张局部遮挡的猫咪照片，隐藏部分意味着高不确定性（高熵），模型需要根据已知图像细节推断遮挡区域的内容。

这两部分内容共同构成了构建损失函数（如交叉熵损失 Cross-Entropy Loss）和衡量模型概率预测准确度的关键基底。

这张图通过数据集对比与漫画，完成了从单事件的“惊奇度”（Information）到整个概率分布的“平均不确定性”（Entropy）的数学推导。

单事件的“惊奇度”（Self-Information）:
• 数据集直觉对比：Dataset A 包含 9 条狗和 1 只猫。如果随机抽到狗，概率 $p=0.9$，属于意料之中；若抽到猫，概率 $p=0.1$，属于罕见事件，带来的“惊奇度/信息量”极高。
• 漫画与数学表达：如漫画所示，“原本认为不太可能下雨，结果却下雨了”，低概率事件触发了极高惊奇感。单个事件 $x$ 的惊奇度计算公式为 $I_X(x) = -\log[p_X(x)] = \log\left(\frac{1}{p_X(x)}\right)$。

这张图通过数据集对比与漫画，完成了从单事件的“惊奇度”（Information）到整个概率分布的“平均不确定性”（Entropy）的数学推导。

系统的“信息熵”（Entropy）
• 概念延伸：单事件信息量 $I_X(x)$ 只能衡量一次特定的抽样结果，而信息熵 $H(X)$ 用来衡量整个数据集/系统总体的平均不确定性。
• 数学本质：信息熵就是所有事件惊奇度的“期望值（加权平均）”。计算公式为： $$H(X) = -\sum_{x \in \mathcal{X}} p(x) \log p(x)$$
即用每个事件发生的概率 $p(x)$ 作为权重，对其惊奇度 $-\log p(x)$ 进行加权求和.

深度学习关联:
• 数据集不确定性：Dataset A 的类别高度集中（几乎全是狗），猜测难度低，其信息熵 $H(X)$ 较低；Dataset B 的猫狗比例接近 1:1，混乱度高，猜测难度大，其信息熵 $H(X)$ 较高。
• 连接 Loss Function：信息熵 $H(X)$ 代表数据集固有不可避免的随机性。以此为基础加上 KL 散度，就能得到分类网络中用于衡量模型预测偏差的交叉熵损失（Cross-Entropy Loss）。

互信息（Mutual Information）的深度破译

数学本质：互信息 $I(X; Y)$ 衡量的是已知变量 $Y$ 后，变量 $X$ 的不确定性减少了多少，其等价变形公式为：$$I(X; Y) = H(X) - H(X\vert{}Y)$$

直觉解释：单独预测“今天是否下雨 ($X$)”存在很高的随机熵 $H(X)$；但如果观察到“大家都带了伞 ($Y$)”，在带伞条件下的下雨熵 $H(X\vert{}Y)$ 会剧烈下降。骤降的这部分不确定性，就是伞与雨之间的互信息。

深度学习联系：
• 特征提取（信息瓶颈理论）：网络训练的本质，是让隐藏层特征 $Z$ 与目标标签 $Y$ 的互信息 $I(Z; Y)$ 最大化（提取保留有用特征），同时让 $Z$ 与输入噪声 $X$ 的互信息 $I(Z; X)$ 最小化（丢弃冗余信息）。
• 对比学习（如 CLIP）：通过算法最大化图文对（如图像与对应文本描述）之间的互信息，实现跨模态表征学习。

通俗而言：两件事之间的“关联紧密度”。看到路上行人都撑着伞（已知线索 $Y$），你猜“外面下雨了（结果 $X$）”的准确率就会飙升。其含义为：知道这件事（伞），能帮你少走多少弯路（少走的不确定性）。神经网络做特征提取，本质就是让提取出的特征与最终标签之间保留最高的互信息。

盲盒游戏：熵、交叉熵与 KL 散度 假设桌上有一个盲盒，里面有红球和蓝球，真实比例是 80% 红球，20% 蓝球（真实分布 $P$）

信息熵 $H(P)$（盲盒原本的难猜程度） 盲盒本身的固有随机性。即使你知道 80:20 的比例，伸手去摸时依然有摸错的可能。这个天然存在、无法消除的混乱度算出来大约是 $0.72$。这是数据集自带的噪声，AI 再聪明也消不掉。

交叉熵 $H(P, Q)$（按错误直觉下注付出的总代价） 你的模型不够聪明，凭感觉认为比例是 60% 红球，40% 蓝球（预测分布 $Q$）。按你这个错误直觉去押注，平均每次要付出的总成本算出来是 $0.85$。这就是训练神经网络时每次算出来的 Loss（损失值）。

KL 散度 $D_{KL}(P\vert{}\vert{}Q)$（因为没猜准而多交的“罚款”） 用你付出的总成本 ($0.85$) 减去盲盒天然的难猜程度 ($0.72$) = $0.13$。这额外多出的 $0.13$，就是因为模型“预测有偏差/没学准”而多付出的冤枉钱。

神经网络训练的核心动作深度学习计算 Loss 的逻辑可以简化为一个公式：$$\text{实际测出的 Loss (交叉熵)} = \text{数据天然的难猜度 (固有熵)} + \text{模型没学准的代价 (KL 散度)}$$ 神经网络改变不了数据自带的固有熵。它进行反向传播调整参数，唯一的目标就是把那个“没学准的代价（KL 散度）”一路挤压到接近 0，直到模型的直觉（$Q$）与真实世界（$P$）完全重合。

三度计算的算理与深度学习闭环假设学生答题真实分布 $P = [0.8, 0.2]$，模型预测分布 $Q = [0.6, 0.4]$：

1. 固有熵 $H(P) \approx 0.72 \text{ bits}$（数据的混乱底色） 计算：$H(P) = -0.8 \log_2(0.8) - 0.2 \log_2(0.2) \approx 0.72$。 本质：代表数据集中无法消除的固有随机噪音（不可约误差）。哪怕模型完美预测了系统，这 0.72 bits 的不确定性依然客观存在。

2. 交叉熵 $H(P, Q) \approx 0.85 \text{ bits}$（模型实际付出的预测总成本） 计算：$H(P, Q) = -0.8 \log_2(0.6) - 0.2 \log_2(0.4) \approx 0.85$。 本质：当用模型的预测分布 $Q$ 去评估真实世界 $P$ 时，所付出的实际信息编解码成本。这就是分类任务中 PyTorch 算出的 Loss 值。

3. KL 散度 $D_{KL}(P\vert{}\vert{}Q) \approx 0.13 \text{ bits}$（预测偏差多付出的“代价”） 计算：$D_{KL}(P\vert{}\vert{}Q) = H(P, Q) - H(P) = 0.85 - 0.72 = 0.13$。 本质：代表模型因为没学准（用 $Q$ 替代了真实分布 $P$）而产生的纯粹偏差。

深度学习训练闭环三者构成了核心恒等关系：$$\text{交叉熵 Loss } H(P, Q) = \text{固定常数 } H(P) + \text{分布偏差 } D_{KL}(P\vert{}\vert{}Q)$$

神经网络无法修改数据集自带的固有熵 $H(P)$。因此，优化器做梯度下降去降低交叉熵 Loss，本质上就是通过调整网络参数，不断把这 $0.13 \text{ bits}$ 的 KL 散度挤压向 0，使模型预测分布 $Q$ 无缝逼近真实分布 $P$。

线性变换（Linear Transformation）：计算 $y = xW + b$，分别从宏观视角（Macro view）（层级矩阵运算）和微观视角（Micro view）（单神经元加权求和）进行了展示

激活函数（Activation Function）：引入非线性映射 $\sigma(\cdot)$，使网络能够学习复杂的非线性模式。

Softmax 层：通过 $y_1 = \text{softmax}(y, \text{dim}=1)$ 将原始线性输出转换为概率分布。

Z-Score 标准化：展示了如何对不同尺度特征的输入批次 $X$（例如第 1 列范围为 1–4，第 2 列范围为 100–400）进行标准化处理。通过减去均值 ($\mu$) 并除以标准差 ($\sigma$)： $$\hat{x} = \frac{x - \mu}{\sigma}$$

将特征缩放到以 0 为中心、取值在 $-1.34$ 到 $1.34$ 之间的分布，防止大数值特征主导梯度更新。

网络层顺序（Pipeline Placement）：展示了神经网络块内部的标准顺序：$$\text{Input} \rightarrow \text{Linear} \rightarrow \text{BatchNorm} \rightarrow \text{ReLU} \rightarrow \text{Linear}$$ BatchNorm 紧跟在线性层之后，并放在非线性激活函数（ReLU）之前。

可学习的缩放与平移（Learnable Scale & Shift）：使用可学习参数应用最终的仿射变换：$$y = \gamma \hat{x} + \beta$$ 缩放参数 ($\gamma$) 和平移参数 ($\beta$) 允许模型在训练过程中自我调整，恢复最适合当前任务的特征尺度，避免严格的零均值/单位方差标准化限制模型表达能力。

作用：引入可学习参数 $\gamma$（缩放）和 $\beta$（平移），让网络通过反向传播自主决定：“我是要完全保留标准分布，还是恢复一部分原始尺度”。

运行逻辑：神经网络的运行逻辑包括前向传播（Forward Propagation）和反向传播（Backpropagation）两个主要步骤。在前向传播过程中，输入数据通过网络的各个层进行计算，最终得到输出结果。在反向传播过程中，通过计算损失函数的梯度，更新网络的参数以最小化损失。

数据在前向传播（Forward Pass）中，如何从原始的“杂乱输入”逐步被提取、规范化、非线性化，最终变成“预测概率”的全流程逻辑

第一步：原始数据输入（Input Batch）:
• 现状：输入的 Batch 数据 $X$ 中，各个特征的取值范围可能天差地别（例如：有的列是 1~4，有的列是 100~400）。
• 隐患：数值范围大的特征会在后续计算中占据主导地位，产生倾斜的损失曲面，导致梯度下降时产生“震荡”，训练极难收敛。

第二步：线性变换（Linear Layer: $z = xW + b$）
• 动作：通过权重矩阵 $W$ 和偏置 $b$ 对输入数据做旋转和拉伸（加权求和），提取高阶特征。
• 痛点：随着矩阵乘法的放大，输出 $z$ 的数值范围可能会进一步剧烈波动（有的很大，有的很小），产生内部 covariate shift（内部变量偏移）。

第三步：批归一化（BatchNorm Layer）—— 核心枢纽
• 为了解决第二步留下的“数值不稳定”问题，BatchNorm 拆分为两个微操作：
• 强制强制拉回零中心（Z-Score 标准化）：$$\hat{x} = \frac{z - \mu}{\sqrt{\sigma^2 + \epsilon}}$$
• 计算当前 Batch 的均值 $\mu$ 和标准差 $\sigma$，把乱七八糟的数据硬生生拉回到均值为 0、方差为 1 的标准正态分布。
• 作用：抹平特征尺度差异，防止梯度爆炸或梯度消失，允许网络使用更大的学习率（Learning Rate）。
• 保留表达弹性（Learnable Scale & Shift）：$$y = \gamma \hat{x} + \beta$$
• 如果完全强制数据遵循标准正态分布，可能会破坏之前线性层学到的特征表达（甚至挤压在 Sigmoid 等激活函数的线性区）。
• 作用：引入可学习参数 $\gamma$（缩放）和 $\beta$（平移），让网络通过反向传播自主决定：“我是要完全保留标准分布，还是恢复一部分原始尺度”。

第四步：非线性激活（Activation Function: $\text{ReLU}(y)$）
• 动作：将经过 BatchNorm 规范化后的数值 $y$ 传入非线性函数（如 $\text{ReLU} = \max(0, y)$）。
• 为何紧跟 BatchNorm 之后？：
• 因为 BatchNorm 把数据重新分布在了 $0$ 附近的最佳区间，此时激活函数能够最有效地触发非线性特征，避免神经元陷入“死区”（饱和区）。
• 激活函数的引入打破了单纯线性叠加的局限，让网络有能力拟合复杂的非线性曲线。

第五步：Softmax 层（输出分布）
• 动作：在网络最后一层，将线性输出通过 Softmax 公式归一化：$$p_i = \frac{e^{y_i}}{\sum_j e^{y_j}}$$
• 结局：把原本无界限的实值转化为总和为 1 的概率分布，方便直接接入上一问讲到的交叉熵损失函数（Cross-Entropy Loss）去计算惊奇度并回传梯度。

一句话总结整个运行逻辑数据先做线性组合提取特征 $\rightarrow$ 用 BatchNorm 进行“强行矫正+自主微调”保稳定 $\rightarrow$ 经激活函数赋予非线性表达能力 $\rightarrow$ 最后用 Softmax 转化输出概率。

这种架构顺序（Linear -> BatchNorm -> Activation）是现代深度学习（如 ResNet 等经典网络）中最稳定、高效的标准搭建范式。