<?xml version="1.0" encoding="UTF-8"?><rss version="2.0" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>陈逸妤的博客</title><description>记录学习和成长的过程</description><link>https://coraejones.github.io/</link><language>zh_CN</language><item><title>把图像变成 16×16 的“词”｜ViT 论文互动精读</title><link>https://coraejones.github.io/posts/interactive/vit/</link><guid isPermaLink="true">https://coraejones.github.io/posts/interactive/vit/</guid><description>把一张 224×224 的图像切成 Patch，看看序列有多长，再亲手调节注意力权重。用 7 章、21 道自测和论文原图读懂 Vision Transformer。</description><pubDate>Sun, 22 Nov 2026 00:00:00 GMT</pubDate><content:encoded>&lt;p&gt;把一张 224×224 的图像切成 Patch，看看序列有多长，再亲手调节注意力权重。用 7 章、21 道自测和论文原图读懂 Vision Transformer。&lt;/p&gt;
&lt;p&gt;&lt;a href=&quot;https://coraejones.github.io/posts/interactive/vit/&quot;&gt;阅读互动全文&lt;/a&gt;&lt;/p&gt;
</content:encoded></item><item><title>Swin Transformer 完整学习手册｜从 ViT 到移动窗口注意力</title><link>https://coraejones.github.io/posts/interactive/swin-transformer/</link><guid isPermaLink="true">https://coraejones.github.io/posts/interactive/swin-transformer/</guid><description>沿着一张图像走过 Swin-T 的四个 Stage，在 8×8 网格上移动窗口、检查 Attention Mask，再用原论文图表和 PyTorch 代码理解跨窗口通信。</description><pubDate>Sun, 22 Nov 2026 00:00:00 GMT</pubDate><content:encoded>&lt;p&gt;沿着一张图像走过 Swin-T 的四个 Stage，在 8×8 网格上移动窗口、检查 Attention Mask，再用原论文图表和 PyTorch 代码理解跨窗口通信。&lt;/p&gt;
&lt;p&gt;&lt;a href=&quot;https://coraejones.github.io/posts/interactive/swin-transformer/&quot;&gt;阅读互动全文&lt;/a&gt;&lt;/p&gt;
</content:encoded></item><item><title>Transformer 学习笔记（一）：Token、d_model 与 Q/K/V 到底是什么？</title><link>https://coraejones.github.io/posts/transformer-notes-01/</link><guid isPermaLink="true">https://coraejones.github.io/posts/transformer-notes-01/</guid><description>从「小明喜欢苹果」出发，追踪 Token 到 Q/K/V 的维度变化，推导 Softmax 前为什么除以根号 d_k，再看多个注意力头能多做什么。</description><pubDate>Sat, 21 Nov 2026 00:00:00 GMT</pubDate><content:encoded>&lt;p&gt;今天开始学 Transformer，我卡在了两个形状上。输入是 $3\times128$，Q、K、V 却是 $3\times32$。这三个数字各在数什么？我用「小明喜欢苹果」从头算了一遍。&lt;/p&gt;
&lt;p&gt;&amp;lt;link rel=&quot;stylesheet&quot; href=&quot;/assets/transformer-notes/notes-01.css&quot;&amp;gt;
&amp;lt;script type=&quot;module&quot; src=&quot;/assets/transformer-notes/dimensions.js&quot;&amp;gt;&amp;lt;/script&amp;gt;&lt;/p&gt;
&lt;h2&gt;一句话怎样变成一组向量&lt;/h2&gt;
&lt;p&gt;Tokenizer 先把文本编码成一串 Token ID。假设这里的 Tokenizer 把「小明喜欢苹果」切成三个 Token。真实的切分和编号由所用的 Tokenizer 与词表决定。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure class=&quot;transformer-figure not-prose&quot;&amp;gt;
&amp;lt;div class=&quot;transformer-token-flow&quot;&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;span&amp;gt;原文&amp;lt;/span&amp;gt;&amp;lt;b&amp;gt;小明喜欢苹果&amp;lt;/b&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;span&amp;gt;Tokenizer 切分&amp;lt;/span&amp;gt;&amp;lt;b&amp;gt;[小明] [喜欢] [苹果]&amp;lt;/b&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;span&amp;gt;词表编号&amp;lt;/span&amp;gt;&amp;lt;b&amp;gt;[311, 728, 1052]&amp;lt;/b&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;/div&amp;gt;
&amp;lt;figcaption&amp;gt;分词与编号均为示意。Embedding Lookup 接着用这三个编号查表，每个编号取出一行向量。&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;以「苹果」这个位置为例。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;概念&lt;/th&gt;
&lt;th&gt;它是什么&lt;/th&gt;
&lt;th&gt;「苹果」在例子中的表示&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Token&lt;/td&gt;
&lt;td&gt;Tokenizer 编码文本时使用的单位&lt;/td&gt;
&lt;td&gt;苹果&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Token ID&lt;/td&gt;
&lt;td&gt;这个 Token 在词表里的整数编号&lt;/td&gt;
&lt;td&gt;1052（假设）&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Token Embedding&lt;/td&gt;
&lt;td&gt;用编号查 Embedding 表得到的可学习向量&lt;/td&gt;
&lt;td&gt;$[0.2,,0.8,,-0.1,,0.4,,\ldots]$（示意）&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;词表大小决定 Embedding 表有多少行。这句话用了三个 Token，所以一次查出三行。&lt;/p&gt;
&lt;h2&gt;d_model 是每个位置的向量宽度&lt;/h2&gt;
&lt;p&gt;把三个 128 维向量按顺序叠起来，便得到 $3\times128$。$N=3$ 数的是序列位置，$d_{\text{model}}=128$ 数的是每个位置的特征。同一 Token 出现两次，就占两行。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure class=&quot;transformer-figure not-prose&quot;&amp;gt;
&amp;lt;div class=&quot;transformer-legend&quot;&amp;gt;
&amp;lt;span class=&quot;transformer-token&quot;&amp;gt;N · Token 数&amp;lt;/span&amp;gt;
&amp;lt;span class=&quot;transformer-model&quot;&amp;gt;d&amp;lt;sub&amp;gt;model&amp;lt;/sub&amp;gt; · 模型宽度&amp;lt;/span&amp;gt;
&amp;lt;span class=&quot;transformer-head&quot;&amp;gt;d&amp;lt;sub&amp;gt;head&amp;lt;/sub&amp;gt; · 单头宽度&amp;lt;/span&amp;gt;
&amp;lt;/div&amp;gt;
&amp;lt;table class=&quot;transformer-matrix&quot;&amp;gt;
&amp;lt;caption&amp;gt;输入 X 的行与列&amp;lt;/caption&amp;gt;
&amp;lt;thead&amp;gt;
&amp;lt;tr&amp;gt;&amp;lt;th scope=&quot;col&quot; class=&quot;transformer-token&quot;&amp;gt;3 个位置&amp;lt;/th&amp;gt;&amp;lt;th scope=&quot;col&quot; class=&quot;transformer-model&quot;&amp;gt;128 个特征列&amp;lt;/th&amp;gt;&amp;lt;/tr&amp;gt;
&amp;lt;/thead&amp;gt;
&amp;lt;tbody&amp;gt;
&amp;lt;tr&amp;gt;&amp;lt;th scope=&quot;row&quot;&amp;gt;小明&amp;lt;/th&amp;gt;&amp;lt;td&amp;gt;[0.10, −0.30, …, 0.27]&amp;lt;/td&amp;gt;&amp;lt;/tr&amp;gt;
&amp;lt;tr&amp;gt;&amp;lt;th scope=&quot;row&quot;&amp;gt;喜欢&amp;lt;/th&amp;gt;&amp;lt;td&amp;gt;[0.59, 0.13, …, −0.42]&amp;lt;/td&amp;gt;&amp;lt;/tr&amp;gt;
&amp;lt;tr&amp;gt;&amp;lt;th scope=&quot;row&quot;&amp;gt;苹果&amp;lt;/th&amp;gt;&amp;lt;td&amp;gt;[0.20, 0.80, …, 0.16]&amp;lt;/td&amp;gt;&amp;lt;/tr&amp;gt;
&amp;lt;/tbody&amp;gt;
&amp;lt;/table&amp;gt;
&amp;lt;figcaption&amp;gt;每行只展示少量示意数值。绿色标 Token 数，蓝色标模型宽度，紫色标接下来会用到的单头宽度。&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;任意长度的序列都可以写成同一个形状。&lt;/p&gt;
&lt;p&gt;$$
\boxed{X\in\mathbb R^{N\times d_{\text{model}}}}
$$&lt;/p&gt;
&lt;p&gt;这里省略 batch 维度。原版 Transformer 的第一层会把 Embedding 加上位置编码，更深层的 $X$ 来自前一层。&lt;/p&gt;
&lt;h2&gt;Q、K、V 各做哪一步&lt;/h2&gt;
&lt;p&gt;更新「喜欢」这个位置时，先决定从各位置取多少信息，再加权汇总。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Q（Query）&lt;/strong&gt; 提供当前位置用于发起匹配的表示。例子里，取「喜欢」那一行的 Query。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;K（Key）&lt;/strong&gt; 提供各个位置用于接受匹配的表示。把刚才的 Query 依次与「小明」「喜欢」「苹果」的 Key 做点积，得到三个分数。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;V（Value）&lt;/strong&gt; 提供各个位置实际参与汇总的信息。把三个分数转成三个权重，再用这些权重对三行 Value 做加权求和。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;一个头用三套可学习的参数生成这三组向量。&lt;/p&gt;
&lt;p&gt;$$
Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V.
$$&lt;/p&gt;
&lt;p&gt;每个位置都有 Q、K、V。三组投影都读同一条序列的 $X$，因此叫 &lt;strong&gt;Self-Attention（自注意力）&lt;/strong&gt;。投影矩阵在训练中学得，匹配结果也会随输入变化。&lt;/p&gt;
&lt;h2&gt;为什么单头 Q/K/V 是 3×32&lt;/h2&gt;
&lt;p&gt;这里把模型宽度 128 平均分给 $h=4$ 个头，让每头的 Query、Key 和 Value 都是 32 维。&lt;/p&gt;
&lt;p&gt;$$
d_{\text{head}}=\frac{d_{\text{model}}}{h}=\frac{128}{4}=32.
$$&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;$W_Q$ 的 128 行对应输入特征，32 列对应输出特征。&lt;/strong&gt; $X$ 逐行投影，输出仍有三行。&lt;/p&gt;
&lt;p&gt;$$
\underbrace{X}&lt;em&gt;{3\times128}
\underbrace{W_Q}&lt;/em&gt;{128\times32}
=\underbrace{Q}_{3\times32}.
$$&lt;/p&gt;
&lt;p&gt;$Q$ 的第 2 行第 1 列，是「喜欢」的 128 维输入与 $W_Q$ 第一列的点积。对 32 列都做一次，就得到「喜欢」的 Query。$W_K$ 和 $W_V$ 形状也相同。&lt;/p&gt;
&lt;p&gt;32 来自这组超参数。原论文的基础模型选择的是 $d_{\text{model}}=512$、$h=8$、$d_k=d_v=64$。一般写公式时可以分别用 $d_k$ 表示 Q/K 宽度、$d_v$ 表示 V 宽度。本文和下面的演示都取 $d_k=d_v=d_{\text{head}}$。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS2.SSS2&quot;&gt;原论文 §3.2.2&lt;/a&gt;&lt;/p&gt;
&lt;h2&gt;单头怎样算，多头怎样拼&lt;/h2&gt;
&lt;p&gt;先用无掩码的例子看缩放点积注意力。每个 Query 都与三个位置的 Key 匹配。&lt;/p&gt;
&lt;p&gt;$$
A=\operatorname{softmax}_{\text{逐行}}!\left(\frac{QK^\top}{\sqrt{d_k}}\right),
\qquad H=AV.
$$&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;计算匹配分数。&lt;/strong&gt; $QK^\top$ 的乘法是 $(3\times32)(32\times3)$，得到 $3\times3$。行对应发起查询的位置，列对应被匹配的位置。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;把每行分数转成权重。&lt;/strong&gt; 除以 $\sqrt{d_k}$ 后沿每行做 softmax。形状依然是 $3\times3$，每行权重的和为 1。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;用权重汇总 Value。&lt;/strong&gt; $AV$ 的乘法是 $(3\times3)(3\times32)$，得到 $3\times32$。例如第 2 行的权重若是 $[0.15,0.25,0.60]$，第 2 行输出就是 $0.15v_{\text{小明}}+0.25v_{\text{喜欢}}+0.60v_{\text{苹果}}$，仍是一条 32 维向量。这组权重仅用于演算。&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;为什么要在 Softmax 前除以根号 d_k&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;向量越宽，点积累加的项越多。在原论文的简化假设下，点积的标准差会随 $\sqrt{d_k}$ 增长。&lt;/strong&gt; 先除掉这个因子，可以缓和维度带来的分数差异，让 Softmax 的权重更不容易在一开始就集中到一个位置。这里的 $d_k$ 是&lt;strong&gt;单头的 Query 和 Key 宽度&lt;/strong&gt;，本例是 32。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS2.SSS1&quot;&gt;原论文 §3.2.1，式（1）及脚注 1&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;先看方差在量什么。&lt;/strong&gt; 如果在 $[-1,1,-1,1]$ 中等概率抽一个数，均值是 0，方差是 1。把每个数乘以 10，均值仍为 0，方差变成 100。因为方差取的是「离均值的距离的平方」的平均值。&lt;/p&gt;
&lt;p&gt;$$
\begin{aligned}
\operatorname{Var}(X)&amp;amp;=\mathbb E[(X-\mathbb E[X])^2]\
&amp;amp;=\mathbb E[X^2]-(\mathbb E[X])^2.
\end{aligned}
$$&lt;/p&gt;
&lt;p&gt;如果均值为 0，方差就等于平方的期望 $\mathbb E[X^2]$。下面会用到这个等式。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;先算一个乘积 $q_i k_i$。&lt;/strong&gt; 假设 Query 和 Key 的各个分量相互独立、均值为 0、方差为 1。可以想象 $q_i$ 和 $k_i$ 各掷一枚硬币，正面记 $+1$，反面记 $-1$。四种组合等概率出现，两种同号、两种异号，因此乘积也以相同概率取 $+1$ 或 $-1$。它的均值为 0，平方恒为 1，所以方差为 1。&lt;/p&gt;
&lt;p&gt;一般情况下，独立性给出 $\mathbb E[q_i k_i]=\mathbb E[q_i]\mathbb E[k_i]=0$，所以乘积的方差等于乘积平方的期望。平方后的期望也能按独立性拆开。两项各自的均值为 0、方差为 1，因此各自平方的期望都是 1。&lt;/p&gt;
&lt;p&gt;$$
\begin{aligned}
\operatorname{Var}(q_i k_i)
&amp;amp;=\mathbb E[(q_i k_i)^2] \
&amp;amp;=\mathbb E[q_i^2],\mathbb E[k_i^2] \
&amp;amp;=1\times1=1.
\end{aligned}
$$&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;再把 $d_k$ 个乘积加起来。&lt;/strong&gt; 在上述独立假设下，各维乘积的协方差为 0，因此它们的方差可以相加。点积 $s=q\cdot k=\sum_{i=1}^{d_k}q_i k_i$ 的均值仍是 0，方差和标准差分别是&lt;/p&gt;
&lt;p&gt;$$
\operatorname{Var}(s)=d_k,\qquad
\operatorname{Std}(s)=\sqrt{d_k}.
$$&lt;/p&gt;
&lt;p&gt;乘上常数 $c$ 时，标准差乘以 $|c|$，方差乘以 $c^2$。因此除以 $\sqrt{d_k}$ 恰好让这个模型里的分数回到单位方差。&lt;/p&gt;
&lt;p&gt;$$
\boxed{\operatorname{Var}!\left(\frac{s}{\sqrt{d_k}}\right)=\frac{d_k}{d_k}=1.}
$$&lt;/p&gt;
&lt;p&gt;以 $d_k=64$ 为例，点积的标准差是 8，缩放就是把这一行的分数都除以 8。下面假设「喜欢」对三个位置的原始分数是 $[0,8,16]$。三列仍对应「小明」「喜欢」「苹果」，数值是演算示例。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;送入 Softmax 的分数&lt;/th&gt;
&lt;th&gt;小明&lt;/th&gt;
&lt;th&gt;喜欢&lt;/th&gt;
&lt;th&gt;苹果&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;原始 $[0,8,16]$&lt;/td&gt;
&lt;td&gt;约 0.00001%&lt;/td&gt;
&lt;td&gt;0.034%&lt;/td&gt;
&lt;td&gt;99.966%&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;缩放后 $[0,1,2]$&lt;/td&gt;
&lt;td&gt;9.00%&lt;/td&gt;
&lt;td&gt;24.47%&lt;/td&gt;
&lt;td&gt;66.52%&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;看「苹果」和「喜欢」这两列。Softmax 中，两者的权重比是分数差的指数。差 8 时比例是 $e^8$，约 2,981 比 1。差 1 时比例是 $e$，约 2.72 比 1。缩放保留了排序，缩小了差距。权重已经接近 0 或 1 时，分数变化对权重的影响很小，反向传播通过 Softmax 的梯度也容易变小。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS2.SSS1&quot;&gt;原论文 §3.2.1&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;真实模型里，各分量可能相关，均值和方差也会随层与输入变化。独立、零均值、单位方差是这段推导用来解释尺度的假设。&lt;/p&gt;
&lt;h3&gt;为什么需要多头注意力&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;一个头对同一个查询位置只算一行权重，并把这行权重用到所有 Value 通道。&lt;/strong&gt; 比如前面「喜欢」对三个位置的权重是 $[0.15,0.25,0.60]$。输出的第 1 个特征用这三个数做加权求和，第 32 个特征也用这三个数。Value 的各列可以存不同信息，但在这个头里，它们共享同一次位置加权。&lt;/p&gt;
&lt;p&gt;把一个头加宽到 128 维，能一次汇总更多特征，它仍然只产生一张 $3\times3$ 的权重矩阵。改成四个 32 维的头，每个头都从整份 $X$ 学习自己的 Q/K/V 投影，并各自做一次 Softmax，于是可以用四套权重汇总信息。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;模型宽度都是 128&lt;/th&gt;
&lt;th&gt;注意力权重&lt;/th&gt;
&lt;th&gt;汇总结果&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;1 个 128 维头&lt;/td&gt;
&lt;td&gt;1 张 $3\times3$ 权重矩阵&lt;/td&gt;
&lt;td&gt;1 个 $3\times128$ 输出&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;4 个 32 维头&lt;/td&gt;
&lt;td&gt;4 张 $3\times3$ 权重矩阵&lt;/td&gt;
&lt;td&gt;4 个 $3\times32$ 输出&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;仍然看「喜欢」这个位置。设其中一个头用 $[0.8,0.1,0.1]$ 多取「小明」的信息，另一个头用 $[0.1,0.1,0.8]$ 多取「苹果」的信息。前一个头偏向动作发出者，后一个头偏向动作对象。&lt;strong&gt;这两次汇总各自使用该头的 Value，完成后才把结果拼起来。&lt;/strong&gt; 权重和分工都是示意。各头拥有各自的投影参数，最终学出的加权方式可能不同，也可能相似。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS2.SSS2&quot;&gt;原论文 §3.2.2&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;这个区别放到成像里也很直观。一个平面可以在深度上连续，同时在材料交界处出现反射率跳变。要从邻近位置找几何线索，和要从相似材料找反射线索，合适的位置权重可能不同。多头给了模型分开汇总这两种线索的空间。它们能否对应到真实的几何和材料关系，还要靠实验验证。&lt;/p&gt;
&lt;p&gt;实现时可以一次算出所有的投影，再拆分&lt;strong&gt;投影结果&lt;/strong&gt;。四个头的输出沿特征列拼接，再乘输出投影 $W_O$。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure class=&quot;transformer-figure not-prose&quot;&amp;gt;
&amp;lt;div class=&quot;transformer-head-flow&quot;&amp;gt;
&amp;lt;p&amp;gt;同一个 X · &amp;lt;strong&amp;gt;&amp;lt;span class=&quot;transformer-token&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-model&quot;&amp;gt;128&amp;lt;/span&amp;gt;&amp;lt;/strong&amp;gt;&amp;lt;/p&amp;gt;
&amp;lt;ol&amp;gt;
&amp;lt;li&amp;gt;Head 1 &amp;lt;strong&amp;gt;&amp;lt;span class=&quot;transformer-token&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-head&quot;&amp;gt;32&amp;lt;/span&amp;gt;&amp;lt;/strong&amp;gt;&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;Head 2 &amp;lt;strong&amp;gt;&amp;lt;span class=&quot;transformer-token&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-head&quot;&amp;gt;32&amp;lt;/span&amp;gt;&amp;lt;/strong&amp;gt;&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;Head 3 &amp;lt;strong&amp;gt;&amp;lt;span class=&quot;transformer-token&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-head&quot;&amp;gt;32&amp;lt;/span&amp;gt;&amp;lt;/strong&amp;gt;&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;Head 4 &amp;lt;strong&amp;gt;&amp;lt;span class=&quot;transformer-token&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-head&quot;&amp;gt;32&amp;lt;/span&amp;gt;&amp;lt;/strong&amp;gt;&amp;lt;/li&amp;gt;
&amp;lt;/ol&amp;gt;
&amp;lt;p&amp;gt;Concat · &amp;lt;strong&amp;gt;&amp;lt;span class=&quot;transformer-token&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-model&quot;&amp;gt;128&amp;lt;/span&amp;gt;&amp;lt;/strong&amp;gt;&amp;lt;/p&amp;gt;
&amp;lt;/div&amp;gt;
&amp;lt;figcaption&amp;gt;同一个位置的四条 32 维向量横向拼成一行。随后用 128 × 128 的输出投影混合各头的特征。&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;h3&gt;动手改一组参数&lt;/h3&gt;
&lt;p&gt;把 Token 数从 3 改成 5，留意哪一个矩阵的&lt;strong&gt;行和列&lt;/strong&gt;同时增加。然后把 Token 数改回 3，只把头数从 4 改成 8，看看单头的宽度和拼接后的宽度各有什么变化。&lt;/p&gt;
&lt;p&gt;&amp;lt;transformer-dimensions class=&quot;transformer-figure not-prose&quot;&amp;gt;
&amp;lt;form autocomplete=&quot;off&quot;&amp;gt;
&amp;lt;fieldset disabled&amp;gt;
&amp;lt;legend&amp;gt;等宽多头自注意力&amp;lt;/legend&amp;gt;
&amp;lt;div class=&quot;transformer-controls&quot;&amp;gt;
&amp;lt;label class=&quot;transformer-token&quot;&amp;gt;&amp;lt;span&amp;gt;Token 数 N&amp;lt;/span&amp;gt;&amp;lt;input name=&quot;tokens&quot; type=&quot;number&quot; min=&quot;1&quot; max=&quot;512&quot; step=&quot;1&quot; required value=&quot;3&quot; aria-describedby=&quot;transformer-input-help&quot;&amp;gt;&amp;lt;/label&amp;gt;
&amp;lt;label class=&quot;transformer-model&quot;&amp;gt;&amp;lt;span&amp;gt;模型宽度 d&amp;lt;sub&amp;gt;model&amp;lt;/sub&amp;gt;&amp;lt;/span&amp;gt;&amp;lt;input name=&quot;model&quot; type=&quot;number&quot; min=&quot;1&quot; max=&quot;4096&quot; step=&quot;1&quot; required value=&quot;128&quot; aria-describedby=&quot;transformer-input-help&quot;&amp;gt;&amp;lt;/label&amp;gt;
&amp;lt;label class=&quot;transformer-head&quot;&amp;gt;&amp;lt;span&amp;gt;头数 h&amp;lt;/span&amp;gt;&amp;lt;input name=&quot;heads&quot; type=&quot;number&quot; min=&quot;1&quot; max=&quot;128&quot; step=&quot;1&quot; required value=&quot;4&quot; aria-describedby=&quot;transformer-input-help&quot;&amp;gt;&amp;lt;/label&amp;gt;
&amp;lt;/div&amp;gt;
&amp;lt;button type=&quot;reset&quot;&amp;gt;恢复正文示例&amp;lt;/button&amp;gt;
&amp;lt;/fieldset&amp;gt;
&amp;lt;/form&amp;gt;
&amp;lt;p class=&quot;transformer-caption&quot; id=&quot;transformer-input-help&quot;&amp;gt;模型宽度须能被头数整除。这里仅演示矩阵形状。&amp;lt;/p&amp;gt;
&amp;lt;p class=&quot;transformer-error&quot; role=&quot;status&quot; data-error hidden&amp;gt;&amp;lt;/p&amp;gt;
&amp;lt;div aria-live=&quot;polite&quot; aria-atomic=&quot;true&quot; data-results&amp;gt;
&amp;lt;dl class=&quot;transformer-results&quot;&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;dt&amp;gt;输入 X&amp;lt;/dt&amp;gt;&amp;lt;dd&amp;gt;&amp;lt;span class=&quot;transformer-token&quot; data-value=&quot;tokens&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-model&quot; data-value=&quot;model&quot;&amp;gt;128&amp;lt;/span&amp;gt;&amp;lt;/dd&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;dt&amp;gt;每头的 W&amp;lt;sub&amp;gt;Q&amp;lt;/sub&amp;gt; / W&amp;lt;sub&amp;gt;K&amp;lt;/sub&amp;gt; / W&amp;lt;sub&amp;gt;V&amp;lt;/sub&amp;gt;&amp;lt;/dt&amp;gt;&amp;lt;dd&amp;gt;&amp;lt;span class=&quot;transformer-model&quot; data-value=&quot;model&quot;&amp;gt;128&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-head&quot; data-value=&quot;headWidth&quot;&amp;gt;32&amp;lt;/span&amp;gt;&amp;lt;/dd&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;dt&amp;gt;每头的 Q / K / V&amp;lt;/dt&amp;gt;&amp;lt;dd&amp;gt;&amp;lt;span class=&quot;transformer-token&quot; data-value=&quot;tokens&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-head&quot; data-value=&quot;headWidth&quot;&amp;gt;32&amp;lt;/span&amp;gt;&amp;lt;/dd&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;dt&amp;gt;每头的注意力权重 A&amp;lt;/dt&amp;gt;&amp;lt;dd&amp;gt;&amp;lt;span class=&quot;transformer-token&quot; data-value=&quot;tokens&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-token&quot; data-value=&quot;tokens&quot;&amp;gt;3&amp;lt;/span&amp;gt;&amp;lt;/dd&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;dt&amp;gt;单头输出 H&amp;lt;/dt&amp;gt;&amp;lt;dd&amp;gt;&amp;lt;span class=&quot;transformer-token&quot; data-value=&quot;tokens&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-head&quot; data-value=&quot;headWidth&quot;&amp;gt;32&amp;lt;/span&amp;gt;&amp;lt;/dd&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;&amp;lt;dt&amp;gt;Concat · &amp;lt;span data-value=&quot;heads&quot;&amp;gt;4&amp;lt;/span&amp;gt; 个头&amp;lt;/dt&amp;gt;&amp;lt;dd&amp;gt;&amp;lt;span class=&quot;transformer-token&quot; data-value=&quot;tokens&quot;&amp;gt;3&amp;lt;/span&amp;gt; × &amp;lt;span class=&quot;transformer-model&quot; data-value=&quot;model&quot;&amp;gt;128&amp;lt;/span&amp;gt;&amp;lt;/dd&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;/dl&amp;gt;
&amp;lt;/div&amp;gt;
&amp;lt;/transformer-dimensions&amp;gt;&lt;/p&gt;
&lt;h2&gt;我最容易混淆的几个地方&lt;/h2&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;容易混在一起的概念&lt;/th&gt;
&lt;th&gt;可以怎样检查&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;汉字数与 Token 数&lt;/td&gt;
&lt;td&gt;看 Tokenizer 返回了几个 ID。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Token 数与模型宽度&lt;/td&gt;
&lt;td&gt;数 $X$ 的行得到 $N$，数列得到 $d_{\text{model}}$。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Q、K、V 共用输入与共用参数&lt;/td&gt;
&lt;td&gt;沿三个乘法往回看，它们读取同一个 $X$，使用各自的投影矩阵。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;$3\times128$ 变成 $3\times32$&lt;/td&gt;
&lt;td&gt;仍有三个位置，每个位置从 128 个特征投影成 32 个特征。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;多头投影与切分输入&lt;/td&gt;
&lt;td&gt;每个头可以用到整行输入的全部特征。统一计算时，切分发生在投影之后。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;示例里的 32 与架构的固定规则&lt;/td&gt;
&lt;td&gt;先确认头数和模型宽度，再确认该架构怎样分配 Q/K 和 V 的宽度。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;模型宽度与缩放分母&lt;/td&gt;
&lt;td&gt;看参与点积的单头 Q/K 有几维。本例除以 $\sqrt{32}$。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;一个宽头与多个窄头&lt;/td&gt;
&lt;td&gt;固定一个查询位置，数它有几套独立计算的位置权重。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h3&gt;自测三题&lt;/h3&gt;
&lt;p&gt;可以先写出形状，再展开核对。&lt;/p&gt;
&lt;p&gt;&amp;lt;details class=&quot;transformer-question&quot;&amp;gt;
&amp;lt;summary&amp;gt;1. 五个 Token，每个位置有 128 个特征，X 是什么形状？&amp;lt;/summary&amp;gt;
&amp;lt;p&amp;gt;&amp;lt;strong&amp;gt;5 × 128。&amp;lt;/strong&amp;gt; 五个序列位置各占一行，每行有 128 列。&amp;lt;/p&amp;gt;
&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details class=&quot;transformer-question&quot;&amp;gt;
&amp;lt;summary&amp;gt;2. 将模型宽度 128 平均分给 8 个头。若 N = 3，每头的 W&amp;lt;sub&amp;gt;Q&amp;lt;/sub&amp;gt; 和 Q 分别是什么形状？&amp;lt;/summary&amp;gt;
&amp;lt;p&amp;gt;&amp;lt;strong&amp;gt;W&amp;lt;sub&amp;gt;Q&amp;lt;/sub&amp;gt; 是 128 × 16，Q 是 3 × 16。&amp;lt;/strong&amp;gt; 先算出 128 ÷ 8 = 16，再让 3 × 128 的 X 右乘 128 × 16 的投影矩阵。&amp;lt;/p&amp;gt;
&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details class=&quot;transformer-question&quot;&amp;gt;
&amp;lt;summary&amp;gt;3. Q 和 K 都是 5 × 16，注意力权重矩阵是什么形状？第 2 行表示什么？&amp;lt;/summary&amp;gt;
&amp;lt;p&amp;gt;&amp;lt;strong&amp;gt;5 × 5。&amp;lt;/strong&amp;gt; K 转置后是 16 × 5，矩阵相乘时两个 16 对齐。第 2 行是第 2 个位置用来汇总五个位置的信息的权重。&amp;lt;/p&amp;gt;
&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details class=&quot;transformer-question transformer-extra&quot;&amp;gt;
&amp;lt;summary&amp;gt;展开另外 5 道练习&amp;lt;/summary&amp;gt;
&amp;lt;ol start=&quot;4&quot;&amp;gt;
&amp;lt;li&amp;gt;同一个 Token 在序列里出现两次，X 里有几行与这两次出现对应？&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;为什么计算点积时，Q 和 K 的特征宽度需要相同？&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;若 N = 3，V 是 3 × 24，单头输出是什么形状？&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;4 个头各输出 5 × 32，沿特征列拼接后是什么形状？&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;模型宽度为 128 时，能否用本文的等宽配置设置 6 个头？&amp;lt;/li&amp;gt;
&amp;lt;/ol&amp;gt;
&amp;lt;details class=&quot;transformer-question&quot;&amp;gt;
&amp;lt;summary&amp;gt;核对答案&amp;lt;/summary&amp;gt;
&amp;lt;ol start=&quot;4&quot;&amp;gt;
&amp;lt;li&amp;gt;两行，两个出现位置各占一行。&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;一个 Query 与一个 Key 逐特征相乘后求和。两条向量需要相同长度，才能一一配对。&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;3 × 24。权重矩阵 3 × 3 乘 V，保留 V 的 24 个特征列。&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;5 × 128。拼接时同一位置的四条 32 维向量合成一行。&amp;lt;/li&amp;gt;
&amp;lt;li&amp;gt;这个配置不成立。128 除以 6 得不到整数的单头宽度。&amp;lt;/li&amp;gt;
&amp;lt;/ol&amp;gt;
&amp;lt;/details&amp;gt;
&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;记住这几句话&lt;/h2&gt;
&lt;ol&gt;
&lt;li&gt;Tokenizer 把文本编码成 Token ID，Embedding 表把 ID 映射为向量。&lt;/li&gt;
&lt;li&gt;$X$ 的行数是 Token 数 $N$，列数是模型宽度 $d_{\text{model}}$。&lt;/li&gt;
&lt;li&gt;同一个 $X$ 经过三套投影得到 Q、K、V。Q 和 K 参与匹配，V 提供被汇总的信息。&lt;/li&gt;
&lt;li&gt;在本文的等宽配置里，单头宽度是 $d_{\text{model}}/h$。所以 128 维、4 个头的例子里，每头的 Q/K/V 都是 $3\times32$。&lt;/li&gt;
&lt;li&gt;注意力权重的行和列都对应序列位置。单头输出和拼接结果的列对应特征。&lt;/li&gt;
&lt;li&gt;在独立、零均值、单位方差的假设下，点积的标准差是 $\sqrt{d_k}$。Softmax 前除以它，可以缓和维度带来的分数差异。&lt;/li&gt;
&lt;li&gt;单头用同一套位置权重汇总该头的全部通道。多头可以先做多次不同的汇总，再通过输出投影把它们融合。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;我现在看到 $3\times128$ 和 $3\times32$，会先问行和列各在数什么。下一步可以用同一个问题读 $QK^\top$，看看两个 3 分别是谁的位置。&lt;/p&gt;
&lt;p&gt;进一步读原论文时，可以从 §3.2.1 的式（1）找出权重和 Value 汇总，再到 §3.2.2 对照每头投影、Concat 和输出投影。 &lt;a href=&quot;https://arxiv.org/abs/1706.03762&quot;&gt;Vaswani 等，《Attention Is All You Need》&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;下一篇跟着「I love cats → 我喜欢猫」读完整个 Encoder–Decoder，并用 PyTorch 写出一个能运行的小模型。 &lt;a href=&quot;/posts/transformer-notes-02/&quot;&gt;Transformer 学习笔记（二）&lt;/a&gt;&lt;/p&gt;
</content:encoded></item><item><title>Transformer 学习笔记（二）：精读《Attention Is All You Need》，从手算注意力到手写 Transformer</title><link>https://coraejones.github.io/posts/transformer-notes-02/</link><guid isPermaLink="true">https://coraejones.github.io/posts/transformer-notes-02/</guid><description>沿着 I love cats → 我喜欢猫 走完原版 Transformer。结合论文原图、手算、实验表和可运行的 PyTorch 实现，理解位置编码、Encoder、Decoder、训练与生成。</description><pubDate>Sat, 21 Nov 2026 00:00:00 GMT</pubDate><content:encoded>&lt;p&gt;把 &lt;strong&gt;I love cats&lt;/strong&gt; 翻成 &lt;strong&gt;我喜欢猫&lt;/strong&gt; 时，模型先要读懂英文。等中文已经生成到「我喜欢」，它还要判断下一个位置该放什么。前一个问题允许模型看完整的英文，后一个问题只有英文和已经生成的中文可以用。理解原版 Transformer，可以从这两个位置的&lt;strong&gt;可见范围&lt;/strong&gt;开始。&lt;/p&gt;
&lt;p&gt;&lt;a href=&quot;/posts/transformer-notes-01/&quot;&gt;第一篇学习笔记&lt;/a&gt; 从 Token 追到 Q/K/V，推导了为什么点积要除以 $\sqrt{d_k}$，也比较了一个宽头和多个窄头。这一篇把它们放回 Vaswani 等人在 2017 年提出的 Encoder–Decoder 架构，沿着同一句翻译读完训练、生成和实验，再亲手实现一个能跑的小模型。&lt;/p&gt;
&lt;p&gt;正文的手算、分词和玩具训练都标为&lt;strong&gt;教学示例&lt;/strong&gt;。论文配置和实验结果会注明出处，图表采用 NeurIPS 2017 会议版。 &lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf&quot;&gt;官方论文 PDF&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href=&quot;#03%E7%BC%A9%E6%94%BE%E7%82%B9%E7%A7%AF%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%80%8E%E6%A0%B7%E6%89%8B%E7%AE%97%E4%B8%80%E9%81%8D&quot;&gt;手算注意力&lt;/a&gt; · &lt;a href=&quot;#07decoder-%E4%B8%BA%E4%BB%80%E4%B9%88%E9%9C%80%E8%A6%81%E4%B8%A4%E7%A7%8D%E6%B3%A8%E6%84%8F%E5%8A%9B&quot;&gt;看 Decoder 的两种注意力&lt;/a&gt; · &lt;a href=&quot;#11%E5%8E%9F%E8%AE%BA%E6%96%87%E7%9A%84%E5%AE%9E%E9%AA%8C%E6%94%AF%E6%8C%81%E5%93%AA%E4%BA%9B%E7%BB%93%E8%AE%BA&quot;&gt;读论文实验&lt;/a&gt; · &lt;a href=&quot;#12%E6%80%8E%E6%A0%B7%E4%BB%8E%E5%85%AC%E5%BC%8F%E5%86%99%E5%87%BA%E6%9C%80%E5%B0%8F-transformer&quot;&gt;运行代码&lt;/a&gt; · &lt;a href=&quot;#13%E7%BB%BC%E5%90%88%E8%87%AA%E6%B5%8B&quot;&gt;综合自测&lt;/a&gt; · &lt;a href=&quot;#attention-interview&quot;&gt;课后大题&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;a id=&quot;paper-architecture&quot;&amp;gt;&amp;lt;/a&amp;gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/figure-1.png&quot; width=&quot;458&quot; height=&quot;665&quot; loading=&quot;lazy&quot; alt=&quot;原论文 Figure 1。左侧 Encoder 读取输入序列，右侧 Decoder 读取右移目标序列，中间连线把 Encoder 的输出送入 Decoder 的交叉注意力。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Figure 1，原版 Transformer 架构。来源为 Vaswani 等，NeurIPS 2017，第 3 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=3&quot;&amp;gt;在论文中查看原图&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;先读图底和中间两处。左下角的 &lt;strong&gt;Inputs&lt;/strong&gt; 是源序列，右下角的 &lt;strong&gt;Outputs (shifted right)&lt;/strong&gt; 是右移目标序列。顺着左侧最上方横跨到右侧的线，可以看到 Encoder 的输出进入 Decoder 中间的注意力模块。后面读 Decoder 时，重点就落在这条线送来什么，以及它和右下角的序列如何配合。&lt;/p&gt;
&lt;h2&gt;00｜序列为什么能写成一张矩阵&lt;/h2&gt;
&lt;p&gt;假设 Tokenizer 把「I love cats」编成三个 Token，词表大小为 $|\mathcal V|$，Embedding 宽度选 4。词表负责把 Token 映射为 ID，Embedding 表 $E\in\mathbb R^{|\mathcal V|\times4}$ 负责把 ID 映射为向量。取出三个 ID 对应的三行，就得到一张 $3\times4$ 的输入矩阵。词表里可供选取的行数与一次选出的行数分别是 $|\mathcal V|$ 和 3。&lt;/p&gt;
&lt;p&gt;$$
X=
\begin{bmatrix}
1&amp;amp;0&amp;amp;0&amp;amp;1\
0&amp;amp;1&amp;amp;1&amp;amp;0\
1&amp;amp;1&amp;amp;0&amp;amp;0
\end{bmatrix}.
$$&lt;/p&gt;
&lt;p&gt;这是便于手算的教学矩阵。三行依次对应 I、love、cats，四列对应四个特征。Linear 层可以用同一套权重改写每行的特征。ReLU 把负数截成 0，为两次线性变换之间引入非线性。Residual 把子层输入加回输出，保留一条直达路径。LayerNorm 在&lt;strong&gt;单个位置的特征轴&lt;/strong&gt;上计算均值和方差，再做可学习的缩放与平移。&lt;/p&gt;
&lt;p&gt;后面会频繁遇到两种乘法。$XW$ 沿特征轴做线性投影，通常保留位置数。$QK^\top$ 逐对比较 Query 和 Key，结果的一行是一条 Query 对所有 Key 的分数。Softmax 沿这一行的 Key 轴归一化，让它成为当前查询的权重分配。&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜位置轴、特征轴和词表&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;$Q$ 是 $3\times2$、$K$ 是 $4\times2$，$QK^\top$ 是什么形状？&lt;strong&gt;$3\times4$&lt;/strong&gt;。每个 Query 都和四个 Key 做一次长度为 2 的点积。&lt;/li&gt;
&lt;li&gt;对分数矩阵逐行做 Softmax，每行和是多少？&lt;strong&gt;1&lt;/strong&gt;。每行至少要有一个可见且有限的分数。&lt;/li&gt;
&lt;li&gt;为什么一个 Token 的向量长度可以远小于词表大小？Embedding 取的是表中的一行，词表大小决定行数，向量宽度由模型设定。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;01｜Transformer 想绕过哪一条顺序依赖&lt;/h2&gt;
&lt;p&gt;在 Seq2Seq 翻译中，Encoder 接收源句，Decoder 在源句表示和译文前缀的条件下预测目标 Token。传统 RNN 的一个位置用 $h_t=f(x_t,h_{t-1})$ 更新隐藏状态。即使训练时已知整句英文，也要先有 $h_{t-1}$ 才能算 $h_t$。LSTM 改进了信息怎么沿时间传递，计算仍然依赖前一个时间步。&lt;/p&gt;
&lt;p&gt;Self-Attention 让 love 在同一层里直接与 I 和 cats 的表示匹配。只要这一层的输入都已准备好，同层各位置的 Q/K/V 投影和点积就可以批量计算。源句中的信息因此不必按词依次传递。训练时目标前缀也已知，可以一次算出它的各位置。推理时生成前缀本身仍有依赖，生成「喜欢」之后，下一步才拿得到它。论文主要用 WMT 2014 英德、英法机器翻译检验架构。 &lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=1&quot;&gt;原论文 §1–2&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜训练能并行，为什么还要逐步翻译？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;RNN 同层多个位置在训练时为何相互等待？$h_t$ 的计算直接读取 $h_{t-1}$。&lt;/li&gt;
&lt;li&gt;Transformer Decoder 为什么仍然通常逐 Token 生成？下一步的真实输入来自模型上一步生成的 Token。&lt;/li&gt;
&lt;li&gt;论文用什么任务验证架构？以 WMT 2014 英德和英法机器翻译为主，另报告英语成分句法分析。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;02｜Attention 怎样查找并汇总信息&lt;/h2&gt;
&lt;p&gt;如果在更新 love 的表示，可以把它的 Query 当作这次匹配使用的特征，把三个位置的 Key 当作待比较的特征。每个 Key 都有一条对应的 Value。算出分数并归一化后，用权重汇总的是 Value。这样匹配所需的表示和实际传回的内容就可以分别学习。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/figure-2-scaled-attention.png&quot; width=&quot;300&quot; height=&quot;368&quot; loading=&quot;lazy&quot; alt=&quot;Figure 2 左。Q 与 K 先做矩阵乘法，经过缩放、可选掩码与 Softmax，再同 V 做矩阵乘法。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Figure 2 左，缩放点积注意力。来源为 Vaswani 等，NeurIPS 2017，第 4 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=4&quot;&amp;gt;在论文中查看原图&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;先找最下面和最上面的两个 &lt;strong&gt;MatMul&lt;/strong&gt;。下面一个只接 Q 与 K，算出位置对之间的匹配分数。沿右侧的 V 往上看，它直到上面一个 MatMul 才进入计算。这时分数已经过 Softmax，V 提供的是加权求和用的内容。&lt;/p&gt;
&lt;p&gt;在同一层的 Self-Attention 中，$Q=XW_Q$、$K=XW_K$、$V=XW_V$ 都读同一份 $X$，三套投影分别学习。一个较大的权重意味着当前这一步汇总更看重对应的 Value，但预测还受 Value、其他头、输出投影和后续层影响。要论证某个 Token 对最终预测的因果作用，还需要干预或对照。&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜追踪一行 Query&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;为什么最后乘 V？K 决定匹配分数，V 提供该位置实际参与求和的特征。&lt;/li&gt;
&lt;li&gt;为什么 love 的输出能包含 cats 的信息？cats 的 Value 可以在这行加权和中占有非零权重。&lt;/li&gt;
&lt;li&gt;一行注意力权重应该满足什么性质？对于有可见位置的行，权重非负，行和为 1。被屏蔽的 Key 权重为 0。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;03｜缩放点积注意力怎样手算一遍&lt;/h2&gt;
&lt;p&gt;设 Query 有 $m$ 个位置，Key 和 Value 共用 $n$ 个位置。$d_k$ 是 Query 与 Key 的特征宽度，$d_v$ 是 Value 的特征宽度。按第 02 章的路径，先算每对 Q、K 的点积，再决定哪几个位置可以参与汇总。 &lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=4&quot;&gt;原论文 §3.2.1，式（1）&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;$$
\begin{aligned}
S &amp;amp;= QK^\top/\sqrt{d_k} \
A &amp;amp;= \operatorname{softmax}_{\mathrm{key}}(S+M) \
H &amp;amp;= AV .
\end{aligned}
$$&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;步骤&lt;/th&gt;
&lt;th&gt;形状&lt;/th&gt;
&lt;th&gt;读法&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;点积&lt;/td&gt;
&lt;td&gt;$(m,d_k)(d_k,n)\to(m,n)$&lt;/td&gt;
&lt;td&gt;一行查全部 Key&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;缩放&lt;/td&gt;
&lt;td&gt;$(m,n)$&lt;/td&gt;
&lt;td&gt;每个分数除以 $\sqrt{d_k}$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;可选 Mask&lt;/td&gt;
&lt;td&gt;$(m,n)$&lt;/td&gt;
&lt;td&gt;$M_{ij}=0$ 表示允许，$-\infty$ 表示禁止&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Softmax&lt;/td&gt;
&lt;td&gt;$(m,n)$&lt;/td&gt;
&lt;td&gt;每个 Query 的权重沿 Key 轴和为 1&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;加权求和&lt;/td&gt;
&lt;td&gt;$(m,n)(n,d_v)\to(m,d_v)$&lt;/td&gt;
&lt;td&gt;每个 Query 得到一条 $d_v$ 维向量&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;缩放的出发点是控制分数的波动。在分量相互独立、均值 0、方差 1 的简化模型中，点积方差为 $d_k$，标准差为 $\sqrt{d_k}$。除以 $\sqrt{d_k}$ 可以稳定分数的典型尺度，缓解维度增大带来的 Softmax 饱和。真实的 Q/K 分布会随模型、层和输入变化。 &lt;a href=&quot;/posts/transformer-notes-01/#%E4%B8%BA%E4%BB%80%E4%B9%88%E8%A6%81%E5%9C%A8-softmax-%E5%89%8D%E9%99%A4%E4%BB%A5%E6%A0%B9%E5%8F%B7-d_k&quot;&gt;第一篇的方差推导与数字对照&lt;/a&gt;&lt;/p&gt;
&lt;h3&gt;手算一个 Query，两条 Key&lt;/h3&gt;
&lt;p&gt;令 $q=[1,0]$、$k_1=[1,0]$、$k_2=[0,1]$，$v_1=[2,0]$、$v_2=[0,4]$。这是一组教学示例，暂时允许 Query 看见两个位置。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;点积给出 $[1,0]$。第一条 Key 与 $q$ 对齐，第二条与 $q$ 正交。&lt;/li&gt;
&lt;li&gt;$d_k=2$，因此缩放后的分数是 $[1/\sqrt{2},0]\approx[0.7071,0]$。&lt;/li&gt;
&lt;li&gt;Softmax 权重为 $[e^{1/\sqrt{2}},1]/(e^{1/\sqrt{2}}+1)\approx[0.6698,0.3302]$。&lt;/li&gt;
&lt;li&gt;输出是 $0.6698[2,0]+0.3302[0,4]\approx[1.3395,1.3210]$。形状是 $1\times2$。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;如果只允许看第一条 Key，分数变成 $[1/\sqrt{2},-\infty]$，权重变成 $[1,0]$，输出随之变为 $[2,0]$。&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;import math
import torch

q = torch.tensor([[1.0, 0.0]])
k = torch.tensor([[1.0, 0.0], [0.0, 1.0]])
v = torch.tensor([[2.0, 0.0], [0.0, 4.0]])
scores = torch.matmul(q, k.T) / math.sqrt(q.shape[-1])
weights = torch.softmax(scores, dim=-1)
out = torch.matmul(weights, v)
assert out.shape == (1, 2)
torch.testing.assert_close(out, torch.tensor([[1.339523, 1.320954]]))
&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜沿哪条轴归一化？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;为什么沿 Key 轴做 Softmax？每个 Query 都要独立决定自己从哪些 Key 对应的 Value 取信息。&lt;/li&gt;
&lt;li&gt;为什么宽度翻四倍时分母只翻两倍？在推导的假设下，方差随宽度线性增长，标准差取方差的平方根。&lt;/li&gt;
&lt;li&gt;Q 的位置数可以和 K/V 不同吗？可以。每个 Query 都匹配全部 Key。K 和 V 的位置数须相同，才能把权重乘到对应的 Value 上。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;04｜为什么要把注意力分成多个头&lt;/h2&gt;
&lt;p&gt;一个头为每个查询位置算出一套位置权重，再用这套权重聚合该头的全部 Value 通道。多个头拥有各自的投影，所以能为同一个查询位置分别选择位置权重。比如某个头给 I 较高权重，另一个头给 cats 较高权重，最后再融合两份信息。这里的分工只用于说明机制，训练出来的头可以有相似的权重分布。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/figure-2-multihead.png&quot; width=&quot;313&quot; height=&quot;417&quot; loading=&quot;lazy&quot; alt=&quot;Figure 2 右。多组 Linear 投影分别进入多个并行的缩放点积注意力头，经 Concat 和最终 Linear 得到输出。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Figure 2 右，多头注意力。来源为 Vaswani 等，NeurIPS 2017，第 4 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=4&quot;&amp;gt;在论文中查看原图&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;看图底重叠的 &lt;strong&gt;Linear&lt;/strong&gt; 和中间重叠的 &lt;strong&gt;Scaled Dot-Product Attention&lt;/strong&gt;，每一层叠片代表一套投影和汇总。最上面的 &lt;strong&gt;Concat&lt;/strong&gt; 把各头的特征并排放好，最后一个 &lt;strong&gt;Linear&lt;/strong&gt; 用新的权重混合这些特征。若在代码中一次投影出所有头，再拆开最后一维，拆分的是投影后的结果。&lt;/p&gt;
&lt;p&gt;$$
\begin{aligned}
H_j &amp;amp;= \operatorname{Attention}(XW_j^Q,XW_j^K,XW_j^V) \
\operatorname{MHA}(X) &amp;amp;= \operatorname{Concat}(H_1,\dots,H_h)W^O.
\end{aligned}
$$&lt;/p&gt;
&lt;p&gt;上式写的是 Self-Attention。在论文 Base 配置下，$d_{\mathrm{model}}=512$、$h=8$，每头 $d_k=d_v=64$。三个位置的输入是 $3\times512$，每头的 $W_j^Q$、$W_j^K$、$W_j^V$ 都是 $512\times64$，每头权重是 $3\times3$，每头输出是 $3\times64$。沿特征轴拼接得到 $3\times512$，再右乘 $512\times512$ 的 $W^O$，可在列之间做跨头的线性混合，输出仍然是 $3\times512$。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS2.SSS2&quot;&gt;原论文 §3.2.2&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜从八个头变成十六个头&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;八个头共用一套 Q/K/V 参数吗？它们有各自的参数，即使实现时将参数存进同一个大矩阵。&lt;/li&gt;
&lt;li&gt;拼接已经凑够 512 维，$W^O$ 还有什么用？拼接保留各头通道，输出投影可以用多个头的通道共同构造新的每个特征。&lt;/li&gt;
&lt;li&gt;总宽保持 512，平均分 16 个头，每头多少维？&lt;strong&gt;32&lt;/strong&gt;。每头仍为三个查询位置各算一组权重。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;05｜没有循环，顺序从哪里来&lt;/h2&gt;
&lt;p&gt;如果只看全可见的 Self-Attention，并且输入里没有任何位置信息，交换 I 与 cats 两行，输出也只是交换相应两行。设 $P$ 为换行的置换矩阵，逐行投影使 $Q$、$K$、$V$ 分别变成 $PQ$、$PK$、$PV$。分数矩阵变成 $P(QK^\top)P^\top$，因此逐行 Softmax 后，行和列也一同置换。最终的输出是 $(PAP^\top)(PV)=P(AV)$。这种性质叫&lt;strong&gt;置换等变&lt;/strong&gt;。这里分析的是无位置相关掩码的情况。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/figure-1-positions.png&quot; width=&quot;470&quot; height=&quot;178&quot; loading=&quot;lazy&quot; alt=&quot;Figure 1 底部局部。输入与右移目标各自经过 Embedding，并在加号处加入 Positional Encoding。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Figure 1 底部局部，Embedding 与位置编码的相加位置。来源为 Vaswani 等，NeurIPS 2017，第 3 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=3&quot;&amp;gt;在论文中查看原图&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;看两个 &lt;strong&gt;⊕&lt;/strong&gt;。源端和目标端都先查 Embedding，再把同宽的位置向量加进去。这样矩阵形状维持在 $n\times d_{\mathrm{model}}$，后面的投影从数值里同时读到词和位置，Attention 的公式也可以原样使用。论文对正弦和余弦成对使用同一频率。$pos$ 数序列位置，$i$ 数频率对的编号。 &lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=6&quot;&gt;原论文 §3.5&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;$$
\begin{aligned}
PE(pos,2i) &amp;amp;= \sin(pos/10000^{2i/d_{\mathrm{model}}}),\
PE(pos,2i+1) &amp;amp;= \cos(pos/10000^{2i/d_{\mathrm{model}}}).
\end{aligned}
$$&lt;/p&gt;
&lt;h3&gt;四维位置编码的手算&lt;/h3&gt;
&lt;p&gt;取 $d_{\mathrm{model}}=4$，第一对频率的角度是 $pos$，第二对是 $pos/100$。前一对在相邻位置之间变化明显，后一对变化较慢。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;位置&lt;/th&gt;
&lt;th&gt;第一对 $\sin,\cos$&lt;/th&gt;
&lt;th&gt;第二对 $\sin,\cos$&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;0&lt;/td&gt;
&lt;td&gt;$(0,1)$&lt;/td&gt;
&lt;td&gt;$(0,1)$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;1&lt;/td&gt;
&lt;td&gt;$(0.84147,0.54030)$&lt;/td&gt;
&lt;td&gt;$(0.01000,0.99995)$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;2&lt;/td&gt;
&lt;td&gt;$(0.90930,-0.41615)$&lt;/td&gt;
&lt;td&gt;$(0.02000,0.99980)$&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;对任意一个频率 $\omega$，记 $\theta=\omega,pos$。位置向后移 $k$ 时，角度统一加上 $\delta=\omega k$。根据和角公式，可以用一个只取决于偏移量的线性变换表示新的位置向量。&lt;/p&gt;
&lt;h1&gt;$$
\begin{bmatrix}\sin(\theta+\delta)\\cos(\theta+\delta)\end{bmatrix}&lt;/h1&gt;
&lt;p&gt;\begin{bmatrix}\cos\delta&amp;amp;\sin\delta\-\sin\delta&amp;amp;\cos\delta\end{bmatrix}
\begin{bmatrix}\sin\theta\\cos\theta\end{bmatrix}.
$$&lt;/p&gt;
&lt;p&gt;作者据此推测模型较容易学习相对偏移，也可能外推到训练中未见的长度。表 3 的学习位置向量对照是在指定开发集上做的比较，任意长度外推仍需要单独验证。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS5&quot;&gt;原论文 §3.5&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜位置信息怎样到达分数矩阵？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;$pos$ 与 $i$ 各指什么？$pos$ 是 Token 位置，$i$ 是成对的正弦和余弦通道编号。&lt;/li&gt;
&lt;li&gt;为什么 PE 与 Embedding 同维？它们按对应位置和特征逐项相加。&lt;/li&gt;
&lt;li&gt;PE 在哪里改变分数？它先参加 $X$，再经 $W_Q$、$W_K$ 改变 Q/K，最后改变 $QK^\top$。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;06｜Encoder 怎样让三个词互相提供上下文&lt;/h2&gt;
&lt;p&gt;进入 Encoder 的每个位置都是词向量与位置向量之和。每层先做全源句的 Self-Attention，再对更新后的每个位置做 FFN。原论文把这种结构堆叠 6 层。每层结构一致，各层参数各自学习。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3&quot;&gt;原论文 §3.1、§3.3&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/figure-1-encoder.png&quot; width=&quot;285&quot; height=&quot;499&quot; loading=&quot;lazy&quot; alt=&quot;Figure 1 左侧局部。Encoder 层先做 Multi-Head Attention 和 Add &amp;amp; Norm，再做 Feed Forward 和 Add &amp;amp; Norm。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Figure 1 左侧局部，Encoder。来源为 Vaswani 等，NeurIPS 2017，第 3 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=3&quot;&amp;gt;在论文中查看原图&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;顺着左边的三个输入箭头看。橙色块的 Q/K/V 都来自同一层的输入。两个绕过子层的外侧箭头是残差，走到黄色 &lt;strong&gt;Add &amp;amp; Norm&lt;/strong&gt; 时再与子层结果相加。蓝色的 &lt;strong&gt;Feed Forward&lt;/strong&gt; 对每个位置独立使用同一套层内参数。&lt;/p&gt;
&lt;p&gt;$$
\begin{aligned}
x_1 &amp;amp;= \operatorname{LN}(x+\operatorname{Dropout}(\operatorname{MHA}(x)))\
x_2 &amp;amp;= \operatorname{LN}(x_1+\operatorname{Dropout}(\operatorname{FFN}(x_1))).
\end{aligned}
$$&lt;/p&gt;
&lt;p&gt;LayerNorm 位于残差相加之后，这一顺序称为 &lt;strong&gt;Post-LN&lt;/strong&gt;。在 Base 中，FFN 对每个位置做 $512\to2048\to512$，中间用 ReLU。以三个源位置为例，FFN 的中间形状是 $3\times2048$，相加前回到 $3\times512$。因此位置数保持为 3，变化的是每一行的内容。Encoder 最终输出 $Z\in\mathbb R^{3\times512}$，供 Decoder 使用。&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜分清注意力和 FFN 的职责&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;为什么 FFN 不直接交换 Token 间的信息？同一套 FFN 分别作用在每行，每行的计算只读取自己的输入。&lt;/li&gt;
&lt;li&gt;残差相加为什么要求维度一致？对应位置和特征需要一一相加，所以 FFN 最后一层投回模型宽度。&lt;/li&gt;
&lt;li&gt;六个 Encoder Layer 参数完全共享吗？各层有各自的参数。共享发生在同一层的 FFN 对不同位置应用同一函数时。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;07｜Decoder 为什么需要两种注意力&lt;/h2&gt;
&lt;p&gt;在生成「猫」之前，Decoder 已经有开头标记和「我 喜欢」。它首先在这段中文内部更新每个位置，再拿更新后的中文表示去查英文。前一次汇总回答「中文已说了什么」，后一次回答「当前要从英文取什么」。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS2.SSS3&quot;&gt;原论文 §3.1、§3.2.3&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/figure-1-decoder.png&quot; width=&quot;285&quot; height=&quot;781&quot; loading=&quot;lazy&quot; alt=&quot;Figure 1 右侧局部。Decoder 底部是带掩码的自注意力，中间块接收 Encoder 输出和 Decoder 中间状态，再经过 FFN 和词表投影。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Figure 1 右侧局部，Decoder。来源为 Vaswani 等，NeurIPS 2017，第 3 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=3&quot;&amp;gt;在论文中查看原图&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;读图时先看两个橙色块。下方的 &lt;strong&gt;Masked Multi-Head Attention&lt;/strong&gt; 三条线都来自目标序列。中间的 &lt;strong&gt;Multi-Head Attention&lt;/strong&gt; 有两路从左侧进入，它们把 $Z$ 作为 K、V 的输入。来自下方 Decoder 的那一路提供 Q。这两块各自有 Add &amp;amp; Norm，最后还有一个 FFN 和 Add &amp;amp; Norm。原版 Decoder 也堆叠 6 层，每层都能读取最终 Encoder 表示。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;注意力&lt;/th&gt;
&lt;th&gt;Q 来自&lt;/th&gt;
&lt;th&gt;K/V 来自&lt;/th&gt;
&lt;th&gt;可见范围&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Encoder 自注意力&lt;/td&gt;
&lt;td&gt;当前层的源位置&lt;/td&gt;
&lt;td&gt;同一份源表示&lt;/td&gt;
&lt;td&gt;全部有效源位置&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Decoder 掩码自注意力&lt;/td&gt;
&lt;td&gt;当前层的目标位置&lt;/td&gt;
&lt;td&gt;同一份目标表示&lt;/td&gt;
&lt;td&gt;当前及之前的有效目标位置&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Encoder–Decoder 交叉注意力&lt;/td&gt;
&lt;td&gt;Decoder 的中间状态&lt;/td&gt;
&lt;td&gt;Encoder 最终输出 $Z$&lt;/td&gt;
&lt;td&gt;全部有效源位置&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h3&gt;因果掩码长什么样&lt;/h3&gt;
&lt;p&gt;行是目标查询位置，列是目标 Key 位置。用加性掩码时，允许的位置加 0，禁止的位置加 $-\infty$，Softmax 后后者的权重为 0。&lt;/p&gt;
&lt;p&gt;$$
M=
\begin{bmatrix}
0&amp;amp;-\infty&amp;amp;-\infty&amp;amp;-\infty\
0&amp;amp;0&amp;amp;-\infty&amp;amp;-\infty\
0&amp;amp;0&amp;amp;0&amp;amp;-\infty\
0&amp;amp;0&amp;amp;0&amp;amp;0
\end{bmatrix}.
$$&lt;/p&gt;
&lt;p&gt;例如索引 2 的查询只允许看 0、1、2。这个三角掩码规定的是&lt;strong&gt;目标序列内的时间顺序&lt;/strong&gt;。Padding mask 则负责去掉批处理中补齐的空位置，两者可以同时生效。&lt;/p&gt;
&lt;p&gt;交叉注意力可以是长方形。若源句有 $n=3$ 个位置，目标前缀当前有 $m=2$ 个位置，则 Base 的每个头用 $Q\in\mathbb R^{2\times64}$ 匹配 $K\in\mathbb R^{3\times64}$，得到 $2\times3$ 的权重矩阵。乘 $3\times64$ 的 V 得到 $2\times64$。拼接八头之后还保留两个&lt;strong&gt;目标&lt;/strong&gt;位置，输出宽度为 512。&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜三种注意力各从哪里取数据？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;画出 $4\times4$ 因果掩码。用上面的矩阵核对，行 $i$ 对 $j&amp;gt;i$ 的列赋 $-\infty$。&lt;/li&gt;
&lt;li&gt;为什么交叉注意力的 Q 来自 Decoder？由当前译文状态决定该查英文的哪些位置，英文表示提供 K 和 V。&lt;/li&gt;
&lt;li&gt;为什么不能直接用 Encoder 输出当 Decoder 输入？Decoder 输入承担「已知译文前缀」这一条件，需要在目标位置上形成查询，它与源序列在长度和作用上都可以不同。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;08｜同一句话在训练和生成时怎么走&lt;/h2&gt;
&lt;p&gt;这次明确规定教学分词。源句是 &lt;strong&gt;I / love / cats&lt;/strong&gt;，译文是 &lt;strong&gt;我 / 喜欢 / 猫&lt;/strong&gt;，另用 &lt;strong&gt;BOS&lt;/strong&gt; 表示开始、&lt;strong&gt;EOS&lt;/strong&gt; 表示结束。Encoder 先读入三个英文 Token 得到 $Z$。训练和生成都让目标端查询同一个 $Z$，区别在于已知的目标前缀从哪里来。&lt;/p&gt;
&lt;h3&gt;训练时，一次预测四个位置&lt;/h3&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;位置索引&lt;/th&gt;
&lt;th&gt;0&lt;/th&gt;
&lt;th&gt;1&lt;/th&gt;
&lt;th&gt;2&lt;/th&gt;
&lt;th&gt;3&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;喂给 Decoder&lt;/td&gt;
&lt;td&gt;BOS&lt;/td&gt;
&lt;td&gt;我&lt;/td&gt;
&lt;td&gt;喜欢&lt;/td&gt;
&lt;td&gt;猫&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;要预测的标签&lt;/td&gt;
&lt;td&gt;我&lt;/td&gt;
&lt;td&gt;喜欢&lt;/td&gt;
&lt;td&gt;猫&lt;/td&gt;
&lt;td&gt;EOS&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;索引 2 的输入是「喜欢」，标签是「猫」。用上一章的因果掩码，这一行可以读到 BOS、我、喜欢。虽然「猫」在同一个输入矩阵的下一行，掩码会阻断这一行读取它的路径。所有位置的输入在训练时已经准备好，因此可以一次计算四行 logits，每行按照自己的可见范围汇总信息。这就是 &lt;strong&gt;Teacher Forcing&lt;/strong&gt; 下的右移。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/figure-1-vocabulary.png&quot; width=&quot;255&quot; height=&quot;238&quot; loading=&quot;lazy&quot; alt=&quot;Figure 1 顶部局部。Decoder 的输出经 Linear 和 Softmax 得到 Output Probabilities。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Figure 1 顶部局部，词表投影与输出概率。来源为 Vaswani 等，NeurIPS 2017，第 3 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=3&quot;&amp;gt;在论文中查看原图&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;看最上方的 &lt;strong&gt;Linear → Softmax&lt;/strong&gt;。每个目标位置的表示有 512 维，Linear 把它投影成 $|\mathcal V_{\mathrm{tgt}}|$ 个 logits，每个目标词表项一个分数。这里 Softmax 归一化的是&lt;strong&gt;词表轴&lt;/strong&gt;。注意力内部的 Softmax 归一化的是 Key 的位置轴。训练时交叉熵可以直接读取 logits，由损失函数内部完成 log-softmax。&lt;/p&gt;
&lt;h3&gt;生成时，把上一步的输出接到前缀&lt;/h3&gt;
&lt;ol&gt;
&lt;li&gt;用 BOS 和 $Z$ 求下一 Token 的分布，取出「我」。&lt;/li&gt;
&lt;li&gt;用 BOS、我 和 $Z$ 预测「喜欢」。&lt;/li&gt;
&lt;li&gt;继续得到「猫」，再生成 EOS，结束。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;这是模型每步都选对的教学示例。真实推理只能使用已生成的前缀，一次选错也会改变后续输入。源句没变，$Z$ 可以复用。完整模型一次走过哪些模块，可以对照篇首的&lt;a href=&quot;#paper-architecture&quot;&gt;架构总图&lt;/a&gt;。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S3.SS4&quot;&gt;原论文 §3.4&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜下一词概率从哪里来？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;训练已经知道译文，怎么防止标签泄漏？依靠输入右移和每层因果掩码。对第 $i$ 个标签而言，该标签在右移输入的未来位置。&lt;/li&gt;
&lt;li&gt;为什么 $Z$ 可以多步复用？它只依赖同一条源句。&lt;/li&gt;
&lt;li&gt;为什么输出最后一维是词表大小？每一行要为所有候选下一个 Token 各给一个分数。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;09｜模型怎样从预测里学到参数&lt;/h2&gt;
&lt;p&gt;训练从右移输入得到 logits，在每个有效目标位置计算交叉熵。以普通的 one-hot 标签为例，目标词概率为 $p(y_t)$ 时，该位置的损失是 $-\log p(y_t)$。整句损失可以在有效位置上取平均，补齐用的 PAD 不计入。模型的 Q/K/V 投影、Embedding、FFN 和其他权重沿这条损失的梯度一起更新。&lt;/p&gt;
&lt;h3&gt;原论文训练设置沿哪条路径起作用&lt;/h3&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;设置&lt;/th&gt;
&lt;th&gt;在哪里起作用&lt;/th&gt;
&lt;th&gt;论文配置或用意&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;参数共享&lt;/td&gt;
&lt;td&gt;输入 Embedding、输出 Embedding 和词表投影&lt;/td&gt;
&lt;td&gt;§3.4 描述共享权重矩阵。词表投影可用转置，Embedding 侧另乘 $\sqrt{d_{\mathrm{model}}}$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Adam&lt;/td&gt;
&lt;td&gt;梯度算出之后&lt;/td&gt;
&lt;td&gt;$\beta_1=0.9$、$\beta_2=0.98$、$\epsilon=10^{-9}$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Warmup&lt;/td&gt;
&lt;td&gt;每一步的学习率&lt;/td&gt;
&lt;td&gt;前 4,000 步线性升高，之后按步数平方根的倒数衰减&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Dropout&lt;/td&gt;
&lt;td&gt;子层输出加回残差之前，以及 Embedding 与位置编码之和&lt;/td&gt;
&lt;td&gt;Base 的比率为 0.1&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Label Smoothing&lt;/td&gt;
&lt;td&gt;交叉熵中的目标分布&lt;/td&gt;
&lt;td&gt;$\epsilon_{\mathrm{ls}}=0.1$，把少量目标概率分给其他候选。作者报告 PPL 变差，同一设定下准确率和 BLEU 改善&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Beam Search&lt;/td&gt;
&lt;td&gt;推理期间保留多个候选前缀&lt;/td&gt;
&lt;td&gt;Beam size 为 4，长度惩罚系数 $\alpha=0.6$&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;如果共享的 Embedding 矩阵写作 $E\in\mathbb R^{|\mathcal V|\times d_{\mathrm{model}}}$，输入可以按 ID 取一行，输出可以把隐藏表示右乘 $E^\top$ 得到词表分数。共享源端和目标端要求索引与词表兼容。原论文英德训练使用约 450 万个句对和约 37,000 项的共享 BPE 词表，按近似长度组织批次。报告中的 Base 在 8 张 P100 上训练 100,000 步，约 12 小时。Big 训练 300,000 步，约 3.5 天。这些耗时属于论文的硬件和配置。 &lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=7&quot;&gt;原论文 §3.4、§5 与 §6.1&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;设 $t$ 是从 1 开始的步数，$w=4000$。学习率公式中的两个候选值恰好在 $t=w$ 相交。&lt;/p&gt;
&lt;p&gt;$$
\operatorname{lr}(t)=d_{\mathrm{model}}^{-1/2}
\min\left(t^{-1/2},,t,w^{-3/2}\right).
$$&lt;/p&gt;
&lt;p&gt;当 $t&amp;lt;w$，第二项更小，学习率随 $t$ 线性增加。当 $t&amp;gt;w$，第一项更小，学习率随 $t^{-1/2}$ 下降。用 Base 的 512 维计算，第 4,000 步峰值约为 $6.99\times10^{-4}$。Label Smoothing 改的是目标分布，Beam Search 改的是解码时搜索的候选。它们分别在损失和推理环节发挥作用。&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜分清优化、损失和解码&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Warmup 前后怎么变化？4,000 步前取随步数线性增长的一支，之后取平方根倒数衰减的一支。&lt;/li&gt;
&lt;li&gt;Label Smoothing 为什么会改变学习效果？目标分布更平滑，训练不再要求把所有目标概率都压到一个词上。&lt;/li&gt;
&lt;li&gt;Teacher Forcing 和生成的输入有何区别？训练前缀来自真实译文，生成前缀由模型自己产生。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;10｜Self-Attention 的优势与代价是什么&lt;/h2&gt;
&lt;p&gt;论文比较了三件事。&lt;strong&gt;计算复杂度&lt;/strong&gt;数一层要做多少工作，&lt;strong&gt;顺序操作数&lt;/strong&gt;数有多少步骤相互等待，&lt;strong&gt;最长路径&lt;/strong&gt;取所有位置对之间信息传递路径长度的最大值。并行性来自第二项，远位置能否在同一层连接来自第三项。&lt;/p&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/table-1.png&quot; width=&quot;750&quot; height=&quot;235&quot; loading=&quot;lazy&quot; alt=&quot;论文 Table 1，比较全局注意力、循环层、卷积层、受限注意力的计算量、顺序操作数和最长依赖路径。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Table 1，层的理论复杂度对照。来源为 Vaswani 等，NeurIPS 2017，第 6 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=6&quot;&amp;gt;在论文中查看原表&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;先看原表的 &lt;strong&gt;Self-Attention&lt;/strong&gt; 行。它在顺序操作与最长路径两列都是 $O(1)$，计算量是 $O(n^2d)$。一个查询直接与所有 Key 匹配，故路径短。总共要匹配 $n^2$ 对，故工作量随长度二次增长。再看 &lt;strong&gt;Recurrent&lt;/strong&gt; 行，逐位置传递导致 $O(n)$ 的顺序操作和最长路径。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;层类型&lt;/th&gt;
&lt;th&gt;每层计算量&lt;/th&gt;
&lt;th&gt;顺序操作&lt;/th&gt;
&lt;th&gt;最长路径&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;全局 Self-Attention&lt;/td&gt;
&lt;td&gt;$O(n^2d)$&lt;/td&gt;
&lt;td&gt;$O(1)$&lt;/td&gt;
&lt;td&gt;$O(1)$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;循环层&lt;/td&gt;
&lt;td&gt;$O(nd^2)$&lt;/td&gt;
&lt;td&gt;$O(n)$&lt;/td&gt;
&lt;td&gt;$O(n)$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;卷积层&lt;/td&gt;
&lt;td&gt;$O(knd^2)$&lt;/td&gt;
&lt;td&gt;$O(1)$&lt;/td&gt;
&lt;td&gt;$O(\log_k n)$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;局部 Self-Attention&lt;/td&gt;
&lt;td&gt;$O(rnd)$&lt;/td&gt;
&lt;td&gt;$O(1)$&lt;/td&gt;
&lt;td&gt;$O(n/r)$&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;$n$ 是序列长度，$d$ 是表示宽度，$k$ 是卷积核宽度，$r$ 是受限注意力的邻域大小。卷积的对数路径对应论文讨论的&lt;strong&gt;空洞卷积&lt;/strong&gt;。表里的注意力项描述位置两两匹配与汇总，完整多头层还要算投影，Encoder 和 Decoder 也有 FFN。以 $n=128,d=512$ 为例，仅比较表中两项有 $n^2d&amp;lt;nd^2$。$n$ 超过 $d$ 后这个不等式反转。若为每个头显式保存 $n\times n$ 的权重，序列长一倍，权重元素数就增为四倍。实际耗时还取决于内存、硬件和实现。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S4&quot;&gt;原论文 §4&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜路径很短，为什么开销仍会很大？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;同一层的 Self-Attention 为什么可以并行？所有位置的投影可由该层输入一起求出，再批量计算任意位置对。&lt;/li&gt;
&lt;li&gt;二次开销来自哪里？每个 Query 都对所有 Key 打分，共 $n\times n$ 对。&lt;/li&gt;
&lt;li&gt;$O(1)$ 最长路径表示只用常数次计算吗？它数两个位置之间经过几个操作层级。所有位置对同时出现时，计算量仍随 $n$ 增长。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;11｜原论文的实验支持哪些结论&lt;/h2&gt;
&lt;h3&gt;Table 2｜翻译表现和训练成本&lt;/h3&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/table-2.png&quot; width=&quot;750&quot; height=&quot;338&quot; loading=&quot;lazy&quot; alt=&quot;NeurIPS 2017 版 Table 2。Transformer Base 的英德和英法 BLEU 分别为 27.3、38.1，Big 分别为 28.4、41.0。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Table 2，WMT 2014 newstest2014 翻译结果。来源为 Vaswani 等，NeurIPS 2017，第 8 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=8&quot;&amp;gt;在论文中查看原表&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;先确定语言方向，再看最下面两行。&lt;strong&gt;英德&lt;/strong&gt;实验中，Base 为 &lt;strong&gt;27.3&lt;/strong&gt;，Big 为 &lt;strong&gt;28.4&lt;/strong&gt;，表中先前最佳集成为 ConvS2S Ensemble 的 &lt;strong&gt;26.36&lt;/strong&gt;。Big 高出约 2.04 BLEU。&lt;strong&gt;英法&lt;/strong&gt;实验中，会议版 Big 为 &lt;strong&gt;41.0&lt;/strong&gt;，高于该表所列此前的单模型结果。表内英法最佳集成是 &lt;strong&gt;41.29&lt;/strong&gt;，因此会议版的英法结论要保留「单模型」这一比较范围。&lt;/p&gt;
&lt;p&gt;BLEU 以生成译文与参考译文的 $n$-gram 重合度为基础，另对过短的译文施加惩罚。同一个分数要结合分词、参考译文和测试集理解。原表的 Training Cost 是作者按训练时长、GPU 数量和估计的单卡持续浮点吞吐换算出的 FLOPs。右侧成本列报告的是训练计算量估计。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;版本核对。&lt;/strong&gt; 会议版摘要、Table 2 和 §6.1 对 Big 的英法 BLEU 均为 &lt;strong&gt;41.0&lt;/strong&gt;。arXiv v7 摘要和 Table 2 写 &lt;strong&gt;41.8&lt;/strong&gt;，该版本 §6.1 的对应段落仍写 &lt;strong&gt;41.0&lt;/strong&gt;。上面的对比统一使用会议版 Table 2。 &lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=8&quot;&gt;会议版第 8 页&lt;/a&gt; · &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S6.SS1&quot;&gt;arXiv v7 §6.1&lt;/a&gt;&lt;/p&gt;
&lt;h3&gt;Table 3｜改变一个配置，结果怎么动&lt;/h3&gt;
&lt;p&gt;&amp;lt;figure&amp;gt;
&amp;lt;img src=&quot;/assets/transformer-notes/paper/table-3.png&quot; width=&quot;750&quot; height=&quot;595&quot; loading=&quot;lazy&quot; alt=&quot;论文 Table 3。开发集上比较了头数、Key 宽度、层数、特征宽度、Dropout、Label Smoothing 以及位置编码的变体。&quot;&amp;gt;
&amp;lt;figcaption&amp;gt;Table 3，英德开发集 newstest2013 消融。来源为 Vaswani 等，NeurIPS 2017，第 9 页。&amp;lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf#page=9&quot;&amp;gt;在论文中查看原表&amp;lt;/a&amp;gt;&amp;lt;/figcaption&amp;gt;
&amp;lt;/figure&amp;gt;&lt;/p&gt;
&lt;p&gt;这张表先读 &lt;strong&gt;base&lt;/strong&gt; 行，再看每组改动了哪一列。未列出的值沿用 Base。最后对照的是开发集 &lt;strong&gt;BLEU (dev)&lt;/strong&gt; 和 &lt;strong&gt;PPL (dev)&lt;/strong&gt;，数据集与 Table 2 的正式测试集有别。表里的 PPL 按子词单位计算，数值不宜直接和按整词计算的 PPL 比。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;(A) 头数与单头宽度一起变。&lt;/strong&gt; 总宽保持 512，单头的 BLEU 为 24.9，Base 的八头为 25.8，十六头也是 25.8，三十二头回到 25.4。这个对照给多头配置提供了证据，也显示在固定总宽时继续增加头数的取舍。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;(B) 缩小 $d_k$。&lt;/strong&gt; $d_k=16$ 和 32 时，BLEU 分别为 25.1、25.4，低于 Base 的 25.8。匹配用的特征宽度和模型参数量随设置一起改变。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;(C) 层数、模型宽度与 FFN 宽度。&lt;/strong&gt; 例如把层数降到 2，BLEU 为 23.7，把层数设为 8 时为 25.5。读这一组时，尤其要留意哪些宽度参数是同时变化的。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;(D) 正则化。&lt;/strong&gt; Dropout 设为 0 时 BLEU 为 24.6。标签平滑设为 0 时，PPL 从 Base 的 4.92 降到 4.67，BLEU 从 25.8 降到 25.3。两个指标测量的东西不同，可以朝不同方向变化。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;(E) 位置编码。&lt;/strong&gt; 用学习的位置向量替换正弦编码，BLEU 为 25.7，接近 Base 的 25.8。这比较的是所报告的开发集条件。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;这些实验支持的是具体翻译任务上的架构效果和配置取舍。迁移到很长的序列、不同任务或不同硬件时，需要重新测量质量、内存与耗时。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7#S6.SS2&quot;&gt;原论文 §6.2&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜哪些数字可以放在一起比较？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;BLEU 衡量什么？衡量生成文本与参考译文在短语片段上的重合程度，并带有长度惩罚。&lt;/li&gt;
&lt;li&gt;为什么单头、多头比较属于消融？作者在 Base 周围改变头数和单头宽度，比较在同一数据集和其他主要设置下结果如何变化。&lt;/li&gt;
&lt;li&gt;Table 3 的 25.8 与 Table 2 的 28.4 能直接用来衡量头数收益吗？它们的评测集和配置都不同。头数收益应从 Table 3 的 (A) 组内读。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;12｜怎样从公式写出最小 Transformer&lt;/h2&gt;
&lt;p&gt;这一节实现一个小型 Encoder–Decoder。完整脚本只依赖 Python 和 PyTorch，CPU 上即可运行，数据由脚本生成。模型宽度 32，4 个头，每头 8 维，FFN 中间宽度 64，Encoder 与 Decoder 各 1 层。它保留了本文要检查的运算，使用独立的源词表和目标词表、固定学习率以及贪心解码，适合在很小的例子里逐步调试。 &amp;lt;a href=&quot;/assets/transformer-notes/attention_transformer.py&quot; download data-no-swup&amp;gt;下载完整 PyTorch 源码&amp;lt;/a&amp;gt;&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;python -X utf8 attention_transformer.py
&lt;/code&gt;&lt;/pre&gt;
&lt;h3&gt;先写注意力内核&lt;/h3&gt;
&lt;p&gt;约定布尔 Mask 的 &lt;strong&gt;True 表示可见&lt;/strong&gt;，False 对应论文中的 $-\infty$。对全部被屏蔽的行先用有限值占位，Softmax 后再把权重清零，以免对整行 $-\infty$ 归一化时得到 NaN。&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;def scaled_dot_product_attention(q, k, v, keep=None):
    scores = q @ k.transpose(-2, -1) / math.sqrt(q.size(-1))
    if keep is not None:
        scores = scores.masked_fill(~keep, -torch.inf)
        scores = scores.masked_fill(~keep.any(dim=-1, keepdim=True), 0.0)
    weights = torch.softmax(scores, dim=-1)
    if keep is not None:
        weights = weights.masked_fill(~keep, 0.0)
    return weights @ v, weights
&lt;/code&gt;&lt;/pre&gt;
&lt;h3&gt;沿着形状把组件接起来&lt;/h3&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;MultiHeadAttention。&lt;/strong&gt; 分别投影 Q、K、V，再把 $(B,L,d_{\mathrm{model}})$ reshape 成 $(B,L,h,d_{\mathrm{head}})$ 并交换轴 1、2。此时分数的乘法是 $(B,h,L_q,d_k)(B,h,d_k,L_k)\to(B,h,L_q,L_k)$。输出交换回位置轴在前的排列，再把头和头内特征合并，交给输出投影。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;PositionalEncoding。&lt;/strong&gt; 按第 05 章公式提前生成正弦和余弦表。前向取前 $L$ 行，加到每条序列的 $L$ 个向量上，以同一张表广播到整个批次。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;EncoderLayer。&lt;/strong&gt; 先送 $x,x,x$ 给自注意力，屏蔽源端的 PAD。做完残差与 LayerNorm，再用同样的 Post-LN 顺序接 FFN。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;DecoderLayer。&lt;/strong&gt; 先带因果掩码做目标自注意力，随后用更新后的 $x$ 查询 $Z,Z$。交叉注意力用源端 Padding mask。最后接 FFN。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Transformer。&lt;/strong&gt; 先用 encode 得到 $Z$，再以目标输入和 $Z$ 调 decode。训练返回词表 logits，交叉熵用右移配对的标签计算。生成时把上一步选出的 Token 拼回前缀再调 decode，复用同一个 $Z$。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;源码把最后一步写得很短。这里的 tgt 已经是右移的目标输入。&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;def forward(self, src, tgt):
    memory, source_keep = self.encode(src)
    return self.decode(tgt, memory, source_keep)
&lt;/code&gt;&lt;/pre&gt;
&lt;h3&gt;怎样判断代码接对了&lt;/h3&gt;
&lt;p&gt;先用第 03 章的手算核对数值。再送一组不同长度的 Q/K/V 做形状检查。源码中的一组输入是 Q 为 $(2,4,3,8)$，K 为 $(2,4,5,8)$，V 为 $(2,4,5,6)$，检查得到权重 $(2,4,3,5)$ 和输出 $(2,4,3,6)$。内核支持不同的 $d_v$，完整玩具网络使用等宽的头。普通行的权重和应为 1，全部屏蔽的行按上述约定为 0。&lt;/p&gt;
&lt;p&gt;因果测试分两步。先在注意力内核里改最后一个位置的 Value，检查前面三行输出是否保持一致。再在整个模型里改目标序列最后一个输入，检查更早的 logits 是否保持一致。训练跑一次 &lt;strong&gt;loss.backward()&lt;/strong&gt; 后，检查参数是否得到有限梯度，并检查第一个 Encoder 自注意力的 Query 投影是否收到非零梯度。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;教学脚本实跑结果。&lt;/strong&gt; 八组玩具句对在一个批次里反复训练 120 步。一次固定种子的 CPU 运行中，训练损失从 &lt;strong&gt;2.3247&lt;/strong&gt; 降到 &lt;strong&gt;0.0005&lt;/strong&gt;，脚本生成下面这句。这次测量用于检查模型和训练循环能否拟合这组训练样本。&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;shape / probability / mask / gradient checks passed
toy loss: 2.3247 -&amp;gt; 0.0005
I love cats -&amp;gt; 我 喜欢 猫 &amp;lt;eos&amp;gt;
&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;自测｜调试时应该盯哪个轴？&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;为什么 Cross-Attention 的 $L_q$ 与 $L_k$ 可以不同？一个数目标查询位置，另一个数源候选位置，点积只要求它们的特征宽度一致。&lt;/li&gt;
&lt;li&gt;只改未来位置输入，哪些输出应该保持一致？所有更早查询位置的输出，在关闭 Dropout 或固定随机性的测试中应相同。&lt;/li&gt;
&lt;li&gt;拆头之后哪个轴数头？本文使用 $(B,h,L,d_{\mathrm{head}})$，索引 1 是 Head 轴。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h2&gt;13｜综合自测&lt;/h2&gt;
&lt;p&gt;先闭上图和代码，试着解释每一步，再展开答案。&lt;/p&gt;
&lt;h3&gt;概念与计算&lt;/h3&gt;
&lt;ol&gt;
&lt;li&gt;Transformer 为什么需要位置机制？不含位置机制的全可见 Self-Attention 在交换两行后会怎样？&lt;/li&gt;
&lt;li&gt;Encoder 自注意力、Decoder 掩码自注意力和交叉注意力各自从哪里取得 Q/K/V？&lt;/li&gt;
&lt;li&gt;已经做过 Attention，FFN、Residual 和 LayerNorm 各还负责什么？&lt;/li&gt;
&lt;li&gt;$Q\in\mathbb R^{5\times64}$、$K,V\in\mathbb R^{7\times64}$，权重和输出分别是什么形状？&lt;/li&gt;
&lt;li&gt;第 03 章的一个 Query、两个 Key 示例，怎么算到最终输出？&lt;/li&gt;
&lt;li&gt;在长度为 4 的目标序列里，索引 2 的 Query 可以看到哪些 Key？&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;核对第 1–6 题&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;在全可见情形，交换输入行只会交换相应输出行。PE 把位置的信息加到输入表示。&lt;/li&gt;
&lt;li&gt;Encoder 自注意力全从源端同层输入取得。Decoder 自注意力全从目标端同层输入取得，并加因果掩码。交叉注意力的 Q 读 Decoder 中间状态，K/V 读 Encoder 的最终输出。&lt;/li&gt;
&lt;li&gt;FFN 在每个位置改写特征。Residual 给子层保留输入直达路径。LayerNorm 归一化每个位置的特征，论文把它放在残差相加之后。&lt;/li&gt;
&lt;li&gt;权重 $5\times7$，输出 $5\times64$。&lt;/li&gt;
&lt;li&gt;分数 $[0.7071,0]$，权重约 $[0.6698,0.3302]$，输出约为 $[1.3395,1.3210]$。&lt;/li&gt;
&lt;li&gt;索引 0、1、2。索引 3 被屏蔽。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;h3&gt;迁移与实现&lt;/h3&gt;
&lt;ol&gt;
&lt;li&gt;取消目标端因果掩码后，训练和生成各会出现什么问题？&lt;/li&gt;
&lt;li&gt;保持模型总宽 512，把八个头换成一个大头，权重的自由度发生了什么变化？&lt;/li&gt;
&lt;li&gt;原始 Encoder–Decoder Transformer 与常见的 Decoder-only 自回归模型怎样组织源内容？&lt;/li&gt;
&lt;li&gt;不看图画出模型。标出三处 Attention 的 Q/K/V 和两个位置编码的输入。&lt;/li&gt;
&lt;li&gt;不调用框架的完整 Transformer 层，实现最小模型，并写一个能抓住未来信息泄漏的测试。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;核对第 7–11 题&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;训练时可以从右移输入的后续行读到当前标签。生成时未来输入还没产生，会导致训练与生成的可见条件不一致。&lt;/li&gt;
&lt;li&gt;原来同一个查询位置有最多八套分别计算的分布。换成单头后，它只有一套位置权重供该头的所有通道使用。&lt;/li&gt;
&lt;li&gt;Encoder–Decoder 先用独立 Encoder 读取源序列，Decoder 用交叉注意力取源信息。常见的 Decoder-only 模型把提示与已生成内容放进同一条因果序列，通过自注意力使用上下文。&lt;/li&gt;
&lt;li&gt;画出源端 Embedding 加 PE 和目标端 Embedding 加 PE。把 Encoder 输出接到 Decoder 中间注意力的 K/V，Decoder 经过掩码自注意力后的状态接 Q。最后补上残差、归一化、FFN 和词表投影。 &lt;a href=&quot;#paper-architecture&quot;&gt;对照架构原图&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;固定一条源句和同一目标前缀，复制一份输入，只修改最后一个目标位置。用评估模式计算两次 logits，比较最后一行之前的所有结果。增补形状与梯度断言，再训练小批量，观察损失是否下降。 &lt;a href=&quot;#12%E6%80%8E%E6%A0%B7%E4%BB%8E%E5%85%AC%E5%BC%8F%E5%86%99%E5%87%BA%E6%9C%80%E5%B0%8F-transformer&quot;&gt;对照可运行代码&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;p&gt;能答 1–3 题，可以用自己的话讲清模块。能做 4–8 题，可以追踪形状并判断掩码是否正确。能独立完成 9–11 题，就可以把同一套检查迁移到自己写的模型上。&lt;/p&gt;
&lt;p&gt;&amp;lt;a id=&quot;attention-interview&quot;&amp;gt;&amp;lt;/a&amp;gt;&lt;/p&gt;
&lt;h3&gt;课后大题｜Transformer / Attention 技术面试&lt;/h3&gt;
&lt;p&gt;这套题按大模型算法工程师面试的方式练习。每问都先给出明确结论，再用公式、维度或反例说明依据。推导不确定时，标出具体哪一步卡住了。&lt;/p&gt;
&lt;p&gt;&amp;lt;details&amp;gt;
&amp;lt;summary&amp;gt;六轮考察范围&amp;lt;/summary&amp;gt;&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;轮次&lt;/th&gt;
&lt;th&gt;重点&lt;/th&gt;
&lt;th&gt;难度&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;1&lt;/td&gt;
&lt;td&gt;Self-Attention 的数学性质、Q/K/V 与矩阵维度&lt;/td&gt;
&lt;td&gt;困难&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;2&lt;/td&gt;
&lt;td&gt;缩放点积、Softmax 与梯度&lt;/td&gt;
&lt;td&gt;困难&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;3&lt;/td&gt;
&lt;td&gt;Multi-Head Attention 的设计与表达能力&lt;/td&gt;
&lt;td&gt;很困难&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;4&lt;/td&gt;
&lt;td&gt;Positional Encoding、Mask 与序列顺序&lt;/td&gt;
&lt;td&gt;很困难&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;5&lt;/td&gt;
&lt;td&gt;Encoder、Decoder 与 Cross-Attention&lt;/td&gt;
&lt;td&gt;困难&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;6&lt;/td&gt;
&lt;td&gt;训练信息泄漏、计算复杂度与实现错误&lt;/td&gt;
&lt;td&gt;很困难&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&amp;lt;/details&amp;gt;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;第一轮满分 100 分。&lt;/strong&gt; 先独立回答 &lt;strong&gt;Q1.1–Q1.4&lt;/strong&gt;，逐问复盘后再做第二题。第一遍先不查资料，从题目给出的 Attention 公式出发。&lt;/p&gt;
&lt;h4&gt;大题 1｜没有位置编码的 Self-Attention 真的不知道顺序吗？（35 分）&lt;/h4&gt;
&lt;p&gt;设一个标准的 Encoder Self-Attention 层，三个互不相同的向量 $x_A,x_B,x_C$ 按行排成 $X$。不使用位置编码、Attention Mask 或 Dropout，$W_Q,W_K,W_V$ 固定。现在交换 B 和 C 两行。&lt;/p&gt;
&lt;p&gt;$$
X=\begin{bmatrix}x_A\x_B\x_C\end{bmatrix},
\qquad X&apos;=\begin{bmatrix}x_A\x_C\x_B\end{bmatrix}.
$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Q1.1&lt;/strong&gt;　交换之后，A 位置的注意力输出向量会发生变化吗？为什么？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q1.2&lt;/strong&gt;　原来 B、C 两个位置的输出向量与交换后的输出向量之间有什么严格关系？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q1.3&lt;/strong&gt;　写出满足 $X&apos;=PX$ 的置换矩阵 $P$，结合下面的公式证明你的结论。Softmax 按行计算。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\operatorname{Attention}(X)
=\operatorname{softmax}!\left(
\frac{XW_Q(XW_K)^\top}{\sqrt{d_k}}
\right)XW_V .
$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Q1.4（追问）&lt;/strong&gt;　改用带 Causal Mask 的 Decoder Self-Attention。交换输入时沿用同一个按位置构造的掩码，你在前面得到的置换关系是否仍然成立？说明依据。&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;大题 2｜统一平移 Key 或 Query 会怎样？（30 分）&lt;/h4&gt;
&lt;p&gt;设单个 Query 为 $q\in\mathbb R^{d_k}$，三条 Key 分别为 $k_1,k_2,k_3$。考虑给每条 Key 加同一个 $c\in\mathbb R^{d_k}$，即 $k_i&apos;=k_i+c$，Value 保持不变。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Q2.1&lt;/strong&gt;　Attention 权重会改变吗？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q2.2&lt;/strong&gt;　Attention 的最终输出会改变吗？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q2.3&lt;/strong&gt;　恢复原来的 Key，只把 Query 改成 $q&apos;=q+c$。Attention 权重是否一定保持不变？&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;用 &lt;strong&gt;Softmax 的数学性质&lt;/strong&gt;解释。写出平移前后的 logits，再判断归一化结果会怎样变化。&lt;/p&gt;
&lt;h4&gt;大题 3｜Cross-Attention 的维度与信息泄漏（35 分）&lt;/h4&gt;
&lt;p&gt;实现原始的 Encoder–Decoder Transformer。张量顺序采用「批次、头、序列位置、特征」。&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;参数&lt;/th&gt;
&lt;th&gt;给定值&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Batch Size $B$&lt;/td&gt;
&lt;td&gt;2&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Encoder 输入长度 $n$&lt;/td&gt;
&lt;td&gt;7&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Decoder 输入长度 $m$&lt;/td&gt;
&lt;td&gt;4&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;模型宽度 $d_{\mathrm{model}}$&lt;/td&gt;
&lt;td&gt;512&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;头数 $h$&lt;/td&gt;
&lt;td&gt;8&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;每头 Q/K/V 宽度 $d_k=d_v$&lt;/td&gt;
&lt;td&gt;64&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Q3.1&lt;/strong&gt;　Decoder 的 Cross-Attention 经过线性投影并拆分 Head 后，Q、K、V 各是什么形状？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q3.2&lt;/strong&gt;　计算 $S=QK^\top/\sqrt{d_k}$ 后，分数张量是什么形状？每一维对应什么？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q3.3&lt;/strong&gt;　拼接各头并做最终线性投影后，输出是什么形状？&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q3.4（追问）&lt;/strong&gt;　训练时，Decoder 的 Cross-Attention 是否需要用 Causal Mask 屏蔽未来位置？结合这个子层的 Q、K、V 各自来自哪条序列说明。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Q3.5&lt;/strong&gt;　训练时 Decoder 输入已经右移了一位，为什么 Masked Self-Attention 还要使用 Causal Mask？只右移能防止信息泄漏吗？选一个预测位置，说明它会读到什么。&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;第一轮评分与复盘&lt;/h4&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;分数&lt;/th&gt;
&lt;th&gt;档位&lt;/th&gt;
&lt;th&gt;评价依据&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;90–100&lt;/td&gt;
&lt;td&gt;优秀&lt;/td&gt;
&lt;td&gt;能解释机制、完成数学证明并识别反例&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;75–89&lt;/td&gt;
&lt;td&gt;良好&lt;/td&gt;
&lt;td&gt;核心机制正确，个别边界条件或推导步骤待补齐&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;60–74&lt;/td&gt;
&lt;td&gt;基础合格&lt;/td&gt;
&lt;td&gt;能追踪主要流程，仍需要把公式和推理连起来&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;低于 60&lt;/td&gt;
&lt;td&gt;需要补强&lt;/td&gt;
&lt;td&gt;有关键概念混淆，需要回到对应小节复习&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;复盘时逐问标为「完全正确」「推导不完整」或「概念性错误」，写出第一个出错或跳过的步骤。再改一个条件追问，例如换一种掩码或改变 Query 与 Key 的长度，最后记下要补的知识点。&lt;/p&gt;
&lt;h2&gt;回看最初的翻译例子&lt;/h2&gt;
&lt;p&gt;生成「猫」之前，中文前缀决定 Decoder 此刻问什么，完整英文提供它可以查什么。Encoder 的输出留在交叉注意力的 K/V 路径里，前缀不断延长，下一步的 Query 随之改变。沿着这两条线读矩阵乘法，就能判断它是在沿特征变换，还是在两个位置之间建立联系。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Vaswani, A. 等，&lt;em&gt;Attention Is All You Need&lt;/em&gt;，NeurIPS 2017。本文原图和实验表统一出自会议版。 &lt;a href=&quot;https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf&quot;&gt;NeurIPS 官方 PDF&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;长篇阅读时也可用 HTML 版跳转公式和引用。引用具体实验数字时请标明版本。 &lt;a href=&quot;https://arxiv.org/html/1706.03762v7&quot;&gt;arXiv HTML v7&lt;/a&gt; · &lt;a href=&quot;https://arxiv.org/pdf/1706.03762v7&quot;&gt;arXiv PDF v7&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
</content:encoded></item><item><title>波前整形与散射介质成像｜随机投影与三维全息</title><link>https://coraejones.github.io/posts/wavefront-shaping-and-scattering/</link><guid isPermaLink="true">https://coraejones.github.io/posts/wavefront-shaping-and-scattering/</guid><description>两篇论文展示了散斑的两种用途：用多重散射生成随机特征，或用散射光场的相关性重建三维物体。</description><pubDate>Tue, 10 Nov 2026 00:00:00 GMT</pubDate><content:encoded>&lt;p&gt;&lt;a href=&quot;/optics/&quot;&gt;光学 / 学习笔记&lt;/a&gt;&lt;/p&gt;
&lt;h2&gt;研究背景&lt;/h2&gt;
&lt;p&gt;一束光穿过毛玻璃或白色涂层时，许多散射路径上的光在探测面叠加，形成明暗起伏的散斑。原来的图像难以直接辨认，但在介质和光路稳定时，改变入射光仍会以可重复的方式改变散斑。&lt;/p&gt;
&lt;p&gt;Sylvain Gigan 参与的两篇论文从这里出发。Saade 等人把散射过程放进计算流程，让介质混合输入数据。Baek 等人面对的是相反方向的问题：已知散射后的测量值，如何找回发光点的空间位置？第一项工作关心的是混合的统计性质，第二项工作关心的是混合之后仍保留的波前结构。&lt;/p&gt;
&lt;h2&gt;2016｜让散射介质计算随机特征&lt;/h2&gt;
&lt;p&gt;&lt;strong&gt;研究问题&lt;/strong&gt;　核方法可以用非线性特征衡量样本相似性。显式构造这些特征时，大规模随机矩阵的存储和矩阵乘法会带来开销。作者用散射介质实现其中的随机混合。&lt;/p&gt;
&lt;h3&gt;工作原理&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;手写数字 → DMD 编码激光 → TiO₂ 多重散射 → CCD 采集散斑 → 数字端岭回归&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;数字微镜器件（DMD）把 MNIST 图像编码到 532 nm 激光上。每个原图像素用一组 $4\times4$ 的二值位置表示，以开启位置的数量编码 17 个灰度级。光随后穿过玻璃片上数十微米厚的 TiO₂ 纳米颗粒层。&lt;/p&gt;
&lt;p&gt;设 $\mathbf x$ 和 $\mathbf y$ 分别为入射和出射光场的复振幅，固定装置的传播可表示为 $\mathbf y=H\mathbf x$。多重散射为这个映射提供了大量混合通道。对同一套稳定装置，不同输入共用同一个 $H$。在论文的理论模型中，$H$ 由独立同分布的复高斯随机矩阵近似。&lt;/p&gt;
&lt;p&gt;相机直接读出强度 $|H\mathbf x|^2$。论文的椭圆核推导使用的是模长特征 $|W\mathbf x|$，其中 $W$ 是理论随机矩阵。特征足够多时，两个输入的归一化特征内积趋近一个确定的椭圆核。这里的非线性来自取模。论文记录了对相机像素做块平均，关于实验数据是否以及何时开平方，正文没有进一步说明。采集所得特征交给数字端的岭回归分类器，输出手写数字类别。&lt;/p&gt;
&lt;h3&gt;实验结果&lt;/h3&gt;
&lt;p&gt;MNIST 上，光学和数值随机特征的错误率都随特征数增加而降低。约 10,000 个特征时，光学实验的错误率约 &lt;strong&gt;3%&lt;/strong&gt;（图 1 读数），数值随机特征约 &lt;strong&gt;2%&lt;/strong&gt;。直接计算精确椭圆核的数字基准为 &lt;strong&gt;1.31%&lt;/strong&gt;，在原始像素上做线性岭回归的基准为 &lt;strong&gt;12%&lt;/strong&gt;。 &lt;a href=&quot;https://arxiv.org/abs/1510.06664&quot;&gt;论文 §2–4、图 1–2&lt;/a&gt;&lt;/p&gt;
&lt;h3&gt;优点与局限&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;优点&lt;/strong&gt;　光传播并行完成随机混合。分类任务利用的是映射的统计性质，因此省去了完整传输矩阵的标定、存储和显式乘法。当特征数小于训练样本数时，显式随机特征还可以缩小岭回归的求解规模。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;局限&lt;/strong&gt;　当特征数达到约 2,000 以上时，光学结果开始偏离数值模拟。作者推测，剩余的像素相关性减少了有效独立特征数。整个系统的吞吐量还取决于 DMD 调制、相机读出和数字处理，端到端速度需要另行测量。 &lt;a href=&quot;https://doi.org/10.1109/ICASSP.2016.7472872&quot;&gt;论文 §4–5&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;h2&gt;2025｜从散射光场重建三维荧光物体&lt;/h2&gt;
&lt;p&gt;&lt;strong&gt;研究问题&lt;/strong&gt;　多个荧光点隔着毛玻璃发光时，相机看到的是各点散斑强度的叠加。尤其在物体靠近散射层时，用单一散斑图样描述所有发光点的成像响应很难成立。作者改用复光场之间的相关性。&lt;/p&gt;
&lt;h3&gt;工作原理&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;荧光源 → 毛玻璃 → SLM 编码与相机采集 → 相位恢复与解混 → 数字补偿与重聚焦&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/wavefront-shaping-and-scattering/fig-1.png&quot; alt=&quot;系统架构。a，非相干物体发出的光经过散射介质和 SLM，由相机记录多幅散斑，再恢复复光场并进行数字全息重建。b，散射光场经解混和相位对齐后相干叠加，构建虚拟散射层。&quot; /&gt;&lt;/p&gt;
&lt;p&gt;&lt;em&gt;图 1　非相干物体的三维全息成像系统。a 为采集与重建流程，b 为虚拟散射层的构建过程。图源为 &lt;a href=&quot;https://doi.org/10.1038/s41467-025-66626-7&quot;&gt;Baek 等（2025），原论文图 1&lt;/a&gt;，采用 &lt;a href=&quot;https://creativecommons.org/licenses/by/4.0/&quot;&gt;CC BY 4.0&lt;/a&gt; 许可。&lt;/em&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;从多帧强度恢复复光场。&lt;/strong&gt; 实验用的是 220 grit 毛玻璃扩散片。探测端的空间光调制器（SLM）依次加载已知的随机相位图样，每个图样对应一帧相机读数。发光点之间互不相干，相机记录的是 $\sum_n |E_n|^2$。混合态相位恢复估计一组能解释这些强度的复光场。由于幺正混合也能产生相同的强度，仍需解混才能把光场对应到独立发光点。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;寻找不同光场共有的畸变。&lt;/strong&gt; 在前向散射条件下，来自邻近光源的散射场经过适当平移和倾斜仍然相关。作者将恢复的光场数值传播到不同深度，找出倾斜相关性最强的平面。在该平面，来自第 $n$ 个光源的光场近似满足 $\mathcal E_n(\mathbf r)\approx S_0(\mathbf r)h_n(\mathbf r)$。其中 $S_0$ 表示共享的散射畸变，$h_n$ 保留光源位置对应的自由传播波前。同层光源的相对相位主要表现为线性倾斜，深度变化还会引入二次相位差。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;用虚拟散射层做数字补偿。&lt;/strong&gt; 作者利用相关性解混光场，对齐相对相位后相干叠加，估计一张以参考光场为基准的虚拟相位层。补偿发生在数字端。把补偿后的光场传播到各个深度，再将同一深度的各源强度相加，得到三维图像。 &lt;a href=&quot;https://doi.org/10.1038/s41467-025-66626-7&quot;&gt;论文图 1、式（1）至（9）&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;实验结果&lt;/h3&gt;
&lt;p&gt;在真实荧光样品上，作者区分了轴向相隔约 &lt;strong&gt;15 μm&lt;/strong&gt; 的两层微球，重建结果与从无散射侧直接拍摄的图像相符。另一组实验逐个投射 &lt;strong&gt;20 个激光焦点&lt;/strong&gt;，再把实测散斑强度相加，合成一个非相干螺旋物体。重建恢复了螺旋的三维分布，其中一个点像的横向半高全宽为 &lt;strong&gt;1.04 μm&lt;/strong&gt;。 &lt;a href=&quot;https://pmc.ncbi.nlm.nih.gov/articles/PMC12748562/&quot;&gt;论文图 2–4&lt;/a&gt;&lt;/p&gt;
&lt;h3&gt;优点与局限&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;优点&lt;/strong&gt;　有效散射平面由测量数据估计，省去了完整传输矩阵的标定。恢复复光场后，可以在数字端对多个深度重聚焦。这让近距离、隔着散射层的荧光成像成为可能。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;局限&lt;/strong&gt;　方法需要多帧采集和迭代求解，对信号强度、采集期间的稳定性和有效光源数量都有要求。共享畸变近似依赖前向散射，物体的轴向跨度不宜显著超过散射平均自由程。探测带宽超出介质的光谱相关范围时，单个光源用一个复光场描述的近似也会变差。论文以毛玻璃后的荧光微球和合成点源验证方法，复杂体散射和活体成像仍待进一步验证。 &lt;a href=&quot;https://pmc.ncbi.nlm.nih.gov/articles/PMC12748562/#sec3&quot;&gt;论文讨论与方法&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;h2&gt;两篇论文放在一起看&lt;/h2&gt;
&lt;p&gt;光学计算把散斑当作一种&lt;strong&gt;可重复的数据编码&lt;/strong&gt;。只要同一套装置产生的特征能用于判断类别，就可以直接使用这份编码。散射成像则要从测量中找出&lt;strong&gt;和光源位置有关的相位结构&lt;/strong&gt;，才能回到可解释的三维空间。两篇论文都省去了完整传输矩阵的测量，理由各不相同：一篇依靠随机映射的统计性质，另一篇从数据中估计一个适用于当前物体的有效散射层。&lt;/p&gt;
&lt;h2&gt;论文来源&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;Alaa Saade 等，&lt;em&gt;Random Projections through Multiple Optical Scattering: Approximating Kernels at the Speed of Light&lt;/em&gt;，ICASSP 2016。&lt;a href=&quot;https://doi.org/10.1109/ICASSP.2016.7472872&quot;&gt;IEEE 论文&lt;/a&gt; · &lt;a href=&quot;https://arxiv.org/abs/1510.06664&quot;&gt;开放预印本&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;YoonSeok Baek、Hilton B. de Aguiar、Sylvain Gigan，&lt;em&gt;Three-dimensional holographic imaging of incoherent objects through scattering media&lt;/em&gt;，Nature Communications 16，11653（2025）。&lt;a href=&quot;https://doi.org/10.1038/s41467-025-66626-7&quot;&gt;论文与补充材料&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
</content:encoded></item><item><title>AnyCalib｜从单张图像估计相机内参</title><link>https://coraejones.github.io/posts/anycalib/</link><guid isPermaLink="true">https://coraejones.github.io/posts/anycalib/</guid><description>先预测每个像素对应的射线，再用闭式求解和几何优化拟合所选相机模型的内参。</description><pubDate>Mon, 09 Nov 2026 00:00:00 GMT</pubDate><content:encoded>&lt;p&gt;&lt;a href=&quot;/embodied-ai/#single-image-camera-calibration-and-pose&quot;&gt;具身智能 / 视觉基础文献阅读 / 单图相机标定与位姿&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;论文&lt;/strong&gt;　&lt;em&gt;AnyCalib: On-Manifold Learning for Model-Agnostic Single-View Camera Calibration&lt;/em&gt;，Javier Tirado-Garín、Javier Civera，ICCV 2025。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;页内目录&lt;/strong&gt;　&lt;a href=&quot;#%E4%BB%BB%E5%8A%A1%E6%A6%82%E8%A7%88&quot;&gt;任务概览&lt;/a&gt; · &lt;a href=&quot;#%E7%A0%94%E7%A9%B6%E8%83%8C%E6%99%AF&quot;&gt;研究背景&lt;/a&gt; · &lt;a href=&quot;#%E6%96%B9%E6%B3%95%E5%8E%9F%E7%90%86&quot;&gt;方法原理&lt;/a&gt; · &lt;a href=&quot;#%E7%BD%91%E7%BB%9C%E6%9E%B6%E6%9E%84&quot;&gt;网络架构&lt;/a&gt; · &lt;a href=&quot;#%E5%AE%9E%E9%AA%8C%E7%BB%93%E8%AE%BA&quot;&gt;实验结论&lt;/a&gt; · &lt;a href=&quot;#%E4%BC%98%E7%82%B9%E4%B8%8E%E5%B1%80%E9%99%90&quot;&gt;优点与局限&lt;/a&gt; · &lt;a href=&quot;#%E6%9D%A5%E6%BA%90&quot;&gt;来源&lt;/a&gt;&lt;/p&gt;
&lt;h2&gt;任务概览&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;输入&lt;/strong&gt;　一张自然场景图像，可以是透视图、经裁剪或非均匀拉伸的图像，也可以带有镜头畸变。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;中间表示&lt;/strong&gt;　网络对整幅图像做密集预测，生成覆盖 $H\times W$ 个像素的 FoV 场。每个像素 $(u,v)$ 的两个 FoV 分量可以转换为相机坐标系中的单位射线方向。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;输出&lt;/strong&gt;　用像素坐标和射线的对应关系拟合选定的相机模型，得到焦距、主点和相应的畸变参数。求解阶段无需为所选模型单独训练一个预测头。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;本文的任务范围是&lt;strong&gt;相机内参标定&lt;/strong&gt;。位姿估计则需要求相机相对于世界或参考坐标系的旋转和平移。&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/anycalib/results.webp&quot; alt=&quot;三行分别展示透视、经编辑和畸变图像的标定效果，比较预测和真值的射线极角&quot; /&gt;&lt;/p&gt;
&lt;p&gt;&lt;em&gt;图 1　透视、经编辑和畸变图像上的标定示例。来自论文图 1。&lt;/em&gt;&lt;/p&gt;
&lt;h2&gt;研究背景&lt;/h2&gt;
&lt;p&gt;单张自然图像缺少标定板或多视角对应提供的约束。依赖消失点、平行线或地平线的几何方法需要场景中有足够清晰的线索。直接回归内参的学习方法往往绑定某类投影模型。遇到裁剪、非均匀拉伸或强畸变时，固定的主点、焦距比例和畸变假设都会影响标定。&lt;/p&gt;
&lt;p&gt;AnyCalib 把问题拆成两个阶段。先从图像学习像素对应的射线，再根据这些射线求解所选模型的内参。&lt;/p&gt;
&lt;h2&gt;方法原理&lt;/h2&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/anycalib/method.webp&quot; alt=&quot;从输入图像经 DINOv2、Light-DPT 与凸上采样预测 FoV 场，再映射到射线并闭式恢复相机内参&quot; /&gt;&lt;/p&gt;
&lt;p&gt;&lt;em&gt;图 2　从单张图像到 FoV 场、单位射线和内参的求解流程。来自论文图 2。&lt;/em&gt;&lt;/p&gt;
&lt;h3&gt;视场场与单位射线&lt;/h3&gt;
&lt;p&gt;FoV 场定义在单位球面 $S^2$ 上以相机光轴为切点的切平面。网络给每个像素预测二维坐标 $(\theta_x,\theta_y)$，其模长表示射线与光轴的夹角。通过球面指数映射，可将这两个分量转换为单位射线方向。这样，不同相机模型可以共用同一种中间表示。&lt;/p&gt;
&lt;h3&gt;闭式恢复内参&lt;/h3&gt;
&lt;p&gt;选定相机模型后，把像素坐标与预测射线代入该模型的投影关系。对于论文覆盖的一类模型，可重排方程，通过线性最小二乘或带约束的求解得到内参初值。论文给出的例子包括针孔、Brown–Conrady 和 Kannala–Brandt 模型。&lt;/p&gt;
&lt;h3&gt;高斯–牛顿细化&lt;/h3&gt;
&lt;p&gt;以闭式结果为起点，执行五次高斯–牛顿迭代，最小化预测射线与当前相机参数生成的射线之间的角度残差。闭式解的全局最优性对应前一步的代数目标。后续非线性角度优化的结果取决于初始化和预测射线的质量。&lt;/p&gt;
&lt;h2&gt;网络架构&lt;/h2&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;特征提取&lt;/strong&gt;　用 DINOv2 预训练的 ViT-L 处理输入图像。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;轻量解码&lt;/strong&gt;　用基于 DPT 的 CNN 解码器在低分辨率上预测二维 FoV 分量，省去转置卷积。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;密集输出&lt;/strong&gt;　通过凸上采样恢复到输入分辨率，再将 FoV 分量映射成逐像素单位射线。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;几何求解&lt;/strong&gt;　由射线与像素的对应关系恢复内参，并执行角度残差细化。&lt;/li&gt;
&lt;/ol&gt;
&lt;h2&gt;实验结论&lt;/h2&gt;
&lt;p&gt;论文分别在透视图、编辑图和畸变图上评估。指标包括水平和垂直视场角误差、重投影误差与反投影射线角误差。在所报告的基准上，AnyCalib 相比已有单图标定方法表现更好，在透视图实验中也达到与部分大型 3D 基础模型相当或更好的结果。论文的单个训练数据集包含 5.4 万张合成图像，用于对比的部分 3D 基础模型使用了超过 300 万张训练图像。&lt;/p&gt;
&lt;h2&gt;优点与局限&lt;/h2&gt;
&lt;h3&gt;优点&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;模型可在推理时选择&lt;/strong&gt;　同一射线预测可用于多种受支持的相机模型。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;覆盖编辑图像&lt;/strong&gt;　针对裁剪和拉伸训练的版本可估计偏移的主点及不同方向的焦距。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;推理开销低&lt;/strong&gt;　论文报告在 RTX 4090 上完成一次标定约需 25 ms。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;局限&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;单图线索有限&lt;/strong&gt;　场景纹理单一、缺乏深度层次时，图像对射线的约束较弱，预测更容易出现不确定性。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;对初始化有依赖&lt;/strong&gt;　强畸变下，细化效果取决于闭式初值、射线预测和相机模型与真实投影的匹配程度。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2&gt;来源&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href=&quot;https://ipl2zspbvo.feishu.cn/wiki/EXDGw24P3isO1jkmdv8cYdjZn6e&quot;&gt;飞书阅读笔记&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;https://openaccess.thecvf.com/content/ICCV2025/html/Tirado-Garin_AnyCalib_On-Manifold_Learning_for_Model-Agnostic_Single-View_Camera_Calibration_ICCV_2025_paper.html&quot;&gt;ICCV 2025 论文与补充材料&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;https://github.com/javrtg/AnyCalib&quot;&gt;AnyCalib 官方代码&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
</content:encoded></item><item><title>PRML 学习笔记</title><link>https://coraejones.github.io/posts/prml-notes/</link><guid isPermaLink="true">https://coraejones.github.io/posts/prml-notes/</guid><description>从线性模型、支持向量机到概率学习，整理机器学习基础概念与推导。</description><pubDate>Tue, 02 Jul 2024 00:00:00 GMT</pubDate><content:encoded>&lt;blockquote&gt;
&lt;ul&gt;
&lt;li&gt;Sample: individual instance available for analysis; composed of features that describes it : $x = [x_1,x_2, \dots,x_d ]$&lt;/li&gt;
&lt;li&gt;Label: the category or target for the samples&lt;/li&gt;
&lt;li&gt;Dataset: the collection of data samples and labels (if any)&lt;/li&gt;
&lt;li&gt;Feature: attributes that describe each of the instances in the dataset&lt;/li&gt;
&lt;li&gt;Feature space: the high-dimensional space where data sample lie&lt;/li&gt;
&lt;li&gt;Training set: data samples used for training the model&lt;/li&gt;
&lt;li&gt;Test set: unseen samples to be predicted by the model&lt;/li&gt;
&lt;/ul&gt;
&lt;/blockquote&gt;
&lt;h3&gt;confusion metrix&lt;/h3&gt;
&lt;p&gt;&amp;lt;img src=&quot;/assets/img/image-20240607195208026.png&quot; alt=&quot;image-20240607195208026&quot; style=&quot;zoom:80%;&quot; /&amp;gt;&lt;/p&gt;
&lt;hr /&gt;
&lt;hr /&gt;
&lt;h2&gt;二、Linear Models&lt;/h2&gt;
&lt;h3&gt;引入&lt;/h3&gt;
&lt;h4&gt;假设空间（Hypothesis Space）&lt;/h4&gt;
&lt;h5&gt;定义&lt;/h5&gt;
&lt;p&gt;假设空间是从输入空间 $X$ 到输出空间 $Y$ 的一组函数的集合。它是我们选择预测函数的集合。简单来说，假设空间包含了所有可能用于描述数据及其模式的候选模型。&lt;/p&gt;
&lt;h5&gt;解释&lt;/h5&gt;
&lt;p&gt;假设空间在机器学习中的作用至关重要，因为它决定了我们可以选择的模型范围。假设空间中的函数可以用来进行预测、分类或其他任务。&lt;/p&gt;
&lt;h5&gt;特性&lt;/h5&gt;
&lt;p&gt;我们希望假设空间具有以下特性：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;连续性&lt;/strong&gt;：函数在整个输入空间上是连续的，没有突然的跳变。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;光滑性&lt;/strong&gt;：函数是平滑的，没有过多的波动。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;简单性&lt;/strong&gt;：函数相对简单，不会过于复杂，符合奥卡姆剃刀原则（即简单模型优于复杂模型）。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;易于操作&lt;/strong&gt;：函数容易计算和优化。&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;Perceptron&lt;/h3&gt;
&lt;h4&gt;1. 概述&lt;/h4&gt;
&lt;p&gt;感知机（Perceptron）是最早期的神经网络模型之一，由Frank Rosenblatt在1958年提出。它是一个二分类模型，通过线性分离超平面将输入数据分为两类。感知机是线性分类器的基础，它的简单性和直观性使其成为理解更复杂神经网络的入门点。&lt;/p&gt;
&lt;h4&gt;2. 模型结构&lt;/h4&gt;
&lt;p&gt;感知机包括以下基本部分：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;输入层&lt;/strong&gt;：接收特征向量 $\mathbf{x} = [x_1, x_2, ., x_n]$。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;权重向量&lt;/strong&gt;：每个输入特征对应一个权重 $\mathbf{w} = [w_1, w_2, ., w_n]$。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;偏置&lt;/strong&gt;：一个额外的常数项 $b$，用来调整决策边界。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;激活函数&lt;/strong&gt;：通常是阶跃函数（sign function），根据加权和输出分类结果。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;模型的输出计算公式为：
$y = \text{sign}(\mathbf{w} \cdot \mathbf{x} + b)$&lt;/p&gt;
&lt;h4&gt;3. 感知机算法&lt;/h4&gt;
&lt;p&gt;感知机算法通过不断调整权重向量 $\mathbf{w}$ 和偏置 $b$ 来优化分类效果。其核心步骤如下：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;初始化&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;初始化权重向量 $\mathbf{w}$ 和偏置 $b$ 为零或小随机值。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;训练过程&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对每一个训练样本 $(\mathbf{x}_i, y_i)$ 进行预测：
$\hat{y}_i = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)$&lt;/li&gt;
&lt;li&gt;如果预测正确，不做任何调整。&lt;/li&gt;
&lt;li&gt;如果预测错误，根据以下规则调整权重和偏置：
$\mathbf{w} \leftarrow \mathbf{w} + \eta y_i \mathbf{x}_i$
$b \leftarrow b + \eta y_i$
其中，$\eta$ 是学习率，控制步长大小。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;重复以上步骤&lt;/strong&gt;，直到达到收敛条件（如权重变化很小或达到最大迭代次数）。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h4&gt;4. 优化过程详解&lt;/h4&gt;
&lt;p&gt;优化过程的目标是找到合适的权重和偏置，使得感知机能够正确分类训练集中的所有样本。具体步骤如下：&lt;/p&gt;
&lt;h5&gt;a. 初始化&lt;/h5&gt;
&lt;p&gt;初始化权重向量 $\mathbf{w}$ 和偏置 $b$ 为零或小随机值。&lt;/p&gt;
&lt;h5&gt;b. 样本遍历&lt;/h5&gt;
&lt;p&gt;遍历每个训练样本 $(\mathbf{x}_i, y_i)$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算感知机输出：
$\hat{y}_i = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)$&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;c. 误差计算&lt;/h5&gt;
&lt;p&gt;检查预测是否正确：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;如果 $\hat{y}_i = y_i$，则不做任何调整。&lt;/li&gt;
&lt;li&gt;如果 $\hat{y}_i \neq y_i$，则根据以下公式更新权重和偏置：
$\mathbf{w} \leftarrow \mathbf{w} + \eta y_i \mathbf{x}_i$
$b \leftarrow b + \eta y_i$&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;d. 收敛判断&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;检查权重向量 $\mathbf{w}$ 和偏置 $b$ 的变化是否在可接受的范围内（即变化很小）。&lt;/li&gt;
&lt;li&gt;或者，检查是否达到最大迭代次数。&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;e. 重复&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;如果未达到收敛条件，重复步骤b到d。&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;5. 数学推导&lt;/h4&gt;
&lt;p&gt;通过更新规则，我们可以看到，每次更新都会使权重向量和偏置向目标分类方向前进一小步。假设训练集中所有样本线性可分，那么在有限次迭代后，感知机算法将收敛到一个能够正确分类所有样本的解。&lt;/p&gt;
&lt;h4&gt;6. 感知机的局限性&lt;/h4&gt;
&lt;p&gt;尽管感知机在处理&lt;strong&gt;线性可分&lt;/strong&gt;数据时表现良好，但它&lt;strong&gt;无法处理线性不可分的数据集&lt;/strong&gt;。例如，XOR问题是经典的感知机无法解决的问题。为了解决这些问题，需要引入更复杂的模型，如多层感知机（MLP）。&lt;/p&gt;
&lt;h4&gt;7. 示例代码&lt;/h4&gt;
&lt;p&gt;以下是使用Python实现感知机算法的示例代码：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;import numpy as np

class Perceptron:
    def __init__(self, learning_rate=0.01, n_iters=1000):
        self.learning_rate = learning_rate
        self.n_iters = n_iters
        self.weights = None
        self.bias = None

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.weights = np.zeros(n_features)
        self.bias = 0

        y_ = np.where(y &amp;lt;= 0, -1, 1)

        for _ in range(self.n_iters):
            for idx, x_i in enumerate(X):
                linear_output = np.dot(x_i, self.weights) + self.bias
                y_predicted = self._sign(linear_output)

                if y_predicted != y_[idx]:
                    update = self.learning_rate * y_[idx]
                    self.weights += update * x_i
                    self.bias += update

    def predict(self, X):
        linear_output = np.dot(X, self.weights) + self.bias
        y_predicted = self._sign(linear_output)
        return y_predicted

    def _sign(self, x):
        return np.where(x &amp;gt;= 0, 1, -1)

# 示例数据
X = np.array([[1, 1], [2, 2], [3, 3], [4, 4], [1, 0], [0, 1]])
y = np.array([1, 1, 1, 1, 0, 0])

# 创建感知机实例
perceptron = Perceptron(learning_rate=0.01, n_iters=10)
perceptron.fit(X, y)

# 预测
predictions = perceptron.predict(X)
print(&quot;预测结果:&quot;, predictions)
&lt;/code&gt;&lt;/pre&gt;
&lt;h2&gt;三、Support Vector Machines&lt;/h2&gt;
&lt;p&gt;在软间隔支持向量机（Soft-Margin SVM）中，惩罚参数 $C$ 控制模型对误分类的容忍度。具体来说，参数 $C$ 决定了优化过程中间隔最大化和误分类最小化之间的权衡。如果惩罚参数 $C$ 很小，会导致以下结果：&lt;/p&gt;
&lt;h3&gt;调小Soft-Margin中penalty前面的C&lt;/h3&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;更大的间隔&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;当 $C$ 很小时，模型更关注于最大化分类间隔（margin），而对误分类点的惩罚较小。这意味着模型会&lt;strong&gt;允许更多的误分类，以便找到一个更大的间隔。&lt;/strong&gt;&lt;/li&gt;
&lt;li&gt;换句话说，模型倾向于忽略一些训练数据的误分类，以换取更大的决策边界。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;欠拟合（Underfitting）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;较小的 $C$ 值会使模型变得更加平滑，可能无法捕捉数据中的复杂模式。这种情况通常会导致欠拟合。&lt;/li&gt;
&lt;li&gt;欠拟合的模型对训练数据和测试数据都表现不佳，因为它未能充分学习到数据的特征。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;更高的训练误差&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;由于对误分类的惩罚较小，训练误差可能会较高。模型允许更多的训练点落在错误的一侧，从而导致较高的训练误差。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;关于Kernal-Function&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;Kernel function maps low-dimensional data to high-dimensional space&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这个说法是正确的。核函数的一个主要功能是通过一种称为“核技巧”（Kernel Trick）的技术，将原始的低维数据隐式地映射到一个更高维的特征空间。在这个高维特征空间中，数据更有可能变得线性可分，从而使线性分类器能够有效地工作。因为non-linear SVM的核心就是将数据升维，然后在更高维的空间中进行区分。但是由于计算难度，最后就直接找两者内积的对应kernal-function，所以kernal function实际上已经将数据升维了。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;It&apos;s a similarity function&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这个说法也是正确的。核函数本质上是一个衡量相似度的函数。它计算数据点之间的内积，这实际上反映了它们在特征空间中的相似性。例如，常用的高斯核（RBF核）和多项式核都可以视为相似度度量，它们计算两个数据点在特征空间中的距离或相似度。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2&gt;四、Decision Tree, Ensemble Learning&lt;/h2&gt;
&lt;h3&gt;Decision Tree&lt;/h3&gt;
&lt;p&gt;为什么用decision tree，因为很多时候类型特征是不方便量化的（比如苹果是红的还是绿的）。Decision Tree具有很好的解释性和泛化性，和我们在现实生活中做分类很像。&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;&lt;strong&gt;一个很关键的问题：寻找最合适的分类标准&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;要求 “子节点包含的数据具有纯粹的类别标签” 和 ”可以通过这个特征正确划分“&lt;/p&gt;
&lt;p&gt;现有的几种方式：&lt;/p&gt;
&lt;p&gt;1、Classification error ： $\mathrm{Err(D)}= 1-\max_{1\leq k\leq K}\frac{|C_k|}{|D|},$&lt;/p&gt;
&lt;p&gt;2、Entropy  ：$\mathrm{H}(D)=-\sum_{k=1}^K\frac{|C_k|}{|D|}\mathrm{log}\frac{|C_k|}{|D|}$&lt;/p&gt;
&lt;p&gt;3、Gini index ： $\mathrm{Gini}(D)=1-\sum_{k=1}^K\left(\frac{|C_k|}{|D|}\right)^2=\sum_{k=1}^K\left(\frac{|C_k|}{|D|}\right)\left(1-\frac{|C_k|}{|D|}\right)$&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240607215442770.png&quot; alt=&quot;image-20240607215442770&quot; /&gt;&lt;/p&gt;
&lt;h4&gt;1、ID3&lt;/h4&gt;
&lt;h5&gt;- 选取分类特征的标准：&lt;/h5&gt;
&lt;p&gt;采用&lt;strong&gt;entropy or information gain&lt;/strong&gt;作为划分标准。&lt;/p&gt;
&lt;p&gt;$\mathrm{H}(D)-\frac{|D_1|}{|D|}\mathrm{H}(D_1)-\frac{|D_2|}{|D|}\mathrm{H}(D_2)$&lt;/p&gt;
&lt;h5&gt;- 遇到Corner Case：&lt;/h5&gt;
&lt;p&gt;将父节点中最常见的标签指定为目标标签。&lt;/p&gt;
&lt;p&gt;&amp;lt;img src=&quot;/assets/img/image-20240607220003097.png&quot; alt=&quot;image-20240607220003097&quot; style=&quot;zoom: 80%;&quot; /&amp;gt;&lt;/p&gt;
&lt;h5&gt;- 遇到取值连续的特征：&lt;/h5&gt;
&lt;p&gt;将原始数据的离散化&lt;/p&gt;
&lt;h4&gt;2、C4.5&lt;/h4&gt;
&lt;blockquote&gt;
&lt;p&gt;&lt;strong&gt;为什么会有C4.5？&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;信息增益高度偏向于多值特征。比如说日期，每一个日期下面只有一个数据，并且每一个日期类下面的结果很pure，只有下雨或者不下雨一种，对应很高的information gain，但是实际上日期不具备分类价值。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h5&gt;- 解决方案&lt;/h5&gt;
&lt;p&gt;引入GR：&lt;/p&gt;
&lt;p&gt;$\text{GR}=\frac{\text{Information Gain}}{\text{Intrinsic Value}}$​&lt;/p&gt;
&lt;p&gt;$\mathrm{IV}(f)=-\sum_{k=1}^{|V|}\frac{|F_k|}{|D|}\mathrm{log}\frac{|F_k|}{|D|}$&lt;/p&gt;
&lt;p&gt;具有多种可能值的特征往往具有较大的Intrinsic Value。&lt;/p&gt;
&lt;h5&gt;- 取值连续特征的阈值划分&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;选择阈值为相邻两个值的平均值。&lt;/li&gt;
&lt;li&gt;n 个样本对应 n-1 个阈值。&lt;/li&gt;
&lt;li&gt;检查 n-1 个阈值，选择 GR 值最大的一个。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;Ensemble learning&lt;/h3&gt;
&lt;h4&gt;Bagging&lt;/h4&gt;
&lt;blockquote&gt;
&lt;p&gt;装袋的基本思想：&lt;strong&gt;减少单个学习者的差异对于对结果鲁棒性的影响&lt;/strong&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;创建 M 个引导数据集&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;在每个数据集上训练一个学习器&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;集合 M 个学习器&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;对于单个学习模型来说，性能没有提高&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h5&gt;Bootstrap Sample&lt;/h5&gt;
&lt;h6&gt;Bagging的基本过程如下：&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;h6&gt;&lt;strong&gt;自助采样（Bootstrap sampling）&lt;/strong&gt;：&lt;/h6&gt;
&lt;ul&gt;
&lt;li&gt;从原始数据集中随机选择样本进行重复抽取，形成多个不同的训练子集。每个子集的大小通常与原始数据集相同，&lt;strong&gt;样本是可重复抽取&lt;/strong&gt;的，因此某些样本在一个子集中可能&lt;strong&gt;出现多次&lt;/strong&gt;，而某些则可能&lt;strong&gt;一次都不出现&lt;/strong&gt;。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;模型训练&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对每一个由自助采样得到的训练子集独立地训练一个模型。这些模型通常是同种类型的，如都是决策树或都是神经网络。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;聚合预测&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;在分类问题中，Bagging通过多数投票法（majority voting）来汇总所有模型的预测结果；在回归问题中，则通常采用平均法（averaging）来合并结果。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;Bagging的优点：&lt;/h6&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;减少方差&lt;/strong&gt;：多个模型的预测结果通过投票或平均的方式合并，可以有效地减少模型预测的方差，防止过拟合。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;提高稳定性&lt;/strong&gt;：由于每个模型都是在略有不同的数据子集上训练，这增加了模型整体的健壮性，使模型对数据中的随机波动不那么敏感。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;并行计算&lt;/strong&gt;：由于各个模型的训练是相互独立的，因此Bagging天然适合并行处理，可以有效利用现代计算机的多核处理能力。&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;**原始数据集中约有 63% 的样本出现在Bagging数据集中。**没有出现的原始数据可以作为Validation Set。&lt;/p&gt;
&lt;h4&gt;Random Forest&lt;/h4&gt;
&lt;blockquote&gt;
&lt;ul&gt;
&lt;li&gt;创建引导数据集 (Bootstrap Sample)&lt;/li&gt;
&lt;li&gt;在构建树的过程中，随机抽取 K 个（K&amp;lt;d，可以选择$\sqrt d$）特征作为每个分割的候选特征。(分类特征的随机性)&lt;/li&gt;
&lt;/ul&gt;
&lt;/blockquote&gt;
&lt;p&gt;如果有一个或几个特征对目标标签有很强的预测作用，那么这些特征就会被选入许多树中，从而导致这些树变得相互关联。（而Bagging的核心思想就是构建很多没有关联的模型，增强模型的鲁棒性）&lt;/p&gt;
&lt;h4&gt;Boosting&lt;/h4&gt;
&lt;blockquote&gt;
&lt;p&gt;按顺序培训学习者。当前的弱学习者会更多地关注之前的弱学习者分类错误的示例。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h5&gt;1. AdaBoost：For Binary Classification&lt;/h5&gt;
&lt;h6&gt;核心思想：&lt;/h6&gt;
&lt;blockquote&gt;
&lt;p&gt;&lt;strong&gt;give higher weights to the misclassified examples&lt;/strong&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;AdaBoost (Adaptive Boosting) 是一个通过逐步增加对错误分类样本的关注来提高分类器性能的算法。其目标是创建一个强分类器，通过组合多个性能较弱的分类器。&lt;/p&gt;
&lt;h6&gt;算法步骤及公式：&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;初始化权重&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对于每个训练样本 $i$，初始化权重 $w_i = \frac{1}{N}$，其中 $N$ 是样本总数。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;对于 $m = 1$ 到 $M$&lt;/strong&gt;:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;训练一个弱分类器 $h_m(x)$。&lt;/li&gt;
&lt;li&gt;计算错误率 $e_m = \frac{\sum_{i=1}^N w_i [y_i \neq h_m(x_i)]}{\sum_{i=1}^N w_i}$，其中 $\cdot$ 是指示函数。&lt;/li&gt;
&lt;li&gt;计算分类器权重 $\alpha_m = \log\left(\frac{1 - e_m}{e_m}\right)$。&lt;/li&gt;
&lt;li&gt;更新权重 $w_i \leftarrow w_i \exp(\alpha_m [y_i \neq h_m(x_i)])$。&lt;/li&gt;
&lt;li&gt;归一化权重 $w_i \leftarrow \frac{w_i}{\sum_{j=1}^N w_j}$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;构造最终分类器&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$f(x) = \text{sign}(\sum_{m=1}^M \alpha_m h_m(x))$​&lt;/li&gt;
&lt;li&gt;解释：误差率$e_m$越小，权重$\alpha _ m$就越大，因此分类器的重要性就越高。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;伪代码：&lt;/h6&gt;
&lt;pre&gt;&lt;code&gt;输入: 训练数据集 {(x1, y1), ., (xN, yN)}, 弱分类器的数量 M
输出: 最终分类器 f(x)

初始化: wi = 1/N for i = 1 to N
for m = 1 to M do
    训练分类器 hm(x) using weights wi
    计算错误率 em = sum(wi [yi != hm(xi)]) / sum(wi)
    计算分类器权重 αm = log((1 - em) / em)
    更新权重 wi = wi * exp(αm [yi != hm(xi)])
    归一化权重 wi = wi / sum(wi)
end for
返回 f(x) = sign(sum(αm hm(x)))
&lt;/code&gt;&lt;/pre&gt;
&lt;h4&gt;2. Gradient Boosting&lt;/h4&gt;
&lt;h6&gt;核心思想：&lt;/h6&gt;
&lt;p&gt;Gradient Boosting 是一个用于回归和分类问题的提升技术，通过逐步减少残差来优化任意可微分的损失函数。&lt;/p&gt;
&lt;h6&gt;算法步骤及公式：&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;初始化模型&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;用一个常数值 $F_0(x)$ 初始化模型，通常 $F_0(x) = \arg \min_\gamma \sum_{i=1}^N L(y_i, \gamma)$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;对于 $m = 1$ 到 $M$&lt;/strong&gt;:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算残差 $r_{im} = -\left[\frac{\partial L(y_i, F(x_i))}{\partial F(x_i)}\right]&lt;em&gt;{F(x) = F&lt;/em&gt;{m-1}(x)}$。&lt;/li&gt;
&lt;li&gt;拟合 $r_{im}$ 至弱学习器 $h_m(x)$。&lt;/li&gt;
&lt;li&gt;计算 $h_m(x)$ 的系数 $\gamma_m$。&lt;/li&gt;
&lt;li&gt;更新模型 $F_m(x) = F_{m-1}(x) + \nu \gamma_m h_m(x)$，其中 $\nu$ 是学习率。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;构造最终模型&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$F(x) = F_M(x)$&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;伪代码：&lt;/h6&gt;
&lt;pre&gt;&lt;code&gt;输入: 训练数据集 {(x1, y1), ., (xN, yN)}, 弱分类器的数量 M, 损失函数 L
输出: 最终模型 F(x)

初始化: F0(x) = argmin γ sum(L(yi, γ))
for m = 1 to M do
    计算残差 rim = -[∂L(yi, F(xi))/∂F(xi)] at F(x) = Fm-1(x)
    拟合 rm 至弱学习器 hm(x)
    计算系数 γm = argmin γ sum(L(yi, Fm-1(xi) + γ hm(xi)))
    更新模型 Fm(x) = Fm-1(x) + ν γm hm(x)
end for
返回 F(x) = FM(x)
&lt;/code&gt;&lt;/pre&gt;
&lt;h4&gt;对比Bagging和Boosting&lt;/h4&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Bagging&lt;/th&gt;
&lt;th&gt;Boosting&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Parallel ensemble&lt;/td&gt;
&lt;td&gt;Sequential ensemble&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Models are independent&lt;/td&gt;
&lt;td&gt;Models are correlated&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Combine strong models to reduce variance&lt;/td&gt;
&lt;td&gt;Combine weak models to primarily reducing bias&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;/&lt;/td&gt;
&lt;td&gt;Also less susceptible to overfitting&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&lt;strong&gt;Boosting和Deeplearning做对比更好的情况：&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;➢ 结构化数据（如表格数据）
➢ 训练速度比深度学习算法更快。
➢ 无需进行复杂超参数调整的小型数据集
➢ 离散数据
➢ 高维稀疏数据&lt;/p&gt;
&lt;h4&gt;XGBoost&lt;/h4&gt;
&lt;p&gt;&lt;strong&gt;正则化&lt;/strong&gt;：XGBoost在目标函数中引入了正则化项（包括树的叶子节点的数目和叶子节点输出值的L2范数），这有助于控制模型的复杂度，防止过拟合。&lt;/p&gt;
&lt;h3&gt;五、Learning Theory, Bayesian Decision &amp;amp; Density Estimation&lt;/h3&gt;
&lt;h4&gt;Introduction to Statistical Learning Theory&lt;/h4&gt;
&lt;blockquote&gt;
&lt;p&gt;&lt;strong&gt;Empirical Risk Minimization (ERM)&lt;/strong&gt;  经验风险&lt;/p&gt;
&lt;p&gt;$\widehat{R}(f)=\frac1N\sum_{i=1}^N\ell(f(x_i),y_i)$&lt;/p&gt;
&lt;p&gt;模型$f$在训练集 $𝒟 = {𝑥_𝑖, 𝑦_𝑖}, \ 𝑖=1,2,.,N$上的平均损失&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;经验风险最小化（ERM）：&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;该学习算法选择的模型能使训练数据集上的经验风险最小化。&lt;/p&gt;
&lt;p&gt;**Population Loss/Expected Risk  **:它衡量的是模型在所有可能数据（我们的终极目标！）上的预期性能，而不仅仅局限于训练数据。&lt;/p&gt;
&lt;p&gt;$R(f)=\mathbb{E}_{(x,y)\sim\mu}\ell(f(x),y)$&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h4&gt;Bias-Variance Trade Off&lt;/h4&gt;
&lt;p&gt;在预测模型中，偏差（Bias）和方差（Variance）是两个重要的概念，它们之间的平衡关系（Bias-Variance Trade-off）对模型的性能有着直接的影响。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;偏差（Bias）&lt;/strong&gt;：偏差指的是模型在多个不同训练数据集上的平均预测结果与真实目标函数之间的差异。如果一个模型的偏差较高，意味着模型的&lt;strong&gt;预测结果与真实结果之间有较大的误差&lt;/strong&gt;，通常这种情况表明模型过于简化，没有很好地捕捉到数据的复杂性和规律，我们称之为“欠拟合”（underfitting）。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;方差（Variance）&lt;/strong&gt;：方差描述的是当训练数据集发生变化时，模型预测结果的改变程度。高方差意味着模型&lt;strong&gt;对于训练数据非常敏感&lt;/strong&gt;，如果数据发生微小变化，模型的输出也会产生较大波动。这通常表明模型对训练数据过度敏感或过度复杂，称为“过拟合”（overfitting），在新的、未见过的数据上表现可能会较差。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;偏差-方差权衡（Bias-Variance Trade-off）&lt;/strong&gt;：在实际应用中，偏差和方差是一对固有的矛盾。通常情况下，降低模型的偏差会使方差增加，反之亦然。这是因为模型需要在足够简单以防止过拟合（低方差）和足够复杂以捕捉数据的真实规律（低偏差）之间找到平衡点。理想的模型是在偏差和方差都相对较低的情况下达到较低的测试误差。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;下面进行相关理论计算的推导：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;预测误差的表示&lt;/strong&gt;：&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\text{预测误差} = (y(x; \mathcal{D}) - f^*(x))^2&lt;/p&gt;
&lt;p&gt;$$
这里 $y(x; \mathcal{D})$ 是模型在数据集 $\mathcal{D}$ 上对输入 $x$ 的预测值，而 $f^*(x)$ 是真实的目标函数值。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;引入预测的期望值&lt;/strong&gt;：
我们可以将 $y(x; \mathcal{D})$ 分解为其期望 $\mathbb{E}_{\mathcal{D}}[y(x; \mathcal{D})]$ 和该期望值的偏离（即模型预测的方差部分）。所以，预测误差可以重写为：&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
(y(x; \mathcal{D}) - f^&lt;em&gt;(x))^2 = (y(x; \mathcal{D}) - \mathbb{E}&lt;em&gt;{\mathcal{D}}[y(x; \mathcal{D})] + \mathbb{E}&lt;/em&gt;{\mathcal{D}}[y(x; \mathcal{D})] - f^&lt;/em&gt;(x))^2&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;应用平方差公式&lt;/strong&gt;：
使用 $(a+b)^2 = a^2 + b^2 + 2ab$ 展开上面的表达式，我们得到：&lt;/p&gt;
&lt;p&gt;$$
(y(x; \mathcal{D}) - \mathbb{E}&lt;em&gt;{\mathcal{D}}[y(x; \mathcal{D})])^2 + (\mathbb{E}&lt;/em&gt;{\mathcal{D}}[y(x; \mathcal{D})] - f^&lt;em&gt;(x))^2 + 2(y(x; \mathcal{D}) - \mathbb{E}&lt;em&gt;{\mathcal{D}}[y(x; \mathcal{D})])(\mathbb{E}&lt;/em&gt;{\mathcal{D}}[y(x; \mathcal{D})] - f^&lt;/em&gt;(x))&lt;/p&gt;
&lt;p&gt;$$
4. &lt;strong&gt;分解为方差和偏差&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$(y(x; \mathcal{D}) - \mathbb{E}_{\mathcal{D}}[y(x; \mathcal{D})])^2$ 表示预测值相对于其平均（期望）的方差。&lt;/li&gt;
&lt;li&gt;$(\mathbb{E}_{\mathcal{D}}[y(x; \mathcal{D})] - f^*(x))^2$ 表示模型预测的平均值与真实值之间的偏差的平方。&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;交叉项&lt;/strong&gt;：
最后的交叉项 $2(y(x; \mathcal{D}) - \mathbb{E}&lt;em&gt;{\mathcal{D}}[y(x; \mathcal{D})])(\mathbb{E}&lt;/em&gt;{\mathcal{D}}[y(x; \mathcal{D})] - f^*(x))$ 在期望的意义下等于零，因为 $y(x; \mathcal{D}) - \mathbb{E}_{\mathcal{D}}[y(x; \mathcal{D})]$ 的期望为零（即偏离期望的部分的平均是零）。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;对于最后的计算结果取期望，相当于得到在输入数据集上的平均效果：&lt;/p&gt;
&lt;p&gt;在你的表达式中，通过对所有可能的数据集 $\mathcal{D}$ 取期望，我们可以得到模型预测误差的期望分解。这里，预测误差被分解为两个主要部分：&lt;strong&gt;偏差的平方&lt;/strong&gt;和&lt;strong&gt;方差&lt;/strong&gt;。下面将详细解释这个结果：&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;偏差的平方&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;原始的预测误差为 $(y(x; \mathcal{D}) - f^&lt;em&gt;(x))^2$，通过将其重写并加入期望的概念，我们得到：
$$
\text{预测误差} = \mathbb{E}_{\mathcal{D}}[(y(x; \mathcal{D}) - f^&lt;/em&gt;(x))^2]
$$
Prefer complex model from large hypothesis space ℋ&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;方差（Variance）&lt;/strong&gt;：
$$
ED[(y(x;D)−ED[y(x;D)])2]\mathbb{E}&lt;em&gt;{\mathcal{D}}[(y(x; \mathcal{D}) - \mathbb{E}&lt;/em&gt;{\mathcal{D}}[y(x; \mathcal{D})])^2]ED[(y(x;D)−ED[y(x;D)])2]
$$
这个部分衡量的是模型在不同数据集上的预测值如何围绕其平均值波动。方差越大，表明模型对数据的依赖性越强，稳定性越差。Prefer smooth model from simple function space ℋ&lt;/p&gt;
&lt;h5&gt;关键图的分析&lt;/h5&gt;
&lt;p&gt;&amp;lt;img src=&quot;/assets/img/image-20240608122833412.png&quot; alt=&quot;image-20240608122833412&quot; style=&quot;zoom:80%;&quot; /&amp;gt;&lt;/p&gt;
&lt;p&gt;这张图展示了在统计学和机器学习中，一个模型如何通过其函数空间与理想模型（Bayesian Optimal Model）之间的关系来理解偏差与方差。&lt;/p&gt;
&lt;p&gt;图中的关键元素&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;总体函数空间&lt;/strong&gt;（灰色区域）：这个区域代表所有可能的函数，即理论上可以表达的所有可能关系。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;算法使用的函数空间 $\mathcal{C}$&lt;/strong&gt;（橙色区域）：这个较小的空间表示特定学习算法能够学习的函数集合。由于实际算法的能力和计算限制，这个空间通常比总体函数空间小。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;Bayesian Optimal Model $g_{Bayes}$&lt;/strong&gt;：这是理论上的最佳模型，即在所有可能的模型中，平均误差最小的模型。它通常不可达，但是是衡量其他模型性能的基准。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;真实最佳函数 $g^*$&lt;/strong&gt;：在给定算法可达的函数空间 $\mathcal{C}$ 中，最接近 $g_{Bayes}$ 的函数。这是在算法的限制下能达到的最佳预测函数。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;学习得到的函数 $g_n$&lt;/strong&gt;：通过实际训练数据集学习到的函数。这通常会因为数据的限制和随机性而与 $g^*$ 存在差异。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;解释和分析&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;近似误差（Bias Error）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;从 $g_{Bayes}$ 到 $g^*$ 的距离表示了近似误差，即由于算法能力和函数空间限制造成的误差。这是偏差（Bias）的体现，因为即使是最优化算法在当前模型类中也无法达到Bayesian Optimal Model。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;估计误差（Variance Error）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;从 $g^*$ 到 $g_n$ 的距离表示了估计误差，即由于训练数据的不同而引起的模型性能变化。这是方差（Variance）的体现，表明模型对训练数据的小变化是如何影响最终学习到的函数的。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;怎么平衡balance：&lt;strong&gt;Regularization&lt;/strong&gt;&lt;/h5&gt;
&lt;p&gt;正则化是指用于校准机器学习模型以防止过拟合的技术，它挑选出一小部分更有规律的解子集（惩罚参数的异常行为），以减少方差。
通常，它是通过在损失函数中添加惩罚来实现的：&lt;/p&gt;
&lt;p&gt;$\begin{aligned}&amp;amp;\bullet\quad L_0\text{ regularization: }\hat{R}=\ell(y,\hat{y})+\lambda|w|_0\&amp;amp;\bullet\quad L_1\text{regularization: }\hat{R}=\ell(y,\hat{y})+\lambda|w|_1\&amp;amp;\bullet\quad L_2\text{ regularization: }\hat{R}=\ell(y,\hat{y})+\lambda|w|_2\&amp;amp;\bullet\quad\text{Mixed regularization: }\hat{R}=\ell(y,\hat{y})+\lambda_1|w|_1+\lambda_2|w|_2\end{aligned}$&lt;/p&gt;
&lt;h4&gt;VC Dimension: Measure Model Complexity&lt;/h4&gt;
&lt;h4&gt;Parametric and Non-Parametric Density Estimation&lt;/h4&gt;
&lt;p&gt;参数密度估计方法（Parametric Density Estimation Method）是统计学中用于估计数据分布的一种方法。这种方法假设数据来自一个已知形式的概率分布，并通过估计该分布的参数来描述数据的概率密度。以下是对参数密度估计方法的详细介绍：&lt;/p&gt;
&lt;h5&gt;参数密度估计的基本概念&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;假设已知分布形式&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;参数密度估计方法假设数据样本来自某个&lt;strong&gt;已知形式的概率分布&lt;/strong&gt;（例如正态分布、指数分布等）。这种假设使得我们只需要&lt;strong&gt;估计分布的参数&lt;/strong&gt;，而不是整个分布。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;估计分布的参数&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;给定一个样本数据集，通过统计方法（例如最大似然估计或贝叶斯估计）来估计该分布的参数。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;常见的参数密度估计方法&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;正态分布（Normal Distribution）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;假设数据服从正态分布 $N(\mu, \sigma^2)$，其中 $\mu$ 是均值，$\sigma^2$ 是方差。&lt;/li&gt;
&lt;li&gt;参数估计：
&lt;ul&gt;
&lt;li&gt;均值 $\mu$ 的估计： $\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_i$&lt;/li&gt;
&lt;li&gt;方差 $\sigma^2$ 的估计： $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \hat{\mu})^2$&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;指数分布（Exponential Distribution）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;假设数据服从指数分布 $\text{Exp}(\lambda)$，其中 $\lambda$ 是参数。&lt;/li&gt;
&lt;li&gt;参数估计：
&lt;ul&gt;
&lt;li&gt;参数 $\lambda$ 的估计： $\hat{\lambda} = \frac{1}{\bar{x}}$，其中 $\bar{x}$ 是样本均值。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;泊松分布（Poisson Distribution）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;假设数据服从泊松分布 $\text{Poisson}(\lambda)$，其中 $\lambda$ 是事件发生的平均速率。&lt;/li&gt;
&lt;li&gt;参数估计：
&lt;ul&gt;
&lt;li&gt;参数 $\lambda$ 的估计： $\hat{\lambda} = \frac{1}{n} \sum_{i=1}^{n} x_i$&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;参数估计方法&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;最大似然估计（Maximum Likelihood Estimation, MLE）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;MLE方法通过最大化样本数据在假设分布下的似然函数来估计分布参数。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;例如，对于正态分布，似然函数为：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
L(\mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right)&lt;/p&gt;
&lt;p&gt;$$
通过对数似然函数取对数并求导，得到参数的估计值。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;贝叶斯估计（Bayesian Estimation）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;贝叶斯估计通过结合先验分布和似然函数，得到参数的后验分布。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;例如，对于正态分布的均值参数 $\mu$，如果先验分布为 $\mu \sim N(\mu_0, \tau^2)$，则后验分布为：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\mu | x \sim N \left( \frac{\mu_0 / \tau^2 + \bar{x} / \sigma^2}{1 / \tau^2 + 1 / \sigma^2}, \frac{1}{1 / \tau^2 + 1 / \sigma^2} \right)&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;贝叶斯方法提供了参数估计的不确定性信息。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;优缺点&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;优点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;简洁&lt;/strong&gt;：参数密度估计方法通过少量参数描述数据分布，模型简洁易理解。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;高效&lt;/strong&gt;：估计参数所需计算量较小，适用于大规模数据集。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;缺点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;依赖假设&lt;/strong&gt;：参数密度估计方法&lt;strong&gt;依赖于对数据分布形式的假设。如果假设不正确，估计结果会有偏差。&lt;/strong&gt;&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;灵活性不足&lt;/strong&gt;：对于复杂分布或多峰分布，参数密度估计方法可能无法有效描述。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;应用场景&lt;/h6&gt;
&lt;p&gt;参数密度估计方法广泛应用于各类统计分析和机器学习任务中，例如：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;数据建模&lt;/strong&gt;：对数据进行概率建模，描述数据生成过程。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;假设检验&lt;/strong&gt;：检验数据是否符合特定分布。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;预测分析&lt;/strong&gt;：基于估计的分布进行概率预测和风险评估。&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;非参数密度估计的基本概念&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;不假设特定分布形式&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;与参数密度估计不同，非参数方法不假设数据来自某种已知形式的概率分布。这使得非参数方法在面对未知或复杂分布时具有更高的适应性。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;直接估计密度函数&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;非参数方法直接从数据中估计密度函数，常见的方法包括直方图、核密度估计（KDE）和k近邻密度估计（k-NN Density Estimation）。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;常见的非参数密度估计方法&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;直方图（Histogram）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;直方图是最简单的非参数密度估计方法，通过将数据分割成若干个等宽的区间（bin），计算每个区间内的数据点数量来估计密度。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;直方图的密度估计公式：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\hat{f}(x) = \frac{1}{n \cdot h} \sum_{i=1}^{n} I \left( x_i \in \text{bin}(x) \right)&lt;/p&gt;
&lt;p&gt;$$
其中 $h$ 是bin的宽度，$I$ 是指示函数。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;核密度估计（Kernel Density Estimation, KDE）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;核密度估计是一种平滑的非参数方法，通过在每个数据点上放置一个核函数，并对所有核函数进行加权平均来估计密度。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;KDE的密度估计公式：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\hat{f}(x) = \frac{1}{n h} \sum_{i=1}^{n} K \left( \frac{x - x_i}{h} \right)&lt;/p&gt;
&lt;p&gt;$$
其中 $K$ 是核函数（如高斯核），$h$ 是带宽（平滑参数）。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;核函数常见选择：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;高斯核： $K(u) = \frac{1}{\sqrt{2\pi}} e^{-u^2/2}$&lt;/li&gt;
&lt;li&gt;其他核函数：均匀核、三角核等。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;k近邻密度估计（k-Nearest Neighbors Density Estimation）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;k近邻密度估计通过在给定点附近找到k个最近邻点，根据这些邻点的密度来估计给定点的密度。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;k-NN密度估计公式：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\hat{f}(x) = \frac{k}{n V_k(x)}&lt;/p&gt;
&lt;p&gt;$$
其中 $V_k(x)$ 是包含第k个最近邻点的球体积。&lt;/p&gt;
&lt;h6&gt;非参数密度估计的优缺点&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;优点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;灵活性高&lt;/strong&gt;：非参数方法不假设数据分布形式，能够适应多种复杂数据结构。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;捕捉细节&lt;/strong&gt;：非参数方法能够捕捉数据的局部特征和细节，如多峰分布。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;缺点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;计算成本高&lt;/strong&gt;：非参数方法通常计算量较大，尤其是对于大规模数据集。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;选择参数敏感&lt;/strong&gt;：如带宽（KDE）和邻居数量（k-NN）的选择对估计结果影响较大，需谨慎选择。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;应用场景&lt;/h6&gt;
&lt;p&gt;非参数密度估计方法广泛应用于统计分析和机器学习的各个领域，包括：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;数据探索&lt;/strong&gt;：对数据进行初步探索和可视化，了解数据的分布特征。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;异常检测&lt;/strong&gt;：基于密度估计发现数据中的异常点。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;模式识别&lt;/strong&gt;：在无监督学习中用于识别数据的潜在模式和结构。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;概率预测&lt;/strong&gt;：在没有明确分布假设的情况下进行概率预测和风险评估。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;示例&lt;/h6&gt;
&lt;p&gt;核密度估计（KDE）示例&lt;/p&gt;
&lt;p&gt;假设我们有一组一维数据 ${x_1, x_2, ., x_n}$，希望估计其概率密度函数。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;选择核函数和带宽&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;常用核函数：高斯核 $K(u) = \frac{1}{\sqrt{2\pi}} e^{-u^2/2}$&lt;/li&gt;
&lt;li&gt;选择带宽 $h$&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;计算密度估计&lt;/strong&gt;：&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\hat{f}(x) = \frac{1}{n h} \sum_{i=1}^{n} \frac{1}{\sqrt{2\pi}} e^{-\left( \frac{x - x_i}{h} \right)^2 / 2}&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;绘制密度估计曲线&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算不同 $x$ 值对应的密度估计 $\hat{f}(x)$&lt;/li&gt;
&lt;li&gt;绘制 $\hat{f}(x)$ 对 $x$ 的曲线图&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;通过以上步骤，可以得到数据的平滑密度估计曲线，反映数据的分布情况。&lt;/p&gt;
&lt;p&gt;非参数密度估计方法在处理复杂和未知分布的数据时非常有效，是统计分析和数据科学中的重要工具。&lt;/p&gt;
&lt;h3&gt;Bayes Networks, Hidden Markov Mode&lt;/h3&gt;
&lt;h4&gt;引入&lt;/h4&gt;
&lt;h5&gt;区分性模型（Discriminative Models）&lt;/h5&gt;
&lt;p&gt;区分性模型用于直接学习输入数据和输出标签之间的决策边界。常见的区分性模型包括：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;逻辑回归（Logistic Regression）&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;用于二分类或多分类问题，模型学习数据点属于某个类别的概率。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;支持向量机（Support Vector Machines, SVM）&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;用于二分类或多分类问题，通过寻找最大化分类边界的超平面来区分数据点。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;决策树（Decision Trees）&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;通过递归地将数据集分割成更小的子集，形成树形结构，用于分类和回归任务。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h5&gt;生成性模型（Generative Models）&lt;/h5&gt;
&lt;p&gt;生成性模型用于学习数据的生成过程，可以生成新的数据点。常见的生成性模型包括：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;隐马尔可夫模型（Hidden Markov Models, HMM）&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;一种用于处理序列数据的统计模型，假设系统的未来状态只依赖于当前状态，观测数据与隐藏状态相关联。&lt;/li&gt;
&lt;li&gt;应用领域：语音识别、自然语言处理、生物信息学等。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;贝叶斯网络（Bayesian Networks）&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;一种用于表示变量之间的条件依赖关系的有向无环图（DAG），可以用于推理和决策。&lt;/li&gt;
&lt;li&gt;应用领域：故障诊断、医疗诊断、预测和决策支持等。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;变分自编码器（Variational Autoencoders, VAE）&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;一种生成模型，通过将输入数据编码为潜在变量，再从潜在空间中采样并解码生成数据。&lt;/li&gt;
&lt;li&gt;应用领域：图像生成、数据压缩、异常检测等。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;生成对抗网络（Generative Adversarial Networks, GAN）&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;通过两个网络（生成器和判别器）之间的对抗训练，生成与真实数据分布相似的数据。&lt;/li&gt;
&lt;li&gt;应用领域：图像生成、图像修复、风格迁移等。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;二者对比：&lt;strong&gt;生成模型仍可执行判别任务&lt;/strong&gt;&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;区分型模型：&lt;/th&gt;
&lt;th&gt;生成式模型&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;只能对现有数据实例进行分类或预测。 &amp;lt;br/&amp;gt;只能学习输入和输出之间的相关性。 &amp;lt;br/&amp;gt;无法处理缺失数据。&lt;/td&gt;
&lt;td&gt;生成符合数据分布的新样本。&amp;lt;br/&amp;gt;捕捉数据的潜在结构和因果因素。&amp;lt;br/&amp;gt;可从部分观测数据中推断缺失数据&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;$p_\theta(y|x)=\frac{p_\theta(x|y)p(y)}{p_\theta(x)}\propto p_\theta(x|y)p(y)$&lt;/p&gt;
&lt;p&gt;$\hat{y}=\operatorname{argmax}_yp(y|x,\theta)=\operatorname{argmax}_yp(x|y,\theta)p(y)$&lt;/p&gt;
&lt;p&gt;在生成式模型（Generative Models）中，联合分布和边际分布是两个重要的概念，理解它们有助于掌握生成式模型的基本原理和应用。下面详细解释这两个概念：&lt;/p&gt;
&lt;h5&gt;联合分布（Joint Distribution）$p_\theta(x, y)$&lt;/h5&gt;
&lt;p&gt;&lt;strong&gt;定义&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;联合分布 $p_\theta(x, y)$ 表示变量 $x$ 和 $y$ 同时取特定值的概率。&lt;/li&gt;
&lt;li&gt;这里，$\theta$ 是模型的参数。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;解释&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;在生成式模型中，联合分布描述了整个系统的全貌，即如何生成数据 $x$ 和标签 $y$（或隐变量）。&lt;/li&gt;
&lt;li&gt;对于一个给定的生成式模型，我们通常会建模 $x$ 和 $y$ 的联合分布，以便能够从中生成新的样本对。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;公式&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;联合分布可以分解为条件分布和边际分布的乘积：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
p_\theta(x, y) = p_\theta(y|x) \cdot p_\theta(x)&lt;/p&gt;
&lt;p&gt;$$
或者：&lt;/p&gt;
&lt;p&gt;$$
p_\theta(x, y) = p_\theta(x|y) \cdot p_\theta(y)&lt;/p&gt;
&lt;p&gt;$$
其中，$p_\theta(y|x)$ 是在给定 $x$ 的情况下 $y$ 的条件分布，$p_\theta(x|y)$ 是在给定 $y$ 的情况下 $x$ 的条件分布，$p_\theta(x)$ 和 $p_\theta(y)$ 是边际分布。&lt;/p&gt;
&lt;h5&gt;边际分布（Marginal Distribution）$p_\theta(x)$&lt;/h5&gt;
&lt;p&gt;&lt;strong&gt;定义&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;边际分布 $p_\theta(x)$ 是联合分布 $p_\theta(x, y)$ 对 $y$ 的边际化（积分或求和）结果。&lt;/li&gt;
&lt;li&gt;它表示变量 $x$ 取特定值的概率，忽略了 $y$ 的影响。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;解释&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;边际分布反映了生成模型中变量 $x$ 的整体分布情况，而不考虑其他变量（如 $y$）。&lt;/li&gt;
&lt;li&gt;在生成式模型中，边际分布 $p_\theta(x)$ 可以用于生成新的数据样本 $x$。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;公式&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对于离散变量，边际分布是联合分布对所有可能的 $y$ 值求和得到的：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
p_\theta(x) = \sum_y p_\theta(x, y)&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对于连续变量，边际分布是联合分布对 $y$ 进行积分得到的：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
p_\theta(x) = \int p_\theta(x, y) , dy&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;h6&gt;应用示例&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;变分自编码器（Variational Autoencoders, VAE）&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;在VAE中，我们感兴趣的是如何生成数据 $x$ 。我们通过隐变量 $z$ 的联合分布建模生成过程。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;联合分布： $p_\theta(x, z)$&lt;/li&gt;
&lt;li&gt;边际分布： $p_\theta(x) = \int p_\theta(x, z) , dz$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;在训练过程中，我们通过优化变分下界（ELBO）来近似求解 $p_\theta(x)$，使得模型能够生成与训练数据分布相似的新数据点。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;生成对抗网络（Generative Adversarial Networks, GAN）&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;在GAN中，我们通过对抗训练来使生成器能够生成逼真的数据样本 $x$。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;联合分布： $p_\theta(x, z)$，其中 $z$ 是随机噪声。&lt;/li&gt;
&lt;li&gt;边际分布： $p_\theta(x) = \int p_\theta(x, z) , dz$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;生成器学习从噪声 $z$ 生成数据 $x$，从而逼近真实数据分布 $p_{data}(x)$。&lt;/p&gt;
&lt;h6&gt;总结&lt;/h6&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;联合分布 $p_\theta(x, y)$&lt;/strong&gt;：描述了变量 $x$ 和 $y$ 的联合概率，&lt;strong&gt;全面反映系统的生成机制&lt;/strong&gt;。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;边际分布 $p_\theta(x)$&lt;/strong&gt;：通过对联合分布进行边际化得到，只描述变量 $x$ 的概率分布，常用于生成&lt;strong&gt;新的数据样本&lt;/strong&gt;。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;理解联合分布和边际分布在生成式模型中的作用，有助于更好地掌握生成式模型的工作原理和应用场景。&lt;/p&gt;
&lt;h4&gt;Hidden Markov Models (HMMs)&lt;/h4&gt;
&lt;h5&gt;First-Order Markov Chain&lt;/h5&gt;
&lt;h6&gt;定义&lt;/h6&gt;
&lt;p&gt;一阶马尔可夫链是一种时间序列模型，其特征是当前时间步的值&lt;strong&gt;仅依赖于前一个时间步的值&lt;/strong&gt;，而不依赖于更早之前的值。形式化地说，对于一个时间序列 $x_1, x_2, \ldots, x_L$，如果满足以下条件，则称为一阶马尔可夫链：&lt;/p&gt;
&lt;p&gt;$$
p(x_i | x_{i-1}, x_{i-2}, \ldots, x_1) = p(x_i | x_{i-1})
$$&lt;/p&gt;
&lt;p&gt;也就是说，在给定 $x_{i-1}$ 的条件下，$x_i$ 与之前的所有值 $x_{i-2}, \ldots, x_1$ 条件独立。&lt;/p&gt;
&lt;h6&gt;转移概率（Transition Probability）&lt;/h6&gt;
&lt;p&gt;转移概率描述了从一个状态到另一个状态的概率。在一阶马尔可夫链中，转移概率可以表示为：&lt;/p&gt;
&lt;p&gt;$$
a_{st} = P(x_i = q_t | x_{i-1} = q_s)
$$&lt;/p&gt;
&lt;p&gt;其中，$a_{st}$ 表示从状态 $q_s$ 转移到状态 $q_t$ 的概率。&lt;/p&gt;
&lt;h6&gt;联合概率分布&lt;/h6&gt;
&lt;p&gt;对于一阶马尔可夫链，联合概率分布可以分解为初始状态的概率和一系列转移概率的乘积。具体来说，给定序列 $x_1, x_2, \ldots, x_L$，其联合概率分布可以表示为：&lt;/p&gt;
&lt;p&gt;$$
p(\mathbf{x}) = p(x_1) \prod_{i=2}^{L} p(x_i | x_{i-1})
$$&lt;/p&gt;
&lt;p&gt;公式解释&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;初始状态概率 $p(x_1)$&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这是时间序列的起始点 $x_1$ 的概率。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;条件概率 $p(x_i | x_{i-1})$&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这是在给定前一个状态 $x_{i-1}$ 的条件下，当前状态 $x_i$ 的概率。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;联合概率分布的展开&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;通过将初始状态的概率与各个时间步的条件概率相乘，得到整个时间序列的联合概率分布。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;隐马尔可夫模型的三个任务&lt;/h6&gt;
&lt;p&gt;1、HMM 的评估问题：给定模型$M$和观测序列$O$，计算观测序列$P(O|M)$​​的概率。&lt;/p&gt;
&lt;p&gt;If hidden state sequence $x$ is known:
$\text{Likelihood}=p(\boldsymbol{O}\mid\boldsymbol{x})=\prod_{i=1}^Lp(o_i\mid x_i)$
Then, the joint probability is
$p(\boldsymbol{O}\mid\boldsymbol{x})p(\boldsymbol{x})=\prod_{i=1}^Lp(:o_i\mid x_i:)\times\left(\pi_{x_1}\times\prod_{i=2}^Lp(:x_i\mid x_{i-1}:)\right)$
The likelihood of observing sequence $\boldsymbol{O}$ can be obtained by marginalizing over $x:$
$p(0)=\sum_xp(0,x)=\sum_xp(0\mid x)p(x)$&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Forward Algorithm&lt;/th&gt;
&lt;th&gt;Backward Algorithm&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240608164440643.png&quot; alt=&quot;image-20240608164440643&quot; /&gt;&lt;/td&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240608165041925.png&quot; alt=&quot;image-20240608165041925&quot; /&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;2、HMM 中的解码问题：给定模型$M$和观测序列$O$，计算最可能的隐藏状态序列$\operatorname{argmax}_xp(x,O|M)$​。&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240608170226067.png&quot; alt=&quot;image-20240608170226067&quot; /&gt;&lt;/p&gt;
&lt;p&gt;3、在隐马尔可夫模型（Hidden Markov Model, HMM）中，学习问题的核心是根据观测序列$\mathbf{O}$来估计模型的参数。具体来说，我们希望找到使得观测序列概率最大的模型参数。这个问题可以形式化为以下优化问题：&lt;/p&gt;
&lt;p&gt;$M=argmax_M P(M∣O)M = \arg\max_M P(M | \mathbf{O})=argmax_M P(M∣O)$​&lt;/p&gt;
&lt;p&gt;学习 - Baum-Welch算法&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;已知隐藏状态序列时的参数估计&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;如果已知隐藏状态序列，可以通过计数来直接估计转移矩阵 $\mathbf{A}$ 的参数：
$$
\hat{a}&lt;em&gt;{ij} = \frac{#T&lt;/em&gt;{ij}}{\sum_{j&apos;} #T_{ij&apos;}}
$$&lt;/p&gt;
&lt;p&gt;其中，$#T_{ij}$ 表示从状态 $i$ 转移到状态 $j$ 的次数，$\sum_{j&apos;} #T_{ij&apos;}$ 表示从状态 $i$ 转移到任何状态的总次数。&lt;/p&gt;
&lt;p&gt;然而，通常情况下，隐藏状态 $x$ 是未知的，因此无法直接计数 $#T_{ij}$。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;Baum-Welch算法&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;Baum-Welch算法通过E步和M步来迭代优化模型参数：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;期望步骤（E步）&lt;/strong&gt;：使用当前参数 $\theta_{\text{old}}$ 和观测到的数据估计（猜测）缺失数据的值。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;最大化步骤（M步）&lt;/strong&gt;：使用E步生成的完整数据来更新模型参数。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;strong&gt;详细步骤&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;假设训练样本由长度为 $L$ 的单个序列组成。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;初始化&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;初始化模型参数 $\theta = (\mathbf{A}, \mathbf{E}, \pi)$。这些初始值可以是随机的或通过其他方法估计的。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;期望步骤（E步）&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;计算在当前参数 $\theta$ 下观测序列的隐含变量的期望值，包括前向概率、后向概率和联合概率。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;前向概率&lt;/strong&gt; $\alpha_t(i)$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算从初始状态到时刻 $t$ 的状态 $q_i$ 的概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\alpha_t(i) = P(O_1, O_2, \ldots, O_t, x_t = q_i | \theta)&lt;/p&gt;
&lt;p&gt;$$
2. &lt;strong&gt;后向概率&lt;/strong&gt; $\beta_t(i)$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算从时刻 $t$ 的状态 $q_i$ 出发，到序列结束的观测概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\beta_t(i) = P(O_{t+1}, O_{t+2}, \ldots, O_L | x_t = q_i, \theta)&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;联合概率&lt;/strong&gt; $\xi_t(i, j)$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算在时刻 $t$ 处于状态 $q_i$ 且在时刻 $t+1$ 处于状态 $q_j$ 的联合概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\xi_t(i, j) = \frac{\alpha_t(i) a_{ij} e_j(O_{t+1}) \beta_{t+1}(j)}{\sum_{i=1}^N \sum_{j=1}^N \alpha_t(i) a_{ij} e_j(O_{t+1}) \beta_{t+1}(j)}&lt;/p&gt;
&lt;p&gt;$$
4. &lt;strong&gt;单状态概率&lt;/strong&gt; $\gamma_t(i)$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算在时刻 $t$ 处于状态 $q_i$ 的概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\gamma_t(i) = \frac{\alpha_t(i) \beta_t(i)}{\sum_{i=1}^N \alpha_t(i) \beta_t(i)}&lt;/p&gt;
&lt;p&gt;$$
5. 最大化步骤（M步）&lt;/p&gt;
&lt;p&gt;使用期望步骤计算的期望值来更新模型参数。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;更新初始概率分布&lt;/strong&gt; $\pi$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;更新初始状态的概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\pi_i = \gamma_1(i)&lt;/p&gt;
&lt;p&gt;$$
2. &lt;strong&gt;更新转移概率矩阵&lt;/strong&gt; $\mathbf{A}$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;更新从状态 $q_i$ 到状态 $q_j$ 的转移概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
a_{ij} = \frac{\sum_{t=1}^{L-1} \xi_t(i, j)}{\sum_{t=1}^{L-1} \gamma_t(i)}&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;更新发射概率矩阵&lt;/strong&gt; $\mathbf{E}$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;更新在状态 $q_j$ 下观测到符号 $o_k$ 的概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
e_j(o_k) = \frac{\sum_{t=1, O_t = o_k}^{L} \gamma_t(j)}{\sum_{t=1}^{L} \gamma_t(j)}&lt;/p&gt;
&lt;p&gt;$$
4. 迭代&lt;/p&gt;
&lt;p&gt;重复E步和M步，直到模型参数收敛或达到预定的迭代次数。&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240608173108343.png&quot; alt=&quot;image-20240608173108343&quot; /&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;隐马尔可夫模型（HMM）： 我们从不观察内部状态。我们只能观察取决于内部状态的输出&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240608163450601.png&quot; alt=&quot;image-20240608163450601&quot; /&gt;&lt;/p&gt;
&lt;h4&gt;Bayes Network&lt;/h4&gt;
&lt;p&gt;朴素贝叶斯分类器是一种基于贝叶斯定理的简单而强大的概率分类算法。它在文本分类、垃圾邮件过滤、情感分析等任务中广泛应用。&lt;/p&gt;
&lt;h5&gt;主要概念&lt;/h5&gt;
&lt;h6&gt;贝叶斯定理&lt;/h6&gt;
&lt;p&gt;贝叶斯定理描述了后验概率（在观察到数据后某一假设为真的概率）与先验概率（假设为真的初始概率）之间的关系。公式如下：&lt;/p&gt;
&lt;p&gt;$$
P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
$$
其中：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$P(A|B)$ 是在事件 $B$ 发生的条件下，事件 $A$ 发生的概率（后验概率）。&lt;/li&gt;
&lt;li&gt;$P(B|A)$ 是在事件 $A$ 发生的条件下，事件 $B$ 发生的概率（似然）。&lt;/li&gt;
&lt;li&gt;$P(A)$ 是事件 $A$ 发生的概率（先验概率）。&lt;/li&gt;
&lt;li&gt;$P(B)$ 是事件 $B$ 发生的概率。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;朴素假设&lt;/h6&gt;
&lt;p&gt;朴素贝叶斯分类器之所以称为“朴素”，是因为它假设特征之间是条件独立的。即在给定类别的条件下，每个特征的出现都是独立的。虽然这一假设在实际应用中并不总是成立，但它使得计算变得简单且有效。&lt;/p&gt;
&lt;h5&gt;朴素贝叶斯分类器的公式&lt;/h5&gt;
&lt;p&gt;给定一个特征向量 $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ 和类别 $C_k$，朴素贝叶斯分类器将特征向量分类到类别 $C_k$ 的决策规则是选择使后验概率 $P(C_k|\mathbf{x})$ 最大的类别：&lt;/p&gt;
&lt;p&gt;$$
C_{k} = \arg\max_{C_k} P(C_k|\mathbf{x})
$$&lt;/p&gt;
&lt;p&gt;根据贝叶斯定理，后验概率 $P(C_k|\mathbf{x})$ 可以表示为：&lt;/p&gt;
&lt;p&gt;$$
P(C_k|\mathbf{x}) = \frac{P(\mathbf{x}|C_k) \cdot P(C_k)}{P(\mathbf{x})}
$$&lt;/p&gt;
&lt;p&gt;由于 $P(\mathbf{x})$ 对于所有类别 $C_k$ 都是常数，可以简化为：&lt;/p&gt;
&lt;p&gt;$$
P(C_k|\mathbf{x}) \propto P(\mathbf{x}|C_k) \cdot P(C_k)
$$&lt;/p&gt;
&lt;p&gt;在朴素假设下，特征之间相互独立，因此：&lt;/p&gt;
&lt;p&gt;$$
P(\mathbf{x}|C_k) = \prod_{i=1}^{n} P(x_i|C_k)
$$&lt;/p&gt;
&lt;p&gt;最终分类决策规则变为：&lt;/p&gt;
&lt;p&gt;$$
C_{k} = \arg\max_{C_k} P(C_k) \prod_{i=1}^{n} P(x_i|C_k)
$$&lt;/p&gt;
&lt;h5&gt;应用步骤&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;训练阶段&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算每个类别的先验概率 $P(C_k)$。&lt;/li&gt;
&lt;li&gt;计算在每个类别条件下，每个特征的条件概率 $P(x_i|C_k)$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;预测阶段&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对于每个待分类的样本，计算其在每个类别下的后验概率 $P(C_k|\mathbf{x})$。&lt;/li&gt;
&lt;li&gt;选择后验概率最大的类别作为预测结果。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h5&gt;示例&lt;/h5&gt;
&lt;p&gt;假设有一个简单的垃圾邮件过滤器，根据邮件中的特征（如是否包含某个词语）来判断邮件是否为垃圾邮件。我们有以下训练数据：&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;邮件内容（特征）&lt;/th&gt;
&lt;th&gt;类别&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&quot;免费&quot;、&quot;优惠&quot;、&quot;点击&quot;&lt;/td&gt;
&lt;td&gt;垃圾邮件&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&quot;会议&quot;、&quot;报告&quot;、&quot;日程&quot;&lt;/td&gt;
&lt;td&gt;正常邮件&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&quot;优惠&quot;、&quot;报告&quot;、&quot;点击&quot;&lt;/td&gt;
&lt;td&gt;垃圾邮件&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&quot;免费&quot;、&quot;会议&quot;、&quot;日程&quot;&lt;/td&gt;
&lt;td&gt;正常邮件&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;训练阶段计算每个类别的先验概率和条件概率：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$P(垃圾邮件) = \frac{2}{4} = 0.5$&lt;/li&gt;
&lt;li&gt;$P(正常邮件) = \frac{2}{4} = 0.5$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;假设我们有一个待分类的邮件包含特征：&quot;免费&quot;、&quot;优惠&quot;、&quot;点击&quot;。&lt;/p&gt;
&lt;p&gt;计算该邮件为垃圾邮件和正常邮件的后验概率：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$P(垃圾邮件|\text{&quot;免费&quot;}\text{&quot;优惠&quot;}\text{&quot;点击&quot;}) \propto P(垃圾邮件) \cdot P(\text{&quot;免费&quot;}|垃圾邮件) \cdot P(\text{&quot;优惠&quot;}|垃圾邮件) \cdot P(\text{&quot;点击&quot;}|垃圾邮件)$&lt;/li&gt;
&lt;li&gt;$P(正常邮件|\text{&quot;免费&quot;}\text{&quot;优惠&quot;}\text{&quot;点击&quot;}) \propto P(正常邮件) \cdot P(\text{&quot;免费&quot;}|正常邮件) \cdot P(\text{&quot;优惠&quot;}|正常邮件) \cdot P(\text{&quot;点击&quot;}|正常邮件)$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;选择后验概率最大的类别作为预测结果。&lt;/p&gt;
&lt;h5&gt;Laplace Smoothing&lt;/h5&gt;
&lt;p&gt;When the number of samples are small, it is likely to encounter cases where&lt;/p&gt;
&lt;p&gt;$Count(𝑌= 𝑦) = 0 \ or \ Count(𝑋_𝑖 = 𝑥, 𝑌 = 𝑦 )= 0$&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240608192503848.png&quot; alt=&quot;image-20240608192503848&quot; /&gt;&lt;/p&gt;
&lt;h3&gt;七、Unsupervised Learning - Clustering&lt;/h3&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240608201036980.png&quot; alt=&quot;image-20240608201036980&quot; /&gt;&lt;/p&gt;
&lt;h4&gt;K-means 聚类算法&lt;/h4&gt;
&lt;p&gt;K-means 聚类是一种常见的无监督学习算法，广泛用于数据挖掘、图像处理和模式识别等领域。该算法通过迭代优化目标函数，将数据点分配到 $K$ 个聚类中心，使得同一个聚类内的数据点尽可能接近，而不同聚类的数据点尽可能远离。&lt;/p&gt;
&lt;h5&gt;算法步骤&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;初始化聚类中心&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;随机选择 $K$ 个数据点作为初始的聚类中心 $\mu_1, \mu_2, \ldots, \mu_K$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;重复以下步骤，直到聚类分配不再改变&lt;/strong&gt;：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;分配步骤（Assignment step）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;将每个数据点分配到离它最近的聚类中心。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;数学表达式为：对于每个数据点 $x_n$，找到最近的聚类中心 $\mu_k$，使得：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
C_k \leftarrow { n \mid x_n \text{ closest to } \mu_k }&lt;/p&gt;
&lt;p&gt;$$
- 简单来说，就是计算每个数据点到所有聚类中心的距离，并将数据点分配给最近的聚类中心。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;更新步骤（Update step）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;更新每个聚类的中心为分配给该聚类的所有数据点的均值。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;数学表达式为：对于每个聚类中心 $\mu_k$，更新其位置为：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\mu_k \leftarrow \frac{1}{|C_k|} \sum_{n \in C_k} x_n&lt;/p&gt;
&lt;p&gt;$$
- 这一步骤的目的是通过计算均值来重新定位聚类中心，使其更接近当前聚类内的所有数据点。&lt;/p&gt;
&lt;h5&gt;算法收敛&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;K-means 算法通过不断迭代上述两个步骤，最终达到收敛状态，即&lt;strong&gt;聚类分配不再改变&lt;/strong&gt;。&lt;/li&gt;
&lt;li&gt;算法的收敛性通常较快，但最终结果可能&lt;strong&gt;依赖于初始聚类中心&lt;/strong&gt;的选择。因此，&lt;strong&gt;常常需要多次运行 K-means 算法，并选择最优的聚类结果。&lt;/strong&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;优缺点&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;优点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;简单且容易实现。&lt;/li&gt;
&lt;li&gt;计算速度快，适用于大规模数据集。&lt;/li&gt;
&lt;li&gt;在聚类数 $K$ 固定的情况下，算法的复杂度为 $O(n \cdot K \cdot t)$，其中 $n$ 为数据点的数量， $t$ 为迭代次数。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;缺点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;需要&lt;strong&gt;预先指定&lt;/strong&gt;聚类数 $K$。&lt;/li&gt;
&lt;li&gt;对&lt;strong&gt;初始&lt;/strong&gt;聚类中心&lt;strong&gt;敏感&lt;/strong&gt;，不同的初始选择可能导致不同的聚类结果。&lt;/li&gt;
&lt;li&gt;适用于球状聚类，&lt;strong&gt;对形状复杂的聚类效果较差&lt;/strong&gt;。&lt;/li&gt;
&lt;li&gt;可能收敛到&lt;strong&gt;局部最优解&lt;/strong&gt;，而非全局最优解。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;怎么确定要聚成几簇&lt;/h5&gt;
&lt;p&gt;&amp;lt;img src=&quot;/assets/img/image-20240608202158069.png&quot; alt=&quot;image-20240608202158069&quot; style=&quot;zoom:67%;&quot; /&amp;gt;&lt;/p&gt;
&lt;p&gt;对于其他距离度量方式。选择合适地centroid可能会变得很复杂。不是简单地平均&lt;/p&gt;
&lt;h4&gt;EM Algorithm for GMM&lt;/h4&gt;
&lt;h4&gt;EM 算法在高斯混合模型（GMM）中的应用&lt;/h4&gt;
&lt;h5&gt;概述&lt;/h5&gt;
&lt;p&gt;高斯混合模型（Gaussian Mixture Model, GMM）是一种概率模型，用于表示具有多个高斯分布的混合体。EM算法（Expectation-Maximization Algorithm）是一种迭代优化算法，用于在存在潜在变量的情况下，找到模型参数的最大似然估计。GMM 中的 EM 算法通过交替执行期望步骤（E步）和最大化步骤（M步）来估计参数。&lt;/p&gt;
&lt;h5&gt;具体步骤&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;初始化&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;随机初始化每个高斯分布的参数：均值（$\mu_k$）、协方差矩阵（$\Sigma_k$）和混合系数（$\pi_k$）。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;期望步骤（E-step）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算每个数据点属于每个高斯分布的后验概率（即责任度$\gamma_{nk}$）。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\gamma_{nk} = \frac{\pi_k \mathcal{N}(x_n | \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j \mathcal{N}(x_n | \mu_j, \Sigma_j)}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这里，$\mathcal{N}(x_n | \mu_k, \Sigma_k)$ 表示数据点 $x_n$ 在第 $k$ 个高斯分布下的概率密度函数。&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;最大化步骤（M-step）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;更新模型参数，使得在当前责任度下对数似然函数最大化。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;更新混合系数：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\pi_k = \frac{N_k}{N}&lt;/p&gt;
&lt;p&gt;$$
其中，$N_k = \sum_{n=1}^{N} \gamma_{nk}$ 是第 $k$ 个高斯分布的有效样本数。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;更新均值：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\mu_k = \frac{1}{N_k} \sum_{n=1}^{N} \gamma_{nk} x_n&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;更新协方差矩阵：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\Sigma_k = \frac{1}{N_k} \sum_{n=1}^{N} \gamma_{nk} (x_n - \mu_k)(x_n - \mu_k)^T&lt;/p&gt;
&lt;p&gt;$$
4. &lt;strong&gt;重复&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;重复执行 E 步骤和 M 步骤，直到对数似然函数的增量小于预设阈值或者达到最大迭代次数。&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;图示说明&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;硬聚类（Hard Clustering）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;每个数据点只能属于一个聚类。&lt;/li&gt;
&lt;li&gt;例如K-means算法，每个点被分配到最近的聚类中心。&lt;/li&gt;
&lt;li&gt;缺点：在数据自然形成重叠聚类或不规则形状时效果不好。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;软聚类（Soft Clustering）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;每个数据点可以以某个程度属于多个聚类。&lt;/li&gt;
&lt;li&gt;例如模糊C均值（Fuzzy C-means）算法，每个点对所有聚类中心有不同的隶属度。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;概率聚类（Probabilistic Clustering）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;每个数据点分配一个概率分布，表示其属于每个聚类的概率。&lt;/li&gt;
&lt;li&gt;例如高斯混合模型（GMM），每个点的概率分布是多个高斯分布的混合。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;GMM与EM算法的优点&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;柔性强&lt;/strong&gt;：可以处理形状复杂、重叠的聚类。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;概率解释&lt;/strong&gt;：提供数据点属于某个聚类的概率，适合不确定性较高的数据分析。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;模型选择&lt;/strong&gt;：通过比较不同混合成分数量的模型的似然，可以进行模型选择。&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;知识补充&lt;/h5&gt;
&lt;h6&gt;多维高斯分布和协方差矩阵示例&lt;/h6&gt;
&lt;p&gt;多维高斯分布（也称为多元正态分布）是高斯分布的扩展，它用于描述多维数据集。协方差矩阵（$\Sigma$）是多维高斯分布的重要参数之一，它描述了数据的分布情况及变量之间的线性关系。&lt;/p&gt;
&lt;h6&gt;多维高斯分布的定义&lt;/h6&gt;
&lt;p&gt;一个 $d$ 维的高斯分布可以用以下参数来描述：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;均值向量 $\mu$ （长度为 $d$ 的向量）&lt;/li&gt;
&lt;li&gt;协方差矩阵 $\Sigma$ （$d \times d$ 的矩阵）&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;多维高斯分布的概率密度函数为：
$$
f(x) = \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x - \mu)^T \Sigma^{-1} (x - \mu)\right)
$$
其中，$|\Sigma|$ 是协方差矩阵的行列式，$\Sigma^{-1}$ 是协方差矩阵的逆矩阵。&lt;/p&gt;
&lt;h6&gt;示例&lt;/h6&gt;
&lt;p&gt;示例 1：二维高斯分布&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;均值向量&lt;/strong&gt;：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\mu = \begin{pmatrix}
2 \
3
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;协方差矩阵&lt;/strong&gt;：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\Sigma = \begin{pmatrix}
1 &amp;amp; 0.5 \
0.5 &amp;amp; 1
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
在这个示例中，协方差矩阵表示两个变量之间的关系：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对角线上的元素（1和1）是各个变量的方差，表示变量自身的分布范围。&lt;/li&gt;
&lt;li&gt;非对角线上的元素（0.5和0.5）是两个变量之间的协方差，表示它们之间的线性关系。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;示例 2：三维高斯分布&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;均值向量&lt;/strong&gt;：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\mu = \begin{pmatrix}
1 \
2 \
3
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;协方差矩阵&lt;/strong&gt;：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\Sigma = \begin{pmatrix}
1 &amp;amp; 0.3 &amp;amp; 0.2 \
0.3 &amp;amp; 2 &amp;amp; 0.1 \
0.2 &amp;amp; 0.1 &amp;amp; 1
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
在这个三维示例中，协方差矩阵描述了三个变量之间的关系：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对角线上的元素（1, 2, 1）是每个变量的方差。&lt;/li&gt;
&lt;li&gt;非对角线上的元素（例如0.3、0.2等）是不同变量之间的协方差，表示它们之间的线性关系。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;协方差矩阵的解释&lt;/h6&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;对角线元素（方差）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;协方差矩阵的对角线元素表示各个变量的方差。方差越大，变量的分布范围越广。&lt;/li&gt;
&lt;li&gt;例如，在二维示例中，变量1的方差是1，变量2的方差也是1。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;非对角线元素（协方差）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;协方差矩阵的非对角线元素表示变量之间的协方差。协方差表示两个变量之间的线性关系：
&lt;ul&gt;
&lt;li&gt;正协方差：当一个变量增加时，另一个变量也倾向于增加。&lt;/li&gt;
&lt;li&gt;负协方差：当一个变量增加时，另一个变量倾向于减少。&lt;/li&gt;
&lt;li&gt;零协方差：两个变量之间没有线性关系。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;例如，在二维示例中，两个变量之间的协方差是0.5，表示它们有正相关关系。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;GMM做数据生成&lt;/h5&gt;
&lt;h6&gt;1. 多个高斯分布的集合&lt;/h6&gt;
&lt;p&gt;考虑有 $K$ 个高斯分布的集合，每个高斯分布有不同的均值和协方差矩阵：
$$
\mathcal{N}(\mu_1, \Sigma_1), \mathcal{N}(\mu_2, \Sigma_2), \ldots, \mathcal{N}(\mu_K, \Sigma_K)
$$
这些分布被称为高斯成分。&lt;/p&gt;
&lt;h6&gt;2. 数据点的生成&lt;/h6&gt;
&lt;p&gt;假设数据点 $x$ 是由上述 $K$ 个高斯分布中的一个生成的。选择是哪个高斯分布服从 $\pi$ 的分布。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;具体步骤&lt;/strong&gt;：
&lt;ol&gt;
&lt;li&gt;首先，从 $K$ 个高斯分布中随机选择一个。&lt;/li&gt;
&lt;li&gt;然后，从选定的高斯分布中生成数据点 $x$。&lt;/li&gt;
&lt;/ol&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;3. 隐变量 $z$&lt;/h6&gt;
&lt;p&gt;定义一个离散随机变量 $z$，其取值范围为 $1, 2, \ldots, K$。该变量表示生成数据点 $x$ 的高斯分布的身份。
$$
z = k \iff x \sim \mathcal{N}(\mu_k, \Sigma_k)
$$
这意味着如果 $z$ 的取值为 $k$，那么数据点 $x$ 是从第 $k$ 个高斯分布生成的。&lt;/p&gt;
&lt;h6&gt;4. 数据点的条件概率&lt;/h6&gt;
&lt;p&gt;给定 $z$ 的取值，数据点 $x$ 的条件概率为：
$$
p(x | z) = \mathcal{N}(x | \mu_z, \Sigma_z)
$$
这表示在已知 $x$ 是由第 $z$ 个高斯分布生成的条件下， $x$ 的概率密度函数是一个均值为 $\mu_z$、协方差矩阵为 $\Sigma_z$ 的高斯分布。&lt;/p&gt;
&lt;h6&gt;5. 隐变量 $z$&lt;/h6&gt;
&lt;p&gt;变量 $z$ 被称为隐变量，因为它的取值通常是不可观测的。在实际应用中，我们只能观测到数据点 $x$，而不能直接观测到生成 $x$ 的具体高斯分布 $z$。&lt;/p&gt;
&lt;h6&gt;举例说明&lt;/h6&gt;
&lt;p&gt;假设我们有三个高斯分布：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;$\mathcal{N}(\mu_1 = [1, 1], \Sigma_1 = \begin{pmatrix}1 &amp;amp; 0.2 \ 0.2 &amp;amp; 1\end{pmatrix})$&lt;/li&gt;
&lt;li&gt;$\mathcal{N}(\mu_2 = [5, 5], \Sigma_2 = \begin{pmatrix}1 &amp;amp; 0.3 \ 0.3 &amp;amp; 1\end{pmatrix})$&lt;/li&gt;
&lt;li&gt;$\mathcal{N}(\mu_3 = [9, 9], \Sigma_3 = \begin{pmatrix}1 &amp;amp; 0.1 \ 0.1 &amp;amp; 1\end{pmatrix})$&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;数据点 $x$ 的生成过程如下：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;随机选择一个高斯分布。例如，假设选择了第一个高斯分布 $\mathcal{N}(\mu_1, \Sigma_1)$。&lt;/li&gt;
&lt;li&gt;从该高斯分布中生成数据点 $x$。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;在这个过程中，离散随机变量 $z$ 的取值为 1，因为我们选择了第一个高斯分布。给定 $z = 1$，数据点 $x$ 的条件概率为：
$$
p(x | z = 1) = \mathcal{N}(x | \mu_1, \Sigma_1)
$$&lt;/p&gt;
&lt;h6&gt;总结&lt;/h6&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;高斯混合模型（GMM）&lt;/strong&gt;：通过多个高斯分布的混合来表示数据点的生成。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;隐变量 $z$&lt;/strong&gt;：表示生成数据点的具体高斯分布的身份，通常不可观测。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;数据点的条件概率&lt;/strong&gt;：在已知生成数据点的高斯分布的条件下，数据点 $x$ 的概率密度函数是该高斯分布的概率密度函数。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;高斯混合模型通过对隐变量 $z$ 的引入和对数据点 $x$​ 的条件概率进行建模，能够有效地捕捉数据的复杂分布结构。&lt;/p&gt;
&lt;h5&gt;GMM的学习&lt;/h5&gt;
&lt;p&gt;要理解高斯混合模型（GMM, Gaussian Mixture Model）的分布及其学习过程，需分为以下几个步骤：&lt;/p&gt;
&lt;h6&gt;1. 高斯混合模型的基本概念&lt;/h6&gt;
&lt;p&gt;高斯混合模型是由多个高斯分布组成的加权和，用来描述数据的分布。GMM假设数据是由多个不同的高斯分布混合生成的，每个高斯分布代表一个潜在的类别。GMM的概率密度函数可以表示为：&lt;/p&gt;
&lt;p&gt;$p(x) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x | \mu_k, \Sigma_k)$&lt;/p&gt;
&lt;p&gt;其中：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$K$ 是高斯分布的数量。&lt;/li&gt;
&lt;li&gt;$\pi_k$ 是第 $k$ 个高斯分布的权重，且 $\sum_{k=1}^{K} \pi_k = 1$。&lt;/li&gt;
&lt;li&gt;$\mathcal{N}(x | \mu_k, \Sigma_k)$ 是第 $k$ 个高斯分布的概率密度函数，具有均值 $\mu_k$ 和协方差矩阵 $\Sigma_k$。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;2. 高斯混合模型的参数估计&lt;/h6&gt;
&lt;p&gt;GMM的参数包括每个高斯分布的均值 $\mu_k$、协方差矩阵 $\Sigma_k$ 以及各个分布的权重 $\pi_k$。这些参数通常通过期望最大化（EM, Expectation-Maximization）算法来估计。&lt;/p&gt;
&lt;p&gt;期望最大化算法的步骤&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;初始化参数&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;初始化每个高斯分布的均值 $\mu_k$、协方差矩阵 $\Sigma_k$ 以及权重 $\pi_k$。可以随机初始化，也可以使用K-means聚类结果作为初始值。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;E步（Expectation Step）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算每个样本 $x_i$ 属于每个高斯分布的后验概率（责任度） $\gamma(z_{ik})$，即第 $i$ 个样本由第 $k$ 个高斯分布生成的概率：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$\gamma(z_{ik}) = \frac{\pi_k \mathcal{N}(x_i | \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j \mathcal{N}(x_i | \mu_j, \Sigma_j)}$&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;M步（Maximization Step）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;更新参数，使得似然函数最大化。新的参数更新公式如下：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$\mu_k = \frac{\sum_{i=1}^{N} \gamma(z_{ik}) x_i}{\sum_{i=1}^{N} \gamma(z_{ik})}$&lt;/p&gt;
&lt;p&gt;$\Sigma_k = \frac{\sum_{i=1}^{N} \gamma(z_{ik}) (x_i - \mu_k)(x_i - \mu_k)^T}{\sum_{i=1}^{N} \gamma(z_{ik})}$&lt;/p&gt;
&lt;p&gt;$\pi_k = \frac{\sum_{i=1}^{N} \gamma(z_{ik})}{N}$&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;重复步骤2和步骤3&lt;/strong&gt;，直到参数收敛或达到最大迭代次数。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h5&gt;对比&lt;/h5&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;K-Means (&lt;strong&gt;Hard Clustering&lt;/strong&gt;)&lt;/th&gt;
&lt;th&gt;EM Algorithm (&lt;strong&gt;Soft Clustering&lt;/strong&gt;)&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;Assignment Variable&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;Responsibility&lt;/strong&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;${r_{n,k} = 1} = {x_n$ belong to the $k$-th cluster}$&lt;/td&gt;
&lt;td&gt;$\gamma_{n,k}$= Prob${x_n$is generated by the$k$-th component}$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;Assignment Step&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;E-step&lt;/strong&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;$r_{n,k^&lt;em&gt;} = 1, k^&lt;/em&gt; = \arg \min_k | x_n - \mu_k |^2$&lt;/td&gt;
&lt;td&gt;&lt;code&gt;\gamma_{n,k} = p(z_n = 1&lt;/code&gt;（原笔记待补全）&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;Update Step&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;&lt;strong&gt;M-Step&lt;/strong&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;$\mu_k^{\text{new}} = \frac{1}{N_k} \sum_{n=1}^{N} r_{n,k} x_n$&lt;/td&gt;
&lt;td&gt;$\mu_k^{\text{new}} = \frac{1}{N_k} \sum_{n=1}^{N} \gamma_{n,k} x_n$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;$N_k = \sum_{n=1}^{N} r_{n,k}$&lt;/td&gt;
&lt;td&gt;$\Sigma_k^{\text{new}} = \frac{1}{N_k} \sum_{n=1}^{N} \gamma_{n,k} (x_n - \mu_k^{\text{new}})(x_n - \mu_k^{\text{new}})^T$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;/td&gt;
&lt;td&gt;$\pi_k^{\text{new}} = \frac{N_k}{N}$&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;/td&gt;
&lt;td&gt;$N_k = \sum_{n=1}^{N} \gamma_{n,k}$&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;两者之间的相互转化：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;协方差矩阵固定&lt;/strong&gt;：
假设GMM中的每个高斯分布的协方差矩阵取固定值 $\Sigma_k = \sigma^2 I$，其中 $k = 1, \ldots, K$，并且 $\sigma$ 是一个常数，$I$ 是单位矩阵。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\gamma_{n,k} = \frac{\pi_k \mathcal{N}(x_n | \mu_k, \sigma^2 I)}{\sum_j \pi_j \mathcal{N}(x_n | \mu_j, \sigma^2 I)} = \frac{\pi_k \exp\left(-\frac{1}{2\sigma^2} | x_n - \mu_k |^2 \right)}{\sum_j \pi_j \exp\left(-\frac{1}{2\sigma^2} | x_n - \mu_j |^2 \right)}&lt;/p&gt;
&lt;p&gt;$$
2. &lt;strong&gt;当 $\sigma \rightarrow 0$ 时&lt;/strong&gt;：
当 $\sigma$ 逐渐趋近于零，责任度 $\gamma_{n,k}$ 会变成：&lt;/p&gt;
&lt;p&gt;$$
\lim_{\sigma \rightarrow 0} \gamma_{n,k} =
\begin{cases}
0 &amp;amp; k \neq k^* \
1 &amp;amp; k = k^*
\end{cases}&lt;/p&gt;
&lt;p&gt;$$
其中 $k^* = \arg \min_k | x_n - \mu_k |$。&lt;/p&gt;
&lt;h4&gt;Hierarchical Clustering&lt;/h4&gt;
&lt;p&gt;在聚类分析中，常见的方法有划分聚类（Partitional Clustering）和层次聚类（Hierarchical Clustering）。这两种方法各有特点和适用场景。下面是它们的对比：&lt;/p&gt;
&lt;h6&gt;划分聚类（Partitional Clustering）&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;定义&lt;/strong&gt;：划分聚类将数据集直接分成若干不重叠的簇，每个簇代表一个类别。常见的划分聚类方法包括K-means、K-medoids等。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;特点&lt;/strong&gt;：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;簇的数量&lt;/strong&gt;：用户需要预先指定簇的数量 $K$。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;迭代优化&lt;/strong&gt;：通常通过迭代优化某个目标函数（如K-means中的最小化簇内平方误差）来得到最终的聚类结果。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;效率&lt;/strong&gt;：对于大规模数据集，划分聚类方法通常更高效。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;初始值敏感&lt;/strong&gt;：聚类结果可能对初始中心点选择敏感，不同的初始点可能导致不同的结果。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;strong&gt;优点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算效率高，适用于大数据集。&lt;/li&gt;
&lt;li&gt;结果易于解释。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;缺点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;需要预先指定簇的数量。&lt;/li&gt;
&lt;li&gt;对初始值和参数敏感。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;层次聚类（Hierarchical Clustering）&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;定义&lt;/strong&gt;：层次聚类通过构建一个层次结构（树形结构）来表示数据的聚类关系。层次聚类可以分为自底向上（凝聚型）和自顶向下（分裂型）两种类型。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;特点&lt;/strong&gt;：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;不需要预先指定簇的数量&lt;/strong&gt;：层次聚类不需要用户预先指定簇的数量，簇的数量可以在后续通过剪切树状图（dendrogram）来确定。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;树状结构&lt;/strong&gt;：聚类结果以树状结构展示，能够显示数据的多级嵌套关系。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;可解释性强&lt;/strong&gt;：通过树状图，可以清晰地看到数据之间的层次关系。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;strong&gt;优点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;不需要预先指定簇的数量。&lt;/li&gt;
&lt;li&gt;能够展示数据的层次关系。&lt;/li&gt;
&lt;li&gt;结果对不同距离度量方法和链接方法（如单链接、完全链接、平均链接等）较为稳健。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;缺点&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;计算复杂度高，尤其是对大规模数据集。&lt;/li&gt;
&lt;li&gt;对噪声和离群点敏感。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;对比总结&lt;/h6&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;特点&lt;/th&gt;
&lt;th&gt;划分聚类&lt;/th&gt;
&lt;th&gt;层次聚类&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;簇的数量&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;需要预先指定&lt;/td&gt;
&lt;td&gt;不需要预先指定&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;结构展示&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;平面分割&lt;/td&gt;
&lt;td&gt;树状层次结构&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;计算效率&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;高效，适用于大数据集&lt;/td&gt;
&lt;td&gt;计算复杂度高，适用于小数据集&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;初始值敏感性&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;敏感&lt;/td&gt;
&lt;td&gt;不敏感&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;对噪声和离群点的敏感性&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;较低&lt;/td&gt;
&lt;td&gt;高&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;strong&gt;典型算法&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;K-means, K-medoids&lt;/td&gt;
&lt;td&gt;凝聚层次聚类, 分裂层次聚类&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;在实际应用中，选择哪种聚类方法取决于具体的数据特征和分析需求。如果数据规模较大且已知簇的数量，可以选择划分聚类；如果希望了解数据的层次结构或者簇的数量不明确，可以选择层次聚类。&lt;/p&gt;
&lt;h5&gt;层次聚类的分类&lt;/h5&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;特性&lt;/th&gt;
&lt;th&gt;Bottom-Up (Agglomerative)&lt;/th&gt;
&lt;th&gt;Top-Down (Divisive)&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;聚类方法&lt;/td&gt;
&lt;td&gt;从每个项目开始，各自形成一个簇，找到&lt;strong&gt;最佳对&lt;/strong&gt;合并到新的簇中。&lt;/td&gt;
&lt;td&gt;从一个包含所有项目的簇开始，考虑将其分成两个簇的所有可能方式。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;聚类过程&lt;/td&gt;
&lt;td&gt;反复操作直到所有簇融合在一起。&lt;/td&gt;
&lt;td&gt;选择&lt;strong&gt;最佳分割&lt;/strong&gt;，并递归地在两边继续操作。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;计算复杂度&lt;/td&gt;
&lt;td&gt;通常更高，因为需要反复计算所有可能的对。&lt;/td&gt;
&lt;td&gt;可能更低，尤其是当可以快速找到好的分割点时。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;适用场景&lt;/td&gt;
&lt;td&gt;更适合于数据量较小或簇数量预先未知的情况。&lt;/td&gt;
&lt;td&gt;更适合于数据量较大且簇数量大致可预见的情况。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;初始状态&lt;/td&gt;
&lt;td&gt;每个项目各自为一个簇。&lt;/td&gt;
&lt;td&gt;所有项目合为一个簇。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;合并/分割操作的依据&lt;/td&gt;
&lt;td&gt;合并操作依据于相似度（距离）矩阵，选择最相似的两个簇进行合并。&lt;/td&gt;
&lt;td&gt;分割操作依据于簇内差异性，选择使得簇内差异性最小的分割方式。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;主要优点&lt;/td&gt;
&lt;td&gt;直观易懂，适合多种类型的数据。&lt;/td&gt;
&lt;td&gt;高效处理大数据集，能够发现大型簇中的细微结构。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;主要缺点&lt;/td&gt;
&lt;td&gt;随数据量增加，计算复杂度急剧上升。&lt;/td&gt;
&lt;td&gt;需要预先选择分割方式，可能对初始选择较为敏感。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240608215949767.png&quot; alt=&quot;image-20240608215949767&quot; /&gt;&lt;/p&gt;
&lt;h6&gt;关于Bottom-Up (Agglomerative)的详细介绍&lt;/h6&gt;
&lt;p&gt;输入参数：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;d&lt;/strong&gt;: 簇间距离度量&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;X&lt;/strong&gt;: 数据集，表示为 ${x_n}_{n=1}^N$&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;k&lt;/strong&gt;: 最终所需的簇的数量&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;初始化：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;$\mathcal{C} \leftarrow {C_i = {x_n} | x_n \in X}$&lt;/strong&gt;: 每个数据点单独形成一个簇&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;迭代过程：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;找到最近的簇对&lt;/strong&gt; $C_i, C_j \in \mathcal{C}$ 基于距离度量 $d$:&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
C_i, C_j = \arg \min_{C_1, C_2 \in \mathcal{C}} d(C_1, C_2)&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这一步找出在当前簇集合中距离最近的两个簇。&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;合并选择的簇&lt;/strong&gt; $C_i$ 和 $C_j$:&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
C_{ij} \leftarrow C_i \cup C_j&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;将找到的最近簇对合并成一个新的簇。&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;更新簇集合&lt;/strong&gt; $\mathcal{C}$:&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\mathcal{C} \leftarrow (\mathcal{C} \setminus {C_i, C_j}) \cup {C_{ij}}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;从簇集合中移除原来的两个簇 $C_i$ 和 $C_j$，并加入新的簇 $C_{ij}$。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;终止条件：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;当簇的数量达到预定的数量 $k$ 时停止。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;复杂度分析：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;空间复杂度&lt;/strong&gt;: $O(N^2)$
&lt;ul&gt;
&lt;li&gt;需要存储簇之间的距离矩阵，矩阵大小为 $N \times N$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;时间复杂度&lt;/strong&gt;: $O(N^3)$
&lt;ul&gt;
&lt;li&gt;每次合并簇时都需要找到最近的簇对，这需要计算所有簇对之间的距离，重复 $N$ 次。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;&lt;img src=&quot;/assets/img/image-20240608220358468.png&quot; alt=&quot;image-20240608220358468&quot; /&gt;&lt;/th&gt;
&lt;th&gt;&lt;img src=&quot;/assets/img/image-20240608220407964.png&quot; alt=&quot;image-20240608220407964&quot; /&gt;&lt;/th&gt;
&lt;th&gt;&lt;img src=&quot;/assets/img/image-20240608220416078.png&quot; alt=&quot;image-20240608220416078&quot; /&gt;&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240608220428798.png&quot; alt=&quot;image-20240608220428798&quot; /&gt;&lt;/td&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240608220436267.png&quot; alt=&quot;image-20240608220436267&quot; /&gt;&lt;/td&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240608220443195.png&quot; alt=&quot;image-20240608220443195&quot; /&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h5&gt;Spectral Clustering and Others&lt;/h5&gt;
&lt;blockquote&gt;
&lt;p&gt;Clustering by graph is needed when dealing with datasets that exhibit complex structures or non-convex shapes.&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h6&gt;图拉普拉斯算子的性质与推导&lt;/h6&gt;
&lt;p&gt;命题&lt;/p&gt;
&lt;p&gt;对于任意向量 $f \in \mathbb{R}^N$，我们有：&lt;/p&gt;
&lt;p&gt;$f^T L f = \frac{1}{2} \sum_{i,j=1}^n W_{ij} (f_i - f_j)^2$&lt;/p&gt;
&lt;p&gt;归一化的拉普拉斯算子 $L&apos;$ 也满足类似的性质：&lt;/p&gt;
&lt;p&gt;$f^T L&apos; f = \frac{1}{2} \sum_{i,j=1}^n \frac{W_{ij}}{d_i} (f_i - f_j)^2$&lt;/p&gt;
&lt;h6&gt;推导过程&lt;/h6&gt;
&lt;p&gt;这里只证明 $L$ 的情况， $L&apos;$ 的推导类似。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;开始公式&lt;/strong&gt;：
$f^T L f = f^T D f - f^T W f$&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;展开&lt;/strong&gt;：&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
f^T D f = \sum_{i=1}^n d_i f_i^2&lt;/p&gt;
&lt;p&gt;$$
其中 $d_i$ 是节点 $i$ 的度数（即与节点 $i$ 相连的边的权重之和）。&lt;/p&gt;
&lt;p&gt;$$
f^T W f = \sum_{i,j=1}^n f_i W_{ij} f_j&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;代入公式&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
f^T L f = \sum_{i=1}^n d_i f_i^2 - \sum_{i,j=1}^n f_i W_{ij} f_j&lt;/p&gt;
&lt;p&gt;$$
4. &lt;strong&gt;重新组合&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
\sum_{i=1}^n d_i f_i^2 = \sum_{i=1}^n f_i^2 \sum_{j=1}^n W_{ij}&lt;/p&gt;
&lt;p&gt;$$
于是，&lt;/p&gt;
&lt;p&gt;$$
f^T L f = \sum_{i=1}^n f_i^2 \sum_{j=1}^n W_{ij} - \sum_{i,j=1}^n f_i W_{ij} f_j&lt;/p&gt;
&lt;p&gt;$$
5. &lt;strong&gt;合并两项&lt;/strong&gt;：
观察到&lt;/p&gt;
&lt;p&gt;$$
\sum_{i=1}^n \sum_{j=1}^n W_{ij} f_i^2 - 2 \sum_{i=1}^n \sum_{j=1}^n W_{ij} f_i f_j + \sum_{i=1}^n \sum_{j=1}^n W_{ij} f_j^2&lt;/p&gt;
&lt;p&gt;$$
可以重新组合成&lt;/p&gt;
&lt;p&gt;$$
\frac{1}{2} \left( \sum_{i=1}^n \sum_{j=1}^n W_{ij} f_i^2 + \sum_{i=1}^n \sum_{j=1}^n W_{ij} f_j^2 - 2 \sum_{i=1}^n \sum_{j=1}^n W_{ij} f_i f_j \right)&lt;/p&gt;
&lt;p&gt;$$
6. &lt;strong&gt;重组和简化&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
\frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n W_{ij} (f_i^2 + f_j^2 - 2 f_i f_j)&lt;/p&gt;
&lt;p&gt;$$
这可以简化为&lt;/p&gt;
&lt;p&gt;$$
\frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n W_{ij} (f_i - f_j)^2&lt;/p&gt;
&lt;p&gt;$$
因此，我们得到了所需的结果：&lt;/p&gt;
&lt;p&gt;$f^T L f = \frac{1}{2} \sum_{i,j=1}^n W_{ij} (f_i - f_j)^2$&lt;/p&gt;
&lt;h6&gt;归一化拉普拉斯 $L&apos;$ 的推导&lt;/h6&gt;
&lt;p&gt;归一化的拉普拉斯算子 $L&apos;$ 的推导过程类似，只是引入了度的归一化因子：&lt;/p&gt;
&lt;p&gt;$f^T L&apos; f = \frac{1}{2} \sum_{i,j=1}^n \frac{W_{ij}}{d_i} (f_i - f_j)^2$&lt;/p&gt;
&lt;p&gt;这个推导步骤和上面类似，重点在于每一步将 $W_{ij}$ 替换为 $\frac{W_{ij}}{d_i}$​，并进行相同的重新组合和简化。&lt;/p&gt;
&lt;p&gt;性质&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;半正定性（Semi-Positive Definiteness）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$L$ 和 $L&apos;$ 是半正定的（semi-positive definite）。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;证明&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;根据前一个命题，对于任意向量 $f$，我们有：
$f^T L f = \frac{1}{2} \sum_{i,j=1}^n W_{ij} (f_i - f_j)^2 \geq 0$
因为权重 $W_{ij} \geq 0$ 且平方项 $(f_i - f_j)^2 \geq 0$，因此整个和不小于0。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;最小特征值&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$L$ 和 $L&apos;$ 的最小特征值是0，对应的特征向量是 $\mathbf{1} = (1, 1, \ldots, 1)^T$。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;证明&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对于拉普拉斯矩阵 $L$：&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
L \mathbf{1} = (D - W) \mathbf{1}&lt;/p&gt;
&lt;p&gt;$$
其中 $\mathbf{1}$ 是全1向量。&lt;/p&gt;
&lt;pre&gt;&lt;code&gt; 展开计算：
&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;$$
D \mathbf{1} = \begin{pmatrix}
d_1 &amp;amp; 0 &amp;amp; \cdots &amp;amp; 0 \
0 &amp;amp; d_2 &amp;amp; \cdots &amp;amp; 0 \
\vdots &amp;amp; \vdots &amp;amp; \ddots &amp;amp; \vdots \
0 &amp;amp; 0 &amp;amp; \cdots &amp;amp; d_n
\end{pmatrix}
\begin{pmatrix}
1 \
1 \
\vdots \
1
\end{pmatrix}
= \begin{pmatrix}
d_1 \
d_2 \
\vdots \
d_n
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;p&gt;$$
W \mathbf{1} = \begin{pmatrix}
W_{11} &amp;amp; W_{12} &amp;amp; \cdots &amp;amp; W_{1n} \
W_{21} &amp;amp; W_{22} &amp;amp; \cdots &amp;amp; W_{2n} \
\vdots &amp;amp; \vdots &amp;amp; \ddots &amp;amp; \vdots \
W_{n1} &amp;amp; W_{n2} &amp;amp; \cdots &amp;amp; W_{nn}
\end{pmatrix}
\begin{pmatrix}
1 \
1 \
\vdots \
1
\end{pmatrix}
= \begin{pmatrix}
\sum_{j=1}^n W_{1j} \
\sum_{j=1}^n W_{2j} \
\vdots \
\sum_{j=1}^n W_{nj}
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
由于 $d_i = \sum_{j=1}^n W_{ij}$​，我们有：&lt;/p&gt;
&lt;p&gt;$$
L \mathbf{1} = D \mathbf{1} - W \mathbf{1} = \begin{pmatrix}
d_1 \
d_2 \
\vdots \
d_n
\end{pmatrix}&lt;/p&gt;
&lt;pre&gt;&lt;code&gt; \begin{pmatrix}
 \sum_{j=1}^n W_{1j} \\
 \sum_{j=1}^n W_{2j} \\
 \vdots \\
 \sum_{j=1}^n W_{nj}
 \end{pmatrix}
 = \begin{pmatrix}
 d_1 - \sum_{j=1}^n W_{1j} \\
 d_2 - \sum_{j=1}^n W_{2j} \\
 \vdots \\
 d_n - \sum_{j=1}^n W_{nj}
 \end{pmatrix}
 = \mathbf{0}
&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;$$
因此，我们得到：&lt;/p&gt;
&lt;p&gt;$$
L \mathbf{1} = \mathbf{0} \cdot \mathbf{1}&lt;/p&gt;
&lt;p&gt;$$
即，0 是 $L$ 的特征值，对应的特征向量是 $\mathbf{1}$。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对于归一化拉普拉斯矩阵 $L&apos;$：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
L&apos; \mathbf{1} = (I - D^{-1}W) \mathbf{1}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;p&gt;$$
D^{-1}W \mathbf{1} = \begin{pmatrix}
\frac{1}{d_1} &amp;amp; 0 &amp;amp; \cdots &amp;amp; 0 \
0 &amp;amp; \frac{1}{d_2} &amp;amp; \cdots &amp;amp; 0 \
\vdots &amp;amp; \vdots &amp;amp; \ddots &amp;amp; \vdots \
0 &amp;amp; 0 &amp;amp; \cdots &amp;amp; \frac{1}{d_n}
\end{pmatrix}
\begin{pmatrix}
W_{11} &amp;amp; W_{12} &amp;amp; \cdots &amp;amp; W_{1n} \
W_{21} &amp;amp; W_{22} &amp;amp; \cdots &amp;amp; W_{2n} \
\vdots &amp;amp; \vdots &amp;amp; \ddots &amp;amp; \vdots \
W_{n1} &amp;amp; W_{n2} &amp;amp; \cdots &amp;amp; W_{nn}
\end{pmatrix}
\begin{pmatrix}
1 \
1 \
\vdots \
1
\end{pmatrix}
= \begin{pmatrix}
\sum_{j=1}^n \frac{W_{1j}}{d_1} \
\sum_{j=1}^n \frac{W_{2j}}{d_2} \
\vdots \
\sum_{j=1}^n \frac{W_{nj}}{d_n}
\end{pmatrix}
= \begin{pmatrix}
1 \
1 \
\vdots \
1
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
因此，&lt;/p&gt;
&lt;p&gt;$$
L&apos; \mathbf{1} = \mathbf{1} - D^{-1}W \mathbf{1} = \mathbf{1} - \mathbf{1} = \mathbf{0}&lt;/p&gt;
&lt;p&gt;$$
即，0 是 $L&apos;$ 的特征值，对应的特征向量也是 $\mathbf{1}$。&lt;/p&gt;
&lt;h6&gt;总结&lt;/h6&gt;
&lt;ul&gt;
&lt;li&gt;拉普拉斯矩阵 $L$ 和归一化拉普拉斯矩阵 $L&apos;$ 都是半正定的。&lt;/li&gt;
&lt;li&gt;它们的最小特征值是0，对应的特征向量是 $\mathbf{1}$，这表明图的连通性。&lt;/li&gt;
&lt;li&gt;证明过程主要利用了拉普拉斯矩阵的定义及其行和为零的性质。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;上面的推导想要说明什么&lt;/h6&gt;
&lt;p&gt;说明只要是有connected在一起的，就会有$\mathbf{1}$这个特征向量，可以看有多少个这样的block和$\mathbf{1}$去判断到底有几层连接欸。&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609112831685.png&quot; alt=&quot;image-20240609112831685&quot; /&gt;&lt;/p&gt;
&lt;h6&gt;最小割问题&lt;/h6&gt;
&lt;blockquote&gt;
&lt;p&gt;最小割（MinCut）问题是图论中的经典问题之一，目标是将一个图划分为两个部分，使得连接这两个部分的边的权重之和最小。具体来说，最小割问题的目的是找到一组边，这组边的删除可以将图分成两个不相交的子图，同时这组边的总权重最小。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;正式定义:&lt;/p&gt;
&lt;p&gt;给定一个无向图 $G = (V, E)$，其中：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$V$ 是顶点集合，表示图中的节点。&lt;/li&gt;
&lt;li&gt;$E$ 是边集合，表示节点之间的连接。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;每条边 $(i, j) \in E$ 具有一个权重 $W_{ij}$，表示节点 $i$ 和节点 $j$ 之间的连接强度。&lt;/p&gt;
&lt;p&gt;最小割问题的目标是将图 $G$ 划分为两个不相交的子集 $A$ 和 $B$ （即 $A \cup B = V$ 且 $A \cap B = \emptyset$），使得从 $A$ 到 $B$ 的所有边的权重之和最小。&lt;/p&gt;
&lt;p&gt;数学上，最小割的定义为：&lt;/p&gt;
&lt;p&gt;$\text{Cut}(A, B) = \sum_{i \in A, j \in B} W_{ij}$&lt;/p&gt;
&lt;p&gt;其中，$W_{ij}$ 是连接 $A$ 中顶点 $i$ 和 $B$ 中顶点 $j$ 之间边的权重。&lt;/p&gt;
&lt;p&gt;图示解释&lt;/p&gt;
&lt;p&gt;考虑一个简单的无向图：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;图中有若干个顶点和连接这些顶点的边。&lt;/li&gt;
&lt;li&gt;每条边都有一个权重，表示连接这两个顶点的强度或成本。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;在最小割问题中，我们希望找到一个最优的划分 $A$ 和 $B$，使得这两个集合之间的边的权重和最小。&lt;/p&gt;
&lt;p&gt;最小割的意义&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;网络分割&lt;/strong&gt;：在网络安全和通信网络中，最小割问题可以用来寻找网络的薄弱点或瓶颈，通过找到网络中最易断开的部分，增强网络的鲁棒性。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;图像分割&lt;/strong&gt;：在图像处理领域，最小割用于图像分割，通过找到像素间最小的割，使得图像被分成具有不同特征的区域。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;电路设计&lt;/strong&gt;：在VLSI设计中，最小割用于优化电路布局，减少芯片面积和电路延迟。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;计算复杂度&lt;/p&gt;
&lt;p&gt;最小割问题可以通过多项式时间算法解决。例如，Stoer-Wagner算法可以在 $O(|V| \cdot |E|)$ 时间复杂度内找到图的最小割。&lt;/p&gt;
&lt;p&gt;实际例子&lt;/p&gt;
&lt;p&gt;假设我们有以下无向图：&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;  (A)
 / | \
1  2  3
/  |  \
(B)-(C)-(D)
&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;边的权重分别为：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;边 $(A, B)$ 的权重为1&lt;/li&gt;
&lt;li&gt;边 $(A, C)$ 的权重为2&lt;/li&gt;
&lt;li&gt;边 $(A, D)$ 的权重为3&lt;/li&gt;
&lt;li&gt;边 $(B, C)$ 的权重为1&lt;/li&gt;
&lt;li&gt;边 $(C, D)$ 的权重为1&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;为了找到最小割，我们需要将图划分为两个子集，使得从一个子集到另一个子集的边的权重和最小。&lt;/p&gt;
&lt;p&gt;一种可能的划分是：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$A = {A}$&lt;/li&gt;
&lt;li&gt;$B = {B, C, D}$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;在这种划分下，割的权重为1 + 2 + 3 = 6，这是因为从 $A$ 到 $B$ 有三条边，权重分别为1、2和3。&lt;/p&gt;
&lt;p&gt;另一种可能的划分是：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$A = {A, B, C}$&lt;/li&gt;
&lt;li&gt;$B = {D}$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;在这种划分下，割的权重为1，这是因为从 $A$ 到 $B$ 只有一条边 $(C, D)$，权重为1。&lt;/p&gt;
&lt;p&gt;显然，第二种划分方式是最小割，割的权重最小。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;但是简单选择最小的边做分割可能会导致问题：&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609152852853.png&quot; alt=&quot;image-20240609152852853&quot; /&gt;&lt;/p&gt;
&lt;p&gt;将一个孤立点分割出来，我们希望分割之后的集合比较均衡。&lt;/p&gt;
&lt;h6&gt;归一化割（Normalized Cut）&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;定义&lt;/strong&gt;：将图划分为两个集合 $A$ 和 $B$，使得连接集合 $A$ 中顶点和集合 $B$ 中顶点的边的权重之和最小，并且集合 $A$ 和 $B$ 的大小是可比较的。&lt;/p&gt;
&lt;p&gt;公式：
$\text{Ncut}(A, B) = \text{cut}(A, B) \left( \frac{1}{\text{vol}(A)} + \frac{1}{\text{vol}(B)} \right)$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;$\text{vol}(A)$&lt;/strong&gt;：集合 $A$ 的体积，即集合 $A$ 中所有顶点的度数之和。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;$\text{vol}(B)$&lt;/strong&gt;：集合 $B$ 的体积，即集合 $B$ 中所有顶点的度数之和。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;对于 $K \geq 2$ 个集合的划分，归一化割定义为：
$\text{Ncut}(A_1, \ldots, A_K) = \sum_{k=1}^K \frac{\text{cut}(A_k, \bar{A}_k)}{\text{vol}(A_k)}, \quad \bar{A}_k = V / A_k$&lt;/p&gt;
&lt;p&gt;归一化割的目标是&lt;strong&gt;鼓励平衡的划分，避免孤立顶点的问题。&lt;/strong&gt;&lt;/p&gt;
&lt;h6&gt;归一化割和图拉普拉斯矩阵（Graph Laplacian）&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;假设&lt;/strong&gt;：
$$
f = [f_1, \ldots, f_n]^T \in \mathbb{R}^n, \quad f_i = \begin{cases}
\frac{1}{\text{vol}(A)} &amp;amp; \text{if } i \in A \
-\frac{1}{\text{vol}(B)} &amp;amp; \text{if } i \in B
\end{cases}
$$
&lt;strong&gt;命题&lt;/strong&gt;：
$\text{Ncut}(A, B) = \text{cut}(A, B) \left( \frac{1}{\text{vol}(A)} + \frac{1}{\text{vol}(B)} \right) = \frac{f^T L f}{f^T D f}$&lt;/p&gt;
&lt;p&gt;其中 $L$ 是图的拉普拉斯矩阵， $D$ 是度矩阵。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;证明&lt;/strong&gt;：
利用拉普拉斯矩阵的性质，证明归一化割公式。&lt;/p&gt;
&lt;h6&gt;最小化归一化割（Minimize Normalized Cut）&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;问题&lt;/strong&gt;：考虑归一化割，设簇为 $A$ 和 $B$：
$\min \text{Ncut}(A, B) = \min_f \frac{f^T L f}{f^T D f} \quad \text{s.t.} \quad f_i \in \left{ \frac{1}{\text{vol}(A)}, -\frac{1}{\text{vol}(B)} \right}$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;离散优化&lt;/strong&gt;：这个问题是 NP-困难的。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;连续放松&lt;/strong&gt;：通过求解广义特征值系统将优化问题放松到连续域：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\min_f \frac{f^T L f}{f^T D f} \quad \text{s.t.} \quad f^T D \mathbf{1} = 0&lt;/p&gt;
&lt;p&gt;$$
这个问题被称为 Rayleigh 商，等价于：&lt;/p&gt;
&lt;p&gt;$$
\min_f f^T L f \quad \text{s.t.} \quad f^T D f = 1, \quad f^T D \mathbf{1} = 0&lt;/p&gt;
&lt;p&gt;$$
&lt;strong&gt;拉格朗日函数&lt;/strong&gt;：
对第一个约束定义拉格朗日函数并求偏导数：&lt;/p&gt;
&lt;p&gt;$\mathcal{L} = f^T L f - \lambda (f^T D f - 1)$&lt;/p&gt;
&lt;p&gt;$0 = \nabla_f \mathcal{L} = 2(L - \lambda D) f \quad \Rightarrow \quad D^{-1} L f = \lambda f$&lt;/p&gt;
&lt;p&gt;所以 $\lambda$ 是 $L&apos;$ 的特征值，对应的特征向量是 $f$。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;目标&lt;/strong&gt;：
最小化目标： $f^T L f = \lambda f^T D f = \lambda$&lt;/p&gt;
&lt;p&gt;最小特征值 $\lambda_1 = 0$，对应特征向量 $f = 1$，违反约束 $f^T D \mathbf{1} = 0$。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;解决方案&lt;/strong&gt;：
第二小的特征值 $\lambda_2$ 是问题的真实解：&lt;/p&gt;
&lt;p&gt;如果 $\lambda_2 \neq 0$，则 $f^T D \mathbf{1} = 0$​，第二个约束得到满足。&lt;/p&gt;
&lt;h6&gt;谱聚类算法（Spectral Clustering Algorithm）&lt;/h6&gt;
&lt;p&gt;谱聚类是一种基于图论的聚类算法，通过图的谱（特征值和特征向量）来进行数据的聚类。与传统的基于距离的聚类方法（如k-means）不同，谱聚类可以处理非凸形状的数据，并且在许多情况下具有更好的性能。&lt;/p&gt;
&lt;p&gt;主要思想&lt;/p&gt;
&lt;p&gt;谱聚类将数据表示为图的形式，其中节点表示数据点，边的权重表示数据点之间的相似度。然后通过图的拉普拉斯矩阵计算图的特征值和特征向量，将数据映射到低维空间中进行聚类。&lt;/p&gt;
&lt;p&gt;步骤&lt;/p&gt;
&lt;p&gt;谱聚类通常包括以下步骤：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;构建相似度矩阵（Similarity Matrix）&lt;/strong&gt;&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;计算图拉普拉斯矩阵（Graph Laplacian）&lt;/strong&gt;&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;计算拉普拉斯矩阵的特征向量&lt;/strong&gt;&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;进行聚类&lt;/strong&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;详细步骤&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;构建相似度矩阵&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;相似度矩阵 $S$ 是一个 $n \times n$ 的矩阵，表示数据点之间的相似度。常见的相似度度量包括：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;高斯相似度（Gaussian Similarity）：对于数据点 $x_i$ 和 $x_j$，定义相似度为：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
S_{ij} = \exp\left(-\frac{|x_i - x_j|^2}{2\sigma^2}\right)&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;k近邻（k-nearest neighbors）：仅考虑每个点的前k个最近邻居。&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;计算图拉普拉斯矩阵&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;根据相似度矩阵 $S$，计算度矩阵 $D$ 和拉普拉斯矩阵 $L$：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;度矩阵 $D$ 是一个对角矩阵，其中 $D_{ii}$ 表示节点 $i$ 的度数：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
D_{ii} = \sum_{j} S_{ij}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;拉普拉斯矩阵 $L$ 定义为：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
L = D - S&lt;/p&gt;
&lt;p&gt;$$
也可以使用归一化拉普拉斯矩阵：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对称归一化拉普拉斯矩阵：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
L_{\text{sym}} = I - D^{-\frac{1}{2}} S D^{-\frac{1}{2}}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;非对称归一化拉普拉斯矩阵：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
L_{\text{rw}} = I - D^{-1} S&lt;/p&gt;
&lt;p&gt;$$
3. 计算拉普拉斯矩阵的特征向量&lt;/p&gt;
&lt;p&gt;计算拉普拉斯矩阵 $L$ 或归一化拉普拉斯矩阵的前 $k$ 小的特征值对应的特征向量，形成特征向量矩阵 $U$。&lt;/p&gt;
&lt;p&gt;特征向量矩阵 $U$ 的每一行对应于一个数据点，将这些行作为新的表示，将数据点映射到低维空间中。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;进行聚类&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;对特征向量矩阵 $U$ 的每一行进行聚类，常用的方法是k-means聚类。聚类的结果就是数据点的最终分类。&lt;/p&gt;
&lt;p&gt;实例&lt;/p&gt;
&lt;p&gt;假设我们有一组数据点 ${x_1, x_2, x_3, x_4, x_5}$，我们想将这些点分成两类。具体步骤如下：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;构建相似度矩阵 $S$&lt;/strong&gt;：&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
S =
\begin{pmatrix}
1 &amp;amp; 0.8 &amp;amp; 0.2 &amp;amp; 0.1 &amp;amp; 0 \
0.8 &amp;amp; 1 &amp;amp; 0.3 &amp;amp; 0.2 &amp;amp; 0.1 \
0.2 &amp;amp; 0.3 &amp;amp; 1 &amp;amp; 0.6 &amp;amp; 0.4 \
0.1 &amp;amp; 0.2 &amp;amp; 0.6 &amp;amp; 1 &amp;amp; 0.7 \
0 &amp;amp; 0.1 &amp;amp; 0.4 &amp;amp; 0.7 &amp;amp; 1
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
2. &lt;strong&gt;计算度矩阵 $D$&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
D =
\begin{pmatrix}
2.1 &amp;amp; 0 &amp;amp; 0 &amp;amp; 0 &amp;amp; 0 \
0 &amp;amp; 2.4 &amp;amp; 0 &amp;amp; 0 &amp;amp; 0 \
0 &amp;amp; 0 &amp;amp; 2.5 &amp;amp; 0 &amp;amp; 0 \
0 &amp;amp; 0 &amp;amp; 0 &amp;amp; 2.6 &amp;amp; 0 \
0 &amp;amp; 0 &amp;amp; 0 &amp;amp; 0 &amp;amp; 2.2
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;计算拉普拉斯矩阵 $L$&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
L = D - S =
\begin{pmatrix}
2.1 &amp;amp; -0.8 &amp;amp; -0.2 &amp;amp; -0.1 &amp;amp; 0 \
-0.8 &amp;amp; 2.4 &amp;amp; -0.3 &amp;amp; -0.2 &amp;amp; -0.1 \
-0.2 &amp;amp; -0.3 &amp;amp; 2.5 &amp;amp; -0.6 &amp;amp; -0.4 \
-0.1 &amp;amp; -0.2 &amp;amp; -0.6 &amp;amp; 2.6 &amp;amp; -0.7 \
0 &amp;amp; -0.1 &amp;amp; -0.4 &amp;amp; -0.7 &amp;amp; 2.2
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
4. &lt;strong&gt;计算特征向量矩阵 $U$&lt;/strong&gt;：求解 $L$ 的前两个最小特征值对应的特征向量，假设特征向量为：&lt;/p&gt;
&lt;p&gt;$$
U =
\begin{pmatrix}
0.5 &amp;amp; 0.1 \
0.4 &amp;amp; 0.3 \
-0.1 &amp;amp; 0.4 \
-0.4 &amp;amp; 0.6 \
-0.6 &amp;amp; 0.5
\end{pmatrix}&lt;/p&gt;
&lt;p&gt;$$
5. &lt;strong&gt;聚类&lt;/strong&gt;：对 $U$ 的每一行进行 k-means 聚类，得到最终的分类结果。&lt;/p&gt;
&lt;p&gt;总结&lt;/p&gt;
&lt;p&gt;谱聚类算法通过图的拉普拉斯矩阵的特征值和特征向量，&lt;strong&gt;将数据点映射到低维空间&lt;/strong&gt;中，然后进行聚类。这种方法在处理非凸形状的数据时表现良好，并且可以揭示数据的内在结构。&lt;/p&gt;
&lt;h3&gt;八、Feature Selection &amp;amp; Dimension Reduction&lt;/h3&gt;
&lt;h4&gt;分类&lt;/h4&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Hard Extraction&lt;/th&gt;
&lt;th&gt;Soft Extraction&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Select 𝒌 features from 𝒅 features.&lt;/td&gt;
&lt;td&gt;Transform a 𝒅-dim feature to 𝒌-dim.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240609003358777.png&quot; alt=&quot;image-20240609003358777&quot; /&gt;&lt;/td&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240609003407517.png&quot; alt=&quot;image-20240609003407517&quot; /&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h5&gt;Feature Selection&lt;/h5&gt;
&lt;h6&gt;Feature Selection: Filtering&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;优点：&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;非常快速（无需训练）&lt;/li&gt;
&lt;li&gt;实施简单&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;缺点：&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;没有考虑特征之间的相互作用：看似 &quot;无用 &quot;的特征与其他特征组合后可能有用&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;但是完全相关的变量实际上不会增加任何的信息：图片中的图表（a）和（b）展示了两个变量的关系。在图（a）中，变量之间是正相关的，而在图（b）中，变量之间是负相关的。无论是正相关还是负相关，如果两个变量之间的相关性是完美的（相关系数为1或-1），加入第二个变量对模型的信息量贡献是零。&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609004316825.png&quot; alt=&quot;image-20240609004316825&quot; /&gt;&lt;/p&gt;
&lt;h6&gt;Embedding：LASSO Regression&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;基本思想：&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;在某些情况下，我们可以将特征选择嵌入到归纳算法中。也就是说，在模型训练的过程中，同时进行特征选择。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;线性回归模型通过最小化误差的平方和（Sum of Squared Errors, SSE）来拟合数据点。公式表示为：$L(w) = \sum_{i=1}^{n}(w^T x_i - y_i)^2 = \text{RSS}(w)$。其中，$w$ 是模型的权重向量，$x_i$ 是特征向量，$y_i$ 是观测值。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;为了控制模型的复杂度，我们引入了模型复杂度惩罚项（如 $l_1$ 损失），并将其嵌入到训练损失中。更新后的损失函数表示为：$L(w) = \text{RSS}(w) + C | w |_1$。其中，$C$ 是一个正则化参数，控制复杂度惩罚的强度，$| w |_1$ 表示 $w$ 的 $l_1$ 范数（即所有权重绝对值的和）。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;$w_j = 0$ 表示将第 $j$ 个特征从模型中移除。由于 $l_1$ 损失的特性，它倾向于生成稀疏的权重向量（即很多权重为零），从而自动实现特征选择。&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;问题&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;为什么 $l_1$ 损失会产生稀疏解？$w$是稀疏的意味着完成了feature selection&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609004808487.png&quot; alt=&quot;image-20240609004808487&quot; /&gt;&lt;/p&gt;
&lt;h4&gt;Dimension Reduction&lt;/h4&gt;
&lt;p&gt;主成分分析（PCA）是一种线性降维技术，用于将高维数据投影到低维空间中，同时尽量保留数据的主要变异信息。PCA通过找到数据的主成分（即方差最大的方向）来实现这一目标。&lt;/p&gt;
&lt;h6&gt;1、数据中心化&lt;/h6&gt;
&lt;p&gt;首先，对数据进行中心化处理，使得每个特征的均值为零。假设原始数据矩阵为 $X$，其中 $X$ 为 $n \times d$ 的矩阵，表示 $n$ 个样本，每个样本有 $d$ 个特征。&lt;/p&gt;
&lt;p&gt;中心化后的数据矩阵 $X_{\text{centered}}$ 为：
$X_{\text{centered}} = X - \mu$
其中，$\mu$ 是特征均值向量，维度为 $1 \times d$。&lt;/p&gt;
&lt;h6&gt;2、计算协方差矩阵&lt;/h6&gt;
&lt;p&gt;接下来，计算中心化数据的协方差矩阵 $\Sigma$：
$\Sigma = \frac{1}{n-1} X_{\text{centered}}^T X_{\text{centered}}$&lt;/p&gt;
&lt;p&gt;3、特征值分解&lt;/p&gt;
&lt;p&gt;对协方差矩阵 $\Sigma$ 进行特征值分解，得到特征值和特征向量。设 $\Sigma$ 的特征值为 $\lambda_1, \lambda_2, \ldots, \lambda_d$ 对应的特征向量为 $v_1, v_2, \ldots, v_d$。特征值按从大到小排序。&lt;/p&gt;
&lt;p&gt;$\Sigma v_i = \lambda_i v_i$&lt;/p&gt;
&lt;h6&gt;4、选择主成分&lt;/h6&gt;
&lt;p&gt;选择最大的 $k$ 个特征值对应的特征向量，作为数据降维后的新坐标轴。这些特征向量组成了一个 $d \times k$ 的变换矩阵 $W$&lt;/p&gt;
&lt;h6&gt;5、数据变换&lt;/h6&gt;
&lt;p&gt;将原始数据 $X$ 变换到新的低维空间，得到降维后的数据矩阵 $Y$：
$Y = X_{\text{centered}} W$&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;示意图&lt;/th&gt;
&lt;th&gt;$U$的作用&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240609010038528.png&quot; alt=&quot;image-20240609010038528&quot; /&gt;&lt;/td&gt;
&lt;td&gt;矩阵 $U$ 的两个功能：&amp;lt;br/&amp;gt;编码：$z = U^T x$，其中 $z_j = u_j^T x$。&amp;lt;br/&amp;gt;解码：$\tilde{x} = Uz = \sum_{j=1}^k z_j u_j$。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h6&gt;1. PCA目标1：最大化投影方差&lt;/h6&gt;
&lt;p&gt;&lt;strong&gt;投影到正交方向&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;我们希望将数据投影到一组正交方向上，以最大化每个方向上的投影方差。这些方向用矩阵 $U$ 表示，满足 $U^T U = I_k$。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;最大化每个方向上的投影方差&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;对于给定的方向 $u$，投影后的方差为 $\text{Var}(u^T x)$。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;学习目标&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;$\max_U \mathbb{E}[(x - \mu_x)^T UU^T (x - \mu_x)]$
其中 $\mu_x = \mathbb{E}[x]$。&lt;/p&gt;
&lt;p&gt;假设数据已被中心化，即 $\mu_x = 0$：
$\max_U \mathbb{E}[x^T UU^T x] = \mathbb{E}[|U^T x|^2]$
约束条件：$U^T U = I_k$。&lt;/p&gt;
&lt;h6&gt;2. PCA目标2：最小化重构误差&lt;/h6&gt;
&lt;p&gt;矩阵 $U$ 的两个功能：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;编码：$z = U^T x$，其中 $z_j = u_j^T x$。&lt;/li&gt;
&lt;li&gt;解码：$\tilde{x} = Uz = \sum_{j=1}^k z_j u_j$。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;我们希望重构误差 $| x - \tilde{x} |$ 尽可能小，因此学习目标为：
$\min_{U \in \mathbb{R}^{d \times k}} \sum_{i=1}^n | x_i - UU^T x_i |^2$&lt;/p&gt;
&lt;h6&gt;3. 两个目标的等价性&lt;/h6&gt;
&lt;p&gt;数据方差 = 捕获的方差 + 重构误差&lt;/p&gt;
&lt;p&gt;$x = UU^T x + (I - UU^T)x$
$|x|^2 = |UU^T x|^2 + |(I - UU^T)x|^2$&lt;/p&gt;
&lt;p&gt;取期望&lt;/p&gt;
&lt;p&gt;$\mathbb{E}[|x|^2] = \mathbb{E}[|U^T x|^2] + \mathbb{E}[|x - UU^T x|^2]$&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;最小化重构误差等价于最大化捕获的方差。&lt;/strong&gt;&lt;/p&gt;
&lt;h6&gt;4. 找到一个主成分&lt;/h6&gt;
&lt;p&gt;最大化投影数据的方差：
$\max_{u_1} \mathbb{E}[(u_1^T x)^2]$
约束条件：$u_1^T u_1 = 1$。&lt;/p&gt;
&lt;p&gt;推导&lt;/p&gt;
&lt;p&gt;$\mathbb{E}[(u_1^T x)^2] = \frac{1}{n} \sum_{i=1}^n (u_1^T x_i)^2 = \frac{1}{n} |u_1^T X|^2 = u_1^T \left(\frac{1}{n} X^T X\right) u_1 = u_1^T \Sigma u_1$&lt;/p&gt;
&lt;p&gt;使用拉格朗日乘子法求解：
$\mathcal{L}(u_1) = u_1^T \Sigma u_1 - \lambda_1 (u_1^T u_1 - 1)$
对 $u_1$ 求导并设为零：
$\Sigma u_1 = \lambda_1 u_1$&lt;/p&gt;
&lt;p&gt;因此，最大化 $\text{Var}(z_1)$ 等价于最大化 $\lambda_1$，即 $\lambda_1$ 是 $\Sigma$ 的最大特征值。&lt;/p&gt;
&lt;h6&gt;5. 找到第二个主成分&lt;/h6&gt;
&lt;p&gt;第二个主成分与第一个主成分正交：
$u_1^T u_2 = 0$&lt;/p&gt;
&lt;p&gt;目标&lt;/p&gt;
&lt;p&gt;最大化第二维投影数据的方差：
$\max_{u_2} \mathbb{E}[(u_2^T x)^2]$
约束条件：$u_2^T u_2 = 1$，且 $u_1^T u_2 = 0$。&lt;/p&gt;
&lt;p&gt;拉格朗日函数&lt;/p&gt;
&lt;p&gt;$\mathcal{L}(u_2) = u_2^T \Sigma u_2 - \lambda_2 (u_2^T u_2 - 1) - \gamma (u_1^T u_2)$&lt;/p&gt;
&lt;p&gt;对 $u_2$ 求导并设为零：
$\Sigma u_2 = \lambda_2 u_2 -\gamma u_1$&lt;/p&gt;
&lt;p&gt;因为$u_1^T \Sigma u_2 = \lambda_2 u_1^T u_2-\gamma u_1^T u_1$, 并且$u_1^T \Sigma u_2 = -\gamma$，所以$u_1^T \Sigma u_2 = u_2^T \Sigma u_1 = u_2^T\lambda_1 u_1 = 0$，所以$\gamma=0$&lt;/p&gt;
&lt;p&gt;因此$\Sigma u_2 =\lambda_2u_2$&lt;/p&gt;
&lt;p&gt;因此，最大化 $\text{Var}(z_2)$ 等价于最大化 $\lambda_2$，即 $\lambda_2$ 是 $\Sigma$ 的第二大特征值。&lt;/p&gt;
&lt;h6&gt;6. 计算PCA：特征值分解&lt;/h6&gt;
&lt;p&gt;最大化投影数据的方差：
$\max_{u_j} \mathbb{E}[(u_j^T x)^2]$
约束条件：$u_j^T u_j = 1$，且 $u_j^T u_k = 0$ 对 $k &amp;lt; j$。&lt;/p&gt;
&lt;p&gt;第 $j$ 主成分是 $\frac{1}{n} X^T X$ 的第 $j$ 大特征值对应的特征向量。&lt;/p&gt;
&lt;h6&gt;特征值分解&lt;/h6&gt;
&lt;p&gt;$U = [u_1 ; \ldots ; u_k]$
其中 $u_i$ 是 $\frac{1}{n} X^T X$ 的特征向量。&lt;/p&gt;
&lt;p&gt;总结：PCA通过最大化投影方差和最小化重构误差这两个等价目标来找到一组正交的主成分。每个主成分对应于数据协方差矩阵的一个特征向量，按照特征值的大小排序。通过特征值分解，可以有效地计算PCA。&lt;/p&gt;
&lt;h6&gt;How many principal components?&lt;/h6&gt;
&lt;p&gt;看下图，也就是说在特征值急剧下降之后，就不把那些特征值考虑进去了。&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609012029574.png&quot; alt=&quot;image-20240609012029574&quot; /&gt;&lt;/p&gt;
&lt;h6&gt;很关键的一句话：&lt;/h6&gt;
&lt;blockquote&gt;
&lt;p&gt;Magnitude of eigenvalues indicate fraction of variance captured.&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;&lt;strong&gt;为什么这么说呢？&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;在PCA（主成分分析）中，我们的目标是将高维数据投影到一个较低维的空间中，同时尽可能保留数据的主要信息。PCA通过寻找数据协方差矩阵的特征值和特征向量来实现这一目标。&lt;/p&gt;
&lt;p&gt;以下是详细的解释步骤：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;协方差矩阵&lt;/strong&gt;：我们首先计算数据的协方差矩阵，它表示了数据中每对变量之间的线性关系。协方差矩阵的对角线元素表示每个变量的方差，非对角线元素表示变量之间的协方差。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;特征值和特征向量&lt;/strong&gt;：我们对协方差矩阵进行特征值分解，得到一组特征值和对应的特征向量。特征向量表示新坐标系的方向，而特征值表示沿这些方向的数据分布的广度。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;方差解释&lt;/strong&gt;：特征值的大小表示了数据在对应特征向量方向上的分散程度。特征值越大，说明数据在该方向上的方差越大，即数据在这个方向上的变化越显著。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;主成分&lt;/strong&gt;：PCA选择具有最大特征值的特征向量作为主成分。主成分是数据投影后的新基向量，每个主成分的特征值表示了该主成分所解释的原始数据的方差比例。总方差是所有特征值的和，单个特征值除以总特征值之和就表示了该特征值所解释的方差比例。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;捕获的方差比例&lt;/strong&gt;：因此，特征值越大，表示该特征向量（即主成分）捕获的数据方差比例越高。PCA通过选择前几个最大的特征值对应的特征向量，尽可能多地保留原始数据的方差，从而实现降维。&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h6&gt;将PCA和LDA进行对比&lt;/h6&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609105023066.png&quot; alt=&quot;image-20240609105023066&quot; /&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;数据特征的多样性&lt;/strong&gt;：PCA的目标是通过寻找数据方差最大的方向，将高维数据投影到这些方向上，从而减少维度并保留尽可能多的原始信息。PCA所关注的是数据特征的多样性和变化，而不考虑标签。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;忽略标签信息&lt;/strong&gt;：由于PCA不考虑标签信息，因此它无法直接用于分类任务中的特征选择或降维。PCA只能在无监督学习和数据预处理的背景下应用，例如降维、数据可视化和噪声过滤等。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;在有标签的情况下，我们可以使用LDA进行降维，减轻数据的复杂程度，还可以提高分类性能&lt;/strong&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;目标&lt;/li&gt;
&lt;/ol&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;PCA（Principal Component Analysis）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;目标&lt;/strong&gt;：最大化数据的方差，找到数据中方差最大的方向，将数据投影到这些方向上。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;应用场景&lt;/strong&gt;：无监督学习，数据压缩，降维，噪声过滤和数据可视化。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;LDA（Linear Discriminant Analysis）&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;目标&lt;/strong&gt;：最大化类间差异，最小化类内差异，找到能够最有效区分不同类别的数据投影方向。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;应用场景&lt;/strong&gt;：有监督学习，分类任务中的特征提取和降维。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;数据预处理步骤&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;PCA&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;标准化数据&lt;/strong&gt;：对数据进行标准化处理，使每个特征具有相同的尺度。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;计算协方差矩阵&lt;/strong&gt;：计算数据的协方差矩阵。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;特征值分解&lt;/strong&gt;：对协方差矩阵进行特征值分解，得到特征值和特征向量。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;选择主成分&lt;/strong&gt;：选择前k个最大特征值对应的特征向量，形成新的基向量。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;数据投影&lt;/strong&gt;：将数据投影到这些基向量上，得到降维后的数据。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;LDA&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;标准化数据&lt;/strong&gt;：对数据进行标准化处理，使每个特征具有相同的尺度。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;计算类内散布矩阵&lt;/strong&gt;：计算每个类别的均值向量和类内散布矩阵。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;计算类间散布矩阵&lt;/strong&gt;：计算总体均值向量和类间散布矩阵。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;特征值分解&lt;/strong&gt;：计算类内散布矩阵的逆乘以类间散布矩阵，进行特征值分解，得到特征值和特征向量。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;选择判别成分&lt;/strong&gt;：选择前k个最大特征值对应的特征向量，形成新的基向量。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;数据投影&lt;/strong&gt;：将数据投影到这些基向量上，得到降维后的数据。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;预处理效果比较&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;PCA&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;无监督&lt;/strong&gt;：PCA不使用数据的标签信息，只考虑数据特征的空间分布情况。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;最大化方差&lt;/strong&gt;：PCA通过最大化方差来选择重要特征，保留数据的主要变化。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;降维效果&lt;/strong&gt;：适用于降维、数据压缩和去噪，但不能提高分类性能。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;LDA&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;有监督&lt;/strong&gt;：LDA使用数据的标签信息，通过最大化类间差异和最小化类内差异来选择重要特征。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;分类性能&lt;/strong&gt;：LDA可以提高分类性能，因为它在降维过程中考虑了类别信息。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;降维效果&lt;/strong&gt;：适用于分类任务中的特征提取和降维，有助于提高分类器的性能。&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;优缺点&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;PCA&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;优点&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;简单易用，适用于无监督学习任务。&lt;/li&gt;
&lt;li&gt;通过最大化方差，可以有效减少数据维度和噪声。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;缺点&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;不考虑标签信息，在分类任务中效果可能不如LDA。&lt;/li&gt;
&lt;li&gt;对线性关系敏感，不能捕捉非线性特征。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;LDA&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;优点&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;考虑类别信息，可以提高分类任务的性能。&lt;/li&gt;
&lt;li&gt;在处理有标签数据时，效果优于PCA。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;缺点&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;需要类别标签信息，适用于有监督学习。&lt;/li&gt;
&lt;li&gt;适用于线性可分的数据，对于非线性数据效果有限。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;Multi-Dimensional  Scaling (MDS)&lt;/h4&gt;
&lt;p&gt;&lt;strong&gt;pairwise distances&lt;/strong&gt;&lt;/p&gt;
&lt;h5&gt;流程步骤：&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;输入和输出&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;输入：n个对象在d维空间中的欧几里德距离。&lt;/li&gt;
&lt;li&gt;输出：点的位置（不考虑旋转、反射和平移）。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;一般思想&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;距离矩阵 $D$：包含所有点对之间的欧几里德距离。&lt;/li&gt;
&lt;li&gt;观察到可以用点的内积矩阵 $B = X^TX$ 来表示距离。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;步骤1：用距离矩阵表示内积矩阵 $B$&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;内积矩阵 $B = X^TX$。&lt;/li&gt;
&lt;li&gt;利用距离的关系 $d_{ij}^2 = b_{ii} + b_{jj} - 2b_{ij}$，可以推导出 $b_{ij}$ 的表达式。&lt;/li&gt;
&lt;li&gt;通过一些数学推导，最终得到 $b_{ij} = -\frac{1}{2}(d_{ij}^2 - d_{i.}^2 - d_{.j}^2 + d_{}^2)$​。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;步骤2：对 $B$ 进行特征值分解&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;$B$ 是对称正定的，可以进行特征值分解：$B = V \Lambda V^T$，其中 $\Lambda$ 是对角矩阵，对角线元素是特征值。&lt;/li&gt;
&lt;li&gt;取“平方根”： $X = B^{1/2} = V \Lambda^{1/2}$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;低维表示&lt;/strong&gt;：
&lt;ul&gt;
&lt;li&gt;虽然 $X$ 仍是高维的，但可以选择保留前几个最大的特征值和对应的特征向量。&lt;/li&gt;
&lt;li&gt;最终得到低维表示的 $X$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h5&gt;数学推导过程&lt;/h5&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;&lt;img src=&quot;/assets/img/image-20240609110456949.png&quot; alt=&quot;image-20240609110456949&quot; /&gt;&lt;/th&gt;
&lt;th&gt;&lt;img src=&quot;/assets/img/image-20240609110515145.png&quot; alt=&quot;image-20240609110515145&quot; /&gt;&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240609110523338.png&quot; alt=&quot;image-20240609110523338&quot; /&gt;&lt;/td&gt;
&lt;td&gt;&lt;img src=&quot;/assets/img/image-20240609110532224.png&quot; alt=&quot;image-20240609110532224&quot; /&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h5&gt;低维分解的详细解释&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;特征值分解&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;在MDS中，内积矩阵 $B$ 通过特征值分解 $B = V \Lambda V^T$ 得到，其中 $V$ 是特征向量矩阵，$\Lambda$ 是对角矩阵，对角线上是特征值。&lt;/li&gt;
&lt;li&gt;这个过程类似于PCA中对协方差矩阵进行特征值分解的步骤。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;保留主要特征&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;在MDS中，特征值表示了内积矩阵在对应特征向量方向上的重要性。&lt;/li&gt;
&lt;li&gt;保留前几个最大的特征值和对应的特征向量，就相当于PCA中选择主要的主成分。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;低维表示&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;通过保留最大的特征值和对应的特征向量，构建新的低维表示矩阵 $X = V \Lambda^{1/2}$，这类似于PCA中通过保留主要主成分来降维。&lt;/li&gt;
&lt;li&gt;虽然 $X$ 起初是高维的，但只保留前几个主成分（特征向量）之后， $X$ 就变成了低维表示。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h4&gt;Manifold learning&lt;/h4&gt;
&lt;p&gt;对比图：&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609114412344.png&quot; alt=&quot;image-20240609114412344&quot; /&gt;&lt;/p&gt;
&lt;h2&gt;九、Neural Networks (Classical)&lt;/h2&gt;
&lt;blockquote&gt;
&lt;p&gt;Neural networks are simplified models of the brain composed of large numbers of units (the analogs of neurons) together with weights that measure the strength of connections between the units&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h3&gt;引入&lt;/h3&gt;
&lt;p&gt;单层感知机不能做XOR问题，对于线性不可分的问题存在局限性，所以引入MLP。&lt;/p&gt;
&lt;p&gt;&amp;lt;img src=&quot;/assets/img/image-20240609142442180.png&quot; alt=&quot;image-20240609142442180&quot; style=&quot;zoom:80%;&quot; /&amp;gt;&lt;/p&gt;
&lt;h4&gt;优点：&lt;/h4&gt;
&lt;ul&gt;
&lt;li&gt;**Multi-level representations ：**每一层表征某一个特征&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;前向传播过程：&lt;/h3&gt;
&lt;p&gt;&amp;lt;img src=&quot;/assets/img/image-20240609142702462.png&quot; alt=&quot;image-20240609142702462&quot; style=&quot;zoom:80%;&quot; /&amp;gt;&lt;/p&gt;
&lt;p&gt;在神经网络中，每一层的权重矩阵的维度是由前一层和后一层的单元（神经元）数量决定的。&lt;/p&gt;
&lt;h4&gt;公式&lt;/h4&gt;
&lt;h5&gt;权重矩阵之间的关系：&lt;/h5&gt;
&lt;p&gt;如果网络在第 $j$ 层有 $s_j$ 个单元，在第 $j+1$ 层有 $s_{j+1}$ 个单元，那么对应的权重矩阵 $\theta^{(j)}$ 的维度为：
$\theta^{(j)} \in \mathbb{R}^{s_{j+1} \times (s_j + 1)}$&lt;/p&gt;
&lt;p&gt;其中，$s_j + 1$ 中的 $+1$ 是因为包含了偏置项。&lt;/p&gt;
&lt;h5&gt;向量化：&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;计算第 2 层的输入 $z^{(2)}$&lt;/strong&gt;
$z^{(2)} = \theta^{(1)} x$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这里，$\theta^{(1)}$ 是从输入层到第 2 层的权重矩阵，$x$ 是输入向量。&lt;/li&gt;
&lt;li&gt;计算得到第 2 层每个单元的加权和 $z^{(2)}$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;计算第 2 层的激活 $a^{(2)}$&lt;/strong&gt;
$a^{(2)} = g(z^{(2)})$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这里，$g$ 是激活函数（如 sigmoid, tanh, ReLU 等）。&lt;/li&gt;
&lt;li&gt;将加权和 $z^{(2)}$ 输入到激活函数 $g$ 中，得到第 2 层的激活值 $a^{(2)}$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;添加偏置项 $a^{(2)}_0 = 1$&lt;/strong&gt;
$\text{Append } a^{(2)}_0 = 1$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;为了在下一层计算中包含偏置项，在 $a^{(2)}$ 向量前添加一个值为 1 的偏置项。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;计算第 3 层的输入 $z^{(3)}$&lt;/strong&gt;
$z^{(3)} = \theta^{(2)} a^{(2)}$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这里，$\theta^{(2)}$ 是从第 2 层到第 3 层的权重矩阵，$a^{(2)}$ 是第 2 层的激活向量（包括偏置项）。&lt;/li&gt;
&lt;li&gt;计算得到第 3 层每个单元的加权和 $z^{(3)}$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;计算第 3 层的激活 $a^{(3)}$&lt;/strong&gt;
$h_{\theta}(x) = a^{(3)} = g(z^{(3)})$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;这里，$g$ 是激活函数。&lt;/li&gt;
&lt;li&gt;将加权和 $z^{(3)}$ 输入到激活函数 $g$ 中，得到第 3 层的激活值 $a^{(3)}$，即最终的输出 $h_{\theta}(x)$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h5&gt;Loss Function的设置&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;在回归问题当中：$\mathbb{L}_1$和$\mathbb{L}_2$&lt;/li&gt;
&lt;li&gt;在分类问题当中：cross-entropy&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;详细讨论cross-entropy&lt;/h5&gt;
&lt;p&gt;交叉熵损失函数是分类问题中常用的损失函数，它用于最小化神经网络预测分布与真实标签分布之间的差异。&lt;/p&gt;
&lt;h6&gt;定义与公式&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;定义&lt;/strong&gt;：
交叉熵损失函数的目标是最小化神经网络的预测分布与真实标签分布之间的差异。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;多分类问题&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;神经网络输出每个类别的预测概率，这些概率和为1。&lt;/li&gt;
&lt;li&gt;真实标签向量是one-hot编码的，即在真实类别位置上为1，其余位置为0。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;公式&lt;/strong&gt;：
交叉熵损失函数 $J(\theta)$ 定义为：&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
J(\theta) = - \sum_{i=0}^{n-1} p_i \log(\hat{p}_i)&lt;/p&gt;
&lt;p&gt;$$
其中：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;$p_i$ 是真实标签的概率（对于one-hot编码的真实标签，只有一个 $p_i$ 为1，其余为0）。&lt;/li&gt;
&lt;li&gt;$\hat{p}_i$ 是神经网络对第 $i$ 类的预测概率。&lt;/li&gt;
&lt;/ul&gt;
&lt;h6&gt;详细解释&lt;/h6&gt;
&lt;ol&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;神经网络的预测分布&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;对于多分类问题，神经网络输出一个概率向量 $h_\theta(x) = (\hat{p}_0, \hat{p}&lt;em&gt;1, \ldots, \hat{p}&lt;/em&gt;{n-1})$，表示每个类别的预测概率。&lt;/li&gt;
&lt;li&gt;这些预测概率的总和为1，即 $\sum_{i=0}^{n-1} \hat{p}_i = 1$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;真实标签分布&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;真实标签向量 $(p_0, p_1, \ldots, p_{n-1})$ 是one-hot编码的。例如，对于三个类别（猫、狗、马）的分类问题，如果真实类别是狗，真实标签向量可能是 $(0, 1, 0)$。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;交叉熵损失函数公式&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;交叉熵损失函数衡量真实标签分布与预测分布之间的差异。&lt;/li&gt;
&lt;li&gt;在one-hot编码情况下，真实类别位置上的 $p_i = 1$，其他位置上的 $p_j = 0$，所以交叉熵损失函数只考虑真实类别的位置。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;Backpropagation&lt;/h3&gt;
&lt;h4&gt;注意：需要随机初始化&lt;/h4&gt;
&lt;h5&gt;1. 对称性破坏&lt;/h5&gt;
&lt;p&gt;如果所有的权重都初始化为相同的值，那么在第一次前向传播和反向传播中，所有的神经元将执行完全相同的计算，导致更新后的权重仍然相同。这种情况被称为对称性破坏（Symmetry Breaking）。&lt;/p&gt;
&lt;p&gt;具体来说：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;在前向传播过程中，所有神经元会计算出相同的激活值。&lt;/li&gt;
&lt;li&gt;在反向传播过程中，计算得到的梯度也是相同的。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;由于更新规则是一样的，所有权重的更新量也将相同。因此，尽管权重在每次迭代中都会更新，但它们始终保持相同的值。&lt;/p&gt;
&lt;h5&gt;2. 具体例子&lt;/h5&gt;
&lt;p&gt;假设我们有一个简单的网络，其中每一层的权重都初始化为相同的值（例如0）。在这种情况下：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;前向传播&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;对于第 $l$ 层的权重矩阵 $W^{(l)}$ 和偏置向量 $b^{(l)}$，假设初始值均为0。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;输入 $X$ 经过第 $l$ 层时，激活值 $Z^{(l)}$ 计算如下：&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
Z^{(l)} = W^{(l)} \cdot A^{(l-1)} + b^{(l)} = 0 \cdot A^{(l-1)} + 0 = 0&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;由于激活值 $Z^{(l)}$ 为0，所有后续的层也将计算得到相同的激活值。&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;strong&gt;反向传播&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;在反向传播过程中，梯度也会因为相同的初始权重而相同，导致权重更新量一致。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h5&gt;3. 无法学习&lt;/h5&gt;
&lt;p&gt;由于每一层的神经元在每次迭代中的更新都是相同的，这意味着网络的每个神经元都在做相同的事情。没有个体差异，网络无法学习到不同特征，最终无法有效地训练模型。&lt;/p&gt;
&lt;h5&gt;4. 解决方法：随机初始化&lt;/h5&gt;
&lt;p&gt;为了打破对称性，通常使用随机初始化来设置初始权重。随机初始化确保了每个神经元有不同的初始权重，从而在前向传播和反向传播中执行不同的计算。这使得网络能够学习到数据的不同特征。&lt;/p&gt;
&lt;p&gt;常用的随机初始化方法有：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;高斯初始化&lt;/strong&gt;：从正态分布中抽取随机值。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;均匀初始化&lt;/strong&gt;：从均匀分布中抽取随机值。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Xavier初始化&lt;/strong&gt;（Glorot初始化）：考虑到前一层和后一层的节点数量，确保权重的方差适中。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;He初始化&lt;/strong&gt;：专为ReLU激活函数设计，权重的方差略大于Xavier初始化。&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;梯度反传的计算&lt;/h4&gt;
&lt;h5&gt;公式和步骤&lt;/h5&gt;
&lt;p&gt;假设我们有一个简单的四层神经网络，如图所示：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;输入层&lt;/strong&gt;：$\mathbf{x}$&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;隐藏层1&lt;/strong&gt;：使用激活函数 $g$&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;隐藏层2&lt;/strong&gt;：使用激活函数 $g$&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;输出层&lt;/strong&gt;：使用激活函数 $h$&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;我们需要计算每层的梯度，并通过梯度下降算法更新权重。&lt;/p&gt;
&lt;h5&gt;前向传播&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;隐藏层1计算&lt;/strong&gt;：&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\mathbf{z}^{(2)} = \mathbf{\theta}^{(1)} \mathbf{x}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;p&gt;$$
\mathbf{a}^{(2)} = g(\mathbf{z}^{(2)})&lt;/p&gt;
&lt;p&gt;$$
2. &lt;strong&gt;隐藏层2计算&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
\mathbf{z}^{(3)} = \mathbf{\theta}^{(2)} \mathbf{a}^{(2)}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;p&gt;$$
\mathbf{a}^{(3)} = g(\mathbf{z}^{(3)})&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;输出层计算&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
\mathbf{z}^{(4)} = \mathbf{\theta}^{(3)} \mathbf{a}^{(3)}&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;p&gt;$$
\hat{y} = h(\mathbf{z}^{(4)})&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;h5&gt;损失函数&lt;/h5&gt;
&lt;p&gt;假设损失函数为二分类交叉熵损失函数：
$$
J(\theta) = - (y \log(\hat{y}) + (1 - y) \log(1 - \hat{y}))
$$&lt;/p&gt;
&lt;h5&gt;反向传播&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;输出层误差&lt;/strong&gt;：&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\delta^{(4)} = \frac{\partial J(\theta)}{\partial z^{(4)}} = \hat{y} - y&lt;/p&gt;
&lt;p&gt;$$
2. &lt;strong&gt;隐藏层2误差&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
\delta^{(3)} = \left( \theta^{(3)} \right)^T \delta^{(4)} \odot g&apos;(\mathbf{z}^{(3)})&lt;/p&gt;
&lt;p&gt;$$
其中，$\odot$ 表示元素乘积（Hadamard积）。&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;隐藏层1误差&lt;/strong&gt;：&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\delta^{(2)} = \left( \theta^{(2)} \right)^T \delta^{(3)} \odot g&apos;(\mathbf{z}^{(2)})&lt;/p&gt;
&lt;p&gt;$$
4. &lt;strong&gt;梯度计算&lt;/strong&gt;：
根据$\delta$ 计算每层权重的梯度：&lt;/p&gt;
&lt;p&gt;$$
\frac{\partial J(\theta)}{\partial \theta^{(l)}} = \delta^{(l+1)} \left( \mathbf{a}^{(l)} \right)^T \quad (l = 1, 2, 3)&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;h5&gt;总结&lt;/h5&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;输出层梯度&lt;/strong&gt;：&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;$$
\delta^{(4)} = \hat{y} - y&lt;/p&gt;
&lt;p&gt;$$
2. &lt;strong&gt;隐藏层2梯度&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
\delta^{(3)} = \left( \theta^{(3)} \right)^T (\hat{y} - y) \odot g&apos;(\mathbf{z}^{(3)})&lt;/p&gt;
&lt;p&gt;$$
3. &lt;strong&gt;隐藏层1梯度&lt;/strong&gt;：&lt;/p&gt;
&lt;p&gt;$$
\delta^{(2)} = \left( \theta^{(2)} \right)^T \delta^{(3)} \odot g&apos;(\mathbf{z}^{(2)})&lt;/p&gt;
&lt;p&gt;$$
4. &lt;strong&gt;权重更新&lt;/strong&gt;：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;输入层到隐藏层1：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\frac{\partial J(\theta)}{\partial \theta^{(1)}} = \delta^{(2)} \left( \mathbf{x} \right)^T&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;隐藏层1到隐藏层2：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\frac{\partial J(\theta)}{\partial \theta^{(2)}} = \delta^{(3)} \left( \mathbf{a}^{(2)} \right)^T&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;隐藏层2到输出层：&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;$$
\frac{\partial J(\theta)}{\partial \theta^{(3)}} = \delta^{(4)} \left( \mathbf{a}^{(3)} \right)^T&lt;/p&gt;
&lt;p&gt;$$&lt;/p&gt;
&lt;h4&gt;Gradient Check&lt;/h4&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/image-20240609145547506.png&quot; alt=&quot;image-20240609145547506&quot; /&gt;&lt;/p&gt;
&lt;p&gt;$\begin{aligned}&amp;amp;\frac{\partial}{\partial\theta_{i}}J(\theta)\approx\frac{J(\theta_{i+c})-J(\theta_{i-c})}{2c}, c\approx10^{-4}\&amp;amp;\theta_{i\pm c}=(\theta_{1},\theta_{2},\cdots,\theta_{i-1},\theta_{i}\pm c,\theta_{i+1},\cdots)^{\top}\end{aligned}$&lt;/p&gt;
&lt;p&gt;也就是说，只将某一个参数上下稍微改变一些，通过数值的方法计算梯度&lt;/p&gt;
&lt;h3&gt;一些神经网络的变式&lt;/h3&gt;
&lt;h4&gt;1. 径向基函数网络（Radial Basis Function Network）&lt;/h4&gt;
&lt;p&gt;径向基函数网络是一种高效的学习系统，其特点是使用单一隐藏层，并采用径向基函数作为激活函数。其输出是输入向量的标量函数，计算公式为：&lt;/p&gt;
&lt;p&gt;$\phi(\mathbf{x}) = \sum_{i=1}^N a_i \rho(|\mathbf{x} - \mathbf{c}_i|)$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;$N$&lt;/strong&gt;：隐藏层的神经元数量&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;$\mathbf{c}_i$&lt;/strong&gt;：第 $i$ 个神经元的中心向量&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;$a_i$&lt;/strong&gt;：线性输出神经元的权重&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;$\rho(\cdot)$&lt;/strong&gt;：通常采用高斯函数&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;径向基函数网络的输出是输入向量到每个中心向量的距离的函数，加权后得到输出。这种网络在支持向量机（SVM）中也有应用，帮助将数据转换到高维空间。其实和核函数方法用核函数隐式升维有点像。&lt;/p&gt;
&lt;h4&gt;2. 赫布法则（Hebb&apos;s Rule）&lt;/h4&gt;
&lt;p&gt;赫布法则是神经学习的一个原则，强调了同时激活的神经元之间的连接强度会增加。这被总结为“共同激发的神经元之间的连接会增强”。赫布法则的权重更新公式为：&lt;/p&gt;
&lt;p&gt;$\Delta \theta_{ij} = \eta x_i x_j$&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;$\eta$&lt;/strong&gt;：学习率&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;$x_i, x_j$&lt;/strong&gt;：分别为神经元 $i$ 和 $j$ 的激活值&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;如果两个神经元都具有高激活值，那么它们之间的权重更新会很大；反之，若其中一个激活值低，则权重更新较小。&lt;/p&gt;
&lt;h4&gt;3. 霍普菲尔德网络（Hopfield Network）&lt;/h4&gt;
&lt;p&gt;霍普菲尔德网络是一种递归神经网络，用于联想记忆和模式识别。它具有对称的权重连接，能够存储和检索基于联想记忆的模式。其权重满足：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;$\theta_{ij} = \theta_{ji}$&lt;/strong&gt;：对称权重连接&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;$\theta_{ii} = 0$&lt;/strong&gt;：自连接权重为零&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;霍普菲尔德网络可以应用赫布法则进行权重更新。&lt;/p&gt;
&lt;h4&gt;4. 随机网络与随机厨房水槽（Random Network &amp;amp; Random Kitchen Sinks）&lt;/h4&gt;
&lt;p&gt;随机网络和随机厨房水槽方法用于快速非线性特征变换：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;随机网络&lt;/strong&gt;：神经网络具有固定的、随机初始化的权重，将输入数据转换到高维特征空间，无需训练。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;随机厨房水槽&lt;/strong&gt;：通过使用随机特征投影来近似复杂的核函数，使得对大数据集进行高效的非线性变换成为可能。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;主要思想：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;无需训练&lt;/strong&gt;：权重是固定的，训练过程只涉及到线性部分。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;非线性特征变换&lt;/strong&gt;：通过随机投影实现复杂的非线性变换。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2&gt;十、Optimization and CNN&lt;/h2&gt;
&lt;p&gt;&lt;a href=&quot;https://deanattali.com/&quot;&gt;This is a link to a different site&lt;/a&gt; and &lt;a href=&quot;#local-urls&quot;&gt;this is a link to a section inside this page&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Here&apos;s a table:&lt;/p&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;Number&lt;/th&gt;
&lt;th&gt;Next number&lt;/th&gt;
&lt;th&gt;Previous number&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;Five&lt;/td&gt;
&lt;td&gt;Six&lt;/td&gt;
&lt;td&gt;Four&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Ten&lt;/td&gt;
&lt;td&gt;Eleven&lt;/td&gt;
&lt;td&gt;Nine&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Seven&lt;/td&gt;
&lt;td&gt;Eight&lt;/td&gt;
&lt;td&gt;Six&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;Two&lt;/td&gt;
&lt;td&gt;Three&lt;/td&gt;
&lt;td&gt;One&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;You can use &lt;a href=&quot;https://www.mathjax.org/&quot;&gt;MathJax&lt;/a&gt; to write LaTeX expressions. For example:
When \(a \ne 0\), there are two solutions to \(ax^2 + bx + c = 0\) and they are $x = {-b \pm \sqrt{b^2-4ac} \over 2a}.$&lt;/p&gt;
&lt;p&gt;How about a yummy crepe?&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;https://beautifuljekyll.com/assets/img/crepe.jpg&quot; alt=&quot;Crepe&quot; /&gt;&lt;/p&gt;
&lt;p&gt;It can also be centered!&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;https://beautifuljekyll.com/assets/img/crepe.jpg&quot; alt=&quot;Crepe&quot; /&gt;{: .mx-auto.d-block :}&lt;/p&gt;
&lt;p&gt;Here&apos;s a code chunk:&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;var foo = function(x) {
  return(x + 5);
}
foo(3)
&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;And here is the same code with syntax highlighting:&lt;/p&gt;
&lt;pre&gt;&lt;code&gt;var foo = function(x) {
  return(x + 5);
}
foo(3)
&lt;/code&gt;&lt;/pre&gt;
&lt;p&gt;And here is the same code yet again but with line numbers:&lt;/p&gt;
&lt;p&gt;{% highlight javascript linenos %}
var foo = function(x) {
return(x + 5);
}
foo(3)
{% endhighlight %}&lt;/p&gt;
&lt;h2&gt;Boxes&lt;/h2&gt;
&lt;p&gt;You can add notification, warning and error boxes like this:&lt;/p&gt;
&lt;h3&gt;Notification&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;Note:&lt;/strong&gt; This is a notification box.&lt;/p&gt;
&lt;h3&gt;Warning&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;Warning:&lt;/strong&gt; This is a warning box.&lt;/p&gt;
&lt;h3&gt;Error&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;Error:&lt;/strong&gt; This is an error box.&lt;/p&gt;
&lt;h2&gt;Local URLs in project sites {#local-urls}&lt;/h2&gt;
&lt;p&gt;When hosting a &lt;em&gt;project site&lt;/em&gt; on GitHub Pages (for example, &lt;code&gt;https://USERNAME.github.io/MyProject&lt;/code&gt;), URLs that begin with &lt;code&gt;/&lt;/code&gt; and refer to local files may not work correctly due to how the root URL (&lt;code&gt;/&lt;/code&gt;) is interpreted by GitHub Pages. You can read more about it &lt;a href=&quot;https://beautifuljekyll.com/faq/#links-in-project-page&quot;&gt;in the FAQ&lt;/a&gt;. To demonstrate the issue, the following local image will be broken &lt;strong&gt;if your site is a project site:&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;img src=&quot;/assets/img/crepe.jpg&quot; alt=&quot;Crepe&quot; /&gt;&lt;/p&gt;
&lt;p&gt;If the above image is broken, then you&apos;ll need to follow the instructions &lt;a href=&quot;https://beautifuljekyll.com/faq/#links-in-project-page&quot;&gt;in the FAQ&lt;/a&gt;. Here is proof that it can be fixed:&lt;/p&gt;
&lt;p&gt;![Crepe]({{ &apos;/assets/img/crepe.jpg&apos; | relative_url }})&lt;/p&gt;
</content:encoded></item></channel></rss>