transformer残差连接gradient-vanishingrepresentation-collapse深度学习架构pre-normpost-norm

残差连接权衡 (Residual Connection Tradeoffs)

残差连接（residual connection）让深层网络可训练，但其两种主流变体在梯度消失与表征塌缩之间存在跷跷板式权衡--这一矛盾正是 Hyper-Connections 要化解的动机。

What it is

残差连接（He et al. 2016）把层 T 的输出写为 \hat{h} = T(h) + h，使梯度可经恒等分支直达浅层，从而缓解梯度消失（gradient vanishing, Bengio et al. 1994; Glorot & Bengio 2010）。Transformer 依赖它堆叠数十乃至上百层。但"恒等相加"本身预设了连接强度恒为 1，这带来两种规范化的取舍：

  • Pre-Norm：层前先归一化，\hat{h} = T(\text{Norm}(h)) + h。梯度通畅、深层稳定，但深层隐状态趋于高度相似--表征塌缩（representation collapse, Liu et al. 2020），额外层贡献被稀释。
  • Post-Norm：层后再归一化，\hat{h} = \text{Norm}(T(h) + h)。削弱深层对隐状态的支配、缓解塌缩，但每次过 post-norm 都衰减早期层贡献，梯度消失回归。

How it works

二者本质是对"输入与输出如何混合"取了不同的固定权重。Zhu et al. (2025) 证明它们都是 expansion rate n{=}1 的不可训练超连接特例：

HC_{\text{PreNorm}}=\begin{pmatrix}0 & 1 \\ 1 & 1\end{pmatrix},\qquad HC_{\text{PostNorm}}=\begin{pmatrix}0 & \tfrac{1}{\sqrt{\sigma_h^2+\sigma_{h'}^2+2\sigma_{hh'}}} \\[2pt] \tfrac{1}{\sqrt{\sigma_h^2+\sigma_{h'}^2+2\sigma_{hh'}}} & \tfrac{1}{\sqrt{\sigma_h^2+\sigma_{h'}^2+2\sigma_{hh'}}}\end{pmatrix}

其中 \sigma_h,\sigma_{h'} 为层输入/输出标准差，\sigma_{hh'} 为协方差。Pre-Norm 是"下右三角全 1"的固定阵；Post-Norm 权重由方差/协方差决定、同样不可训练。跷跷板的根源正在于此--连接强度被写死，只能在一端换另一端。

flowchart LR
    GV["梯度消失<br/>(gradient vanishing)"] -- Pre-Norm 缓解 --- RC["残差连接<br/>固定强度"]
    RC -- Post-Norm 缓解 --- RepC["表征塌缩<br/>(representation collapse)"]
    GV -. Post-Norm 回归 .-> RepC
    RepC -. Pre-Norm 回归 .-> GV
    HC["Hyper-Connections<br/>可学习 n>1 连接"] -. 同时化解 .-> GV
    HC -. 同时化解 .-> RepC

Key properties / tradeoffs

  • 固定 vs 可学习：Pre/Post-Norm 都把"层间连接强度"设成常数（1 或 \frac{1}{\sigma_{h+h'}}），无法随深度自适应。
  • n=1 不足以破局：仅把单条残差变成可学习仍困于跷跷板，必须扩成 n>1 条隐路径才能同时调残差强度与重排层序（见 Hyper-Connections § sequential-parallel duality）。
  • 诊断信号：相邻层输入的余弦相似度 \cos(h^0_i, h^0_{i+1}) 是塌缩的直观指标--Pre-Norm 基线在深层趋近 1.0 且带状极窄；HC 把它压低并展宽，表明每层都"做事"。

Relationship to other concepts

Open questions

  • 在金融低信噪比回归中，表征塌缩是否仍是深层 Transformer 的主要瓶颈？还是梯度消失退居次位？尚无针对收益预测网络的 \cos(h_i,h_{i+1}) 诊断。
  • Post-Norm 在金融时序上偶有稳定性优势的传闻，是否来自其对噪声主导输入的方差再标定，尚缺系统对照。

Sources