transformer残差连接深度学习架构representation-collapsegradient-vanishingpre-training

超连接 (Hyper-Connections)

超连接（HC）是一类替代 残差连接 的可学习连接机制：用 n 条并行的"超隐状态"配合一个 (n{+}1)\times(n{+}1) 连接矩阵，让网络自主调节层间连接强度并动态重排层序，以可忽略的开销换取更稳、更快的训练。

What it is

字节跳动在 ICLR 2025 提出（Zhu et al. 2025）。动机直击残差连接的跷跷板：Pre-Norm 抑制梯度消失却招致表征塌缩，Post-Norm 反之（见 Residual Connection Tradeoffs）。HC 的核心主张是--不要把连接强度写死。把初始隐向量 h_0\in\mathbb{R}^d 复制 n 份成超隐矩阵 H=(h_1,\dots,h_n)^\top\in\mathbb{R}^{n\times d}，每层经一个连接矩阵把"深度"与"宽度"方向的信息流交给网络自己学。

How it works

连接矩阵结构化为分块形式：

HC=\begin{pmatrix}0 & B \\ A_m & A_r\end{pmatrix}\in\mathbb{R}^{(n+1)\times(n+1)} 第 k 层 T（Transformer 中含 self-attention + FFN）的输出为： \hat{H} = B^\top\,\bigl(T(A_m^\top H)\bigr)^\top + A_r^\top H

其中 A_m 对 H 加权求和得到本层输入 h_0；A_r 把 H 映射到新超隐矩阵；B 给本层输出加权。该矩阵可解耦为两部分：

  • 深度连接 DC=\binom{B}{\text{diag}(A_r)}\in\mathbb{R}^{2\times n}：每条隐路径上输入与输出之间的加权残差。可视为广义残差连接。
  • 宽度连接 WC=(A_m\; A_r)\in\mathbb{R}^{n\times(n+1)}：n 条隐向量之间的横向信息交换。
flowchart TB
    H0["超隐矩阵 H<br/>(n 条隐向量)"]
    Am["A_m: 加权聚合<br/>-> 本层输入 h0"]
    T["层 T<br/>attention + FFN"]
    B["B: 给输出加权"]
    Ar["A_r: 映射 H -> 新 H"]
    Hhat["输出 hat-H<br/>(n 条新隐向量)"]
    H0 --> Am --> T --> B --> Hhat
    H0 --> Ar --> Hhat
    H0 -. 宽度连接 WC .-> H0

静态 HC (SHC)：B, A_m, A_r 全为可学习标量。

动态 HC (DHC)：参数依输入生成，并叠加一个静态基底以稳定训练：

B(H)=s_\beta\circ\tanh(HW_\beta)^\top + B,\quad A_m(H)=s_\alpha\circ\tanh(HW_m)+A_m,\quad A_r(H)=s_\alpha\circ\tanh(HW_r)+A_r 前置归一化、tanh 限幅、小初始因子 s 是稳定三件套；动态权重 W_\beta, W_m, W_r 初始化为 0，使 DHC 启动时等价于 Pre-Norm。 ### Sequential-parallel duality 通过把 HC 展开为稠密跨层贡献矩阵 C^{(0)}，可看到层序排列是学出来的而非写死的：特定 HC 矩阵让网络退化为纯顺序（等价残差），另一组奇偶交替矩阵则让相邻两层并联（类 Parallel Transformer Block）。DHC 更进一步使该排列逐 token 动态变化。 ### Initialization \begin{pmatrix}0 & B_k \\ A_m^k & A_r^k\end{pmatrix}=\begin{pmatrix}0 & \mathbf{1}_{1\times n} \\ e_{k\bmod n} & I_{n\times n}\end{pmatrix}

使初始化严格等价 Pre-Norm 残差，保证训练起步稳定。

Key properties / tradeoffs

  • n{=}1 无效：仅给单条残差加权重仍困于跷跷板（见附录 F 的"层被浪费"现象）。n{>}1 才能同时调强度与重排层。n{=}4 是甜点，n{=}8 边际极小。
  • 开销可忽略：SHC 每层仅 n(n{+}2) 参数；DHC 每层 d_{model}(n{+}2)+n(n{+}2)+2。OLMo-1B-DHC×4：参数 +0.033%、FLOPs +0.20%；主要代价是激活内存 +26%（可由重计算降到 +nsbd_model 级）。
  • Λ 形连接模式：学出的 C^{(0)} 兼具 Post-Norm 式长程衰减与 Pre-Norm 式底层频繁复用，即 Pre/Post-Norm 的"自由混合"，而非二选一。
  • 收益：OLMoE-1B-7B-DHC×4 达 1.8× 收敛加速、ARC-Challenge +6 点；OLMo-7B 全程无 spike；ViT-Large +2.69 top-1。

Relationship to other concepts

Open questions

  • HC 的塌缩缓解是在高信噪比 LLM 预训练上验证的；收益预测/因子深度模型信噪比极低，表征塌缩是否仍是主瓶颈、HC 是否仍有增益，尚无对照实验。
  • DHC 的连接权重逐 token 动态化，在体制切换频繁的金融序列上是否引入额外过拟合风险，论文未触及。
  • HC 改变了层间信息流，对注意力可解释性（如 THGNN 的 Gradient×Input 归因）有何影响未知。

Sources