Zhu et al. (2025) - Hyper-Connections：残差连接的可学习替代

作者：Defa Zhu、Hongzhi Huang、Zihao Huang、Yutao Zeng、Yunyao Mao、Banggu Wu、Qiyang Min、Xun Zhou（字节跳动 Seed-Foundation-Model 团队）。 发表：ICLR 2025（正式会议论文）；arXiv:2409.19606v3，2025-03-18。

一句话总结

超连接（Hyper-Connections, HC） 用一个 (n{+}1)\times(n{+}1) 的可学习连接矩阵替代 残差连接，把单条残差路径扩成 n 条"超隐状态"并允许层间动态重排，以可忽略的参数与算力开销换取稳定且更快的预训练收敛——OLMoE-1B-7B 上 1.8× 收敛加速、ARC-Challenge +6 点。

为什么对本 wiki 重要

本 wiki 的 ML 页面已多次依赖 Transformer 构件：Graph Attention Network (GAT) 与 THGNN 用 pre-norm Transformer 作时序编码器。HC 直击 Transformer 训练中梯度消失 ↔ 表征塌缩的跷跷板——即 Residual Connection Tradeoffs——且证明 Pre-Norm / Post-Norm 只是 HC 的两个不可训练特例。它是理解"为什么深层 Transformer 仍可训练、以及如何更稳地训练"的基础设施级知识，可作为后续量化模型（return-prediction Transformer、因子模型深度化）的架构选项。

方法一段话

把初始隐向量 h_0\in\mathbb{R}^d 复制 n 份成超隐矩阵 H\in\mathbb{R}^{n\times d}；每层用连接矩阵 HC=\begin{pmatrix}0 & B \\ A_m & A_r\end{pmatrix} 对输入加权聚合 h_0^\top = A_m^\top H 喂给层 T，再把输出与 A_r^\top H 组合成新 H。其中 B、对角 \text{diag}(A_r) 构成深度连接（输入-输出间的纵向加权残差），(A_m, A_r) 构成宽度连接（n 条隐向量间的横向信息交换）。静态版参数全为标量；动态版（DHC）让 B(H), A_m(H), A_r(H) 经 norm → linear → tanh → 小因子 依输入生成，初始化时退化为 Pre-Norm 以稳定启动。关键洞察：n{=}1 仍困于跷跷板、无增益；n{>}1 才能让网络同时调残差强度并重排层（顺序↔并联），形成 Pre/Post-Norm 的"自由混合"。

关键结果

开销：参数 +0.033%、FLOPs +0.20%（OLMo-1B-DHC×4）；n{=}4 为甜点，n{=}8 边际极小。

可解释性发现

将 HC 展开成稠密跨层贡献矩阵 C^{(0)}：Pre-Norm 是下三角、Post-Norm 只连相邻、HC 呈 Λ 形——长程衰减（Post-Norm 风格）叠加底层频繁复用（Pre-Norm 风格）；并自发学出类似 Parallel Transformer Block 的局部并联块；末层会剔除输入词嵌入以利于下一 token 预测；注意力层长程连接偏少、FFN 输出主导主路径（类 two-hop residual）。

本 wiki 关注的开放问题

• HC 的收益仅在 LLM 预训练、ViT 图像分类与 DiT 图像生成上验证（图像生成一项只是与参数多 50% 的 DiT-1B/2 相当），未见于收益预测 / 因子模型的深度网络 ——其表征塌缩缓解是否对金融低信噪比回归同样有效？需在 return-prediction Transformer 上对照 Pre-Norm 复现。
• 动态连接权重依赖输入，在体制切换频繁的金融序列下是否反而引入额外过拟合风险，论文未触及。

本 wiki 相关页面

• Residual Connection Tradeoffs - HC 要解决的跷跷板问题
• Graph Attention Network (GAT) - 同为 Transformer/GNN 基础构件