Zhu et al. (2025) - Hyper-Connections
字节跳动 Seed-Foundation-Model 团队的 ICLR 2025 会议论文，提出 Hyper-Connections 作为残差连接的可学习替代。
Key contributions / features
- 超连接矩阵：用 (n{+}1)\times(n{+}1) 分块矩阵 \begin{pmatrix}0 & B \\ A_m & A_r\end{pmatrix} 统一表达深度连接与宽度连接，把单条残差路径扩成 n 条超隐状态。
- 证明 Pre/Post-Norm 是不可训练特例：二者均为 n{=}1 的固定 HC 矩阵（见 Residual Connection Tradeoffs）。
- Sequential-parallel duality：网络可学到顺序↔并联的层序重排，DHC 更能逐 token 动态重排。
- 实证：OLMoE-1B-7B-DHC×4 1.8× 收敛加速、ARC-Challenge +6 点；OLMo-7B 全程无训练 spike；ViT-Large ImageNet +2.69 top-1；开销可忽略（参数 +0.033%、FLOPs +0.20% @ 1B-DHC×4）。
Bibliographic details
- 作者：Defa Zhu, Hongzhi Huang, Zihao Huang, Yutao Zeng, Yunyao Mao, Banggu Wu, Qiyang Min, Xun Zhou.
- 机构：Seed-Foundation-Model Team, ByteDance.
- venue：ICLR 2025（正式会议论文）。
- arXiv：2409.19606v3，2025-03-18。
- 归档：
raw/papers/202503-hyper-connections/paper.pdf（37 页，7.3 MB）+extracted.md。
Related concepts
- Hyper-Connections - 核心方法概念页。
- Residual Connection Tradeoffs - HC 要化解的跷跷板问题。
- Graph Attention Network (GAT) - 同属 Transformer/GNN 基础构件谱系。