paperneural-networkcovariance-estimationpairwise-completeindefinite-correlationrotation-invariantsmall-capmarkowitzrmt-extension

Bongiorno & Villassero (2026) — End-to-End Neural Shrinkage of Indefinite Pairwise Correlations

Citation. Bongiorno, C. & Villassero, L. (2026) "End-to-End Neural Shrinkage of Indefinite Pairwise Correlation Matrices for Small-Cap-Inclusive Portfolios", August 2026 preprint (arXiv). Université Paris-Saclay, CentraleSupélec, Mathématiques et Informatique pour la Complexité et les Systèmes。

One-line takeaway. 把 concepts/Covariance Shrinkage Estimation 谱系中 Bongiorno-Manolakis-Mantegna (2026) JFDS 的 rotation-invariant 神经协方差估计器推到 pairwise-complete + indefinite correlation 场景（针对小盘碎片化历史），同时处理 (a) 负特征值修复 与 (b) positive spectrum 收缩；用因子对齐有效样本长度 \tau_k（weighted average of overlap counts by squared eigenvector loadings）编码异质 sampling uncertainty 给 BiGRU；end-to-end 训在 5-day realized GMV variance。实证 2000–2025 美股最多 1500 只，净交易成本后：5d vol 11.17% (vs Factor 14.08%, −20.7%), Sharpe 0.814 (vs 0.580, +40%), MCS 99.9% 显著性下唯一保留方法。

摘要

问题：小盘碎片化历史场景下（17.15% 的 stock-rebalance observations 历史 < 1200 天），pairwise-complete correlation 矩阵 \mathbf C_\cap 因不同 entry 用不同 overlap 而不定（含负特征值）——既不能直接喂 Markowitz 优化，也不满足 RMT 收缩 (LW / QIS / Bun-Bouchaud-Potters) 的"共同 panel"假设。现有方法局限：nearest-correlation (Higham 2002)、factor imputation (Cahan-Bai-Ng 2023)、ridge regression (Gramacy-Lee-Silva 2008) 都只解决其中一个问题，没有统一框架同时修复负特征值 + 收缩正 spectrum。

方法 (RIEnet)：~7,400 参数（与 n 无关）的双向 GRU 网络

  1. Lag transformation：5 参数 (a_t, b_t) soft-clipping（同 Bongiorno 2025 ICAIF）。
  2. Marginal volatility 分支：mask-aware MLP（8 leaky-ReLU + softplus）+ T_{ii}^{-1/2} 修正——捕捉 asset-specific 异方差采样不确定。
  3. Correlation 分支（核心）：
    • 计算 \mathbf C_\cap 及其有符号特征值 \lambda^\cap_k + 特征向量 \mathbf Q_\cap
    • 构造因子对齐有效样本长度 \tau_k = \sum_{ij} Q^2_{\cap,ik} Q^2_{\cap,jk} T_{ij}（加权 overlap counts by squared eigenvector loadings——不变于特征向量符号与资产重标号）；因子特异浓度比 q_k = n / \tau_k
    • Token = (\lambda^\cap_k, \log q_k)；双向 GRU（32 hidden units）处理；softplus 输出 \lambda^{(-1)}_{k,\mathrm{NN}}（总是正，把 signed spectrum 映射到 positive inverse spectrum）
    • 特征向量 rescale 保证 \mathbf C_{\mathrm{NN}} 单位对角 + 正定
  4. End-to-end 训练：损失 = 未来 5 个交易日的 realized GMV variance——直接对 minimizer 风险建模；unconstrained analytical GMV 训练，部署再 apply long-only 约束。

实证：26 个 expanding-window 模型 (1990-1999 → 2000 OOS, ..., 1990-2024 → 2025 OOS)；train n \in [50, 500] vs test n up to 1500（维度 shift 泛化测试）；A 股无迁移（仅美股）。Table 1 (broker-simulated net cost):

Method Vol 5d Sharpe MaxDD \beta_{\mathrm{RUI}} MCS p
RIEnet 11.17% 0.814 −41.3% 0.500 1.000
Factor 14.08 0.580 −51.5 0.592 <0.001
Bootstrap 14.46 0.563 −49.4 0.595 <0.001
Anderson 14.74 0.578 −50.8 0.603 <0.001
QIS 15.54 0.560 −50.3 0.799 <0.001
MLE 16.25 0.248 −60.3 0.683 <0.001
Ridge 18.07 0.272 −70.0 0.671 <0.001

Execution diagnostics (Table 2): RIEnet median n_{\mathrm{eff}} = 57.6, turnover 31.53/年, impact 2.57 bps/, fees 0.92 bps/, total CAGR drag 1.49 pp——drag 显著低于 MLE/Bootstrap/Anderson/Factor/Ridge (3.06–4.03 pp)，但高于 QIS (1.17 pp)；QIS drag 最低源于其 broad allocation 与小单执行，代价是 Sharpe 显著低于 RIEnet。

关键贡献

  1. 统一处理 indefinite + RMT 不适用：首次把负特征值修复与 positive spectrum 收缩放在同一 spectral map 中。
  2. 因子对齐 overlap 信息：\tau_k 把 pairwise overlap 通过 squared eigenvector loadings 聚合到因子级——让网络学到如何给不同因子分配样本权重。
  3. End-to-end GMV 训练：损失直接是 realized 5d GMV variance；unconstrained 训练 + 长短约束 deploy 的解耦——同一估计器可用于多产品。
  4. 维度 shift 训练（50-500 vs test 1500）：实际证明泛化能力，避开维度诅咒。
  5. 统一比较基准：包括 QIS、Anderson (nearest-correlation)、Bootstrap、Factor (imputation)、Ridge、MLE——把现有方法在 broker-simulated 净成本下完整对照。

与 quant 关联

  • A 股小盘碎片化历史极端普遍 (借壳、IPO、新三板转板、限售解禁后)——RIEnet 路径直接迁移:
    • 中证 500 + 中证 1000 联合优化
    • 北交所碎片化历史
    • ETF 申赎 basket construction
  • 统一 indefinite + 异质 overlap：打破"RMT 仅适用同质 panel"瓶颈
  • End-to-end GMV 训练 直接对 minimizer 风险优化——比"先估协方差再 MVO" two-stage 偏差小
  • 维度 shift 泛化：train 50-500, test 1500 仍稳定——降低重训练频率

与 Covariance Shrinkage Estimation 谱系的关系

flowchart LR
    S["Stein 1956<br/>James-Stein 1961<br/>均值向量收缩"] --> LW["LW 2003/2004<br/>协方差矩阵<br/>identity target, 闭式"]
    LW --> QIS["LW 2020 QIS<br/>RMT-based 二次逆特征值"]
    LW --> RMT["Bun-Bouchaud-Potters 2017<br/>RMT 清洗综述"]
    QIS --> RN["Bongiorno et al. 2026 JFDS<br/>RINet 神经 spectral map<br/>标准矩形 panel"]
    RN --> RIE["BV 2026 RIEnet (本文)<br/>pairwise-complete + indefinite<br/>小盘碎片化场景"]

每一步都增加对样本结构不规则性的容忍度：从 closed-form linear → RMT 二次 → 神经 spectral map → indefinite + 异质 overlap 统一处理。

局限

  • 仅美股 2000-2025 26 年 OOS：未跨域测试 A 股 / 商品 / crypto
  • 未跨 regime 详细分解：2020 COVID、2022 通胀紧缩期表现需单独 attribution
  • closing auction execution 限定：连续竞价市场需重新校准 market impact 系数
  • unconstrained GMV 训练但 long-only deploy：可能有 constraint-induced 信息损失

工程细节

  • ~7,400 trainable parameters，独立于 n 和 \Delta t_{in}
  • Lag transformation 5 参数；marginal MLP 8 单元；BiGRU 32 hidden
  • Adam, lr=1e-4, 0.99^(b/500) decay, gradient clip 1.0, grad accum over 2 batches × 32 samples, 500 batches/epoch × 100 epochs
  • 模型故意 train 50-500 assets, test up to 1500

See also