neural-networkcovariance-estimationpairwise-completeindefinite-correlationrotation-invariantsmall-capmarkowitzrmt-extension

Bongiorno & Villassero 2026 — 神经协方差收缩到不定 pairwise correlation

一句话：针对小盘碎片化历史场景（pairwise-complete correlation 矩阵因不同 entry 用不同 sample 而不定——既不能直接喂 Markowitz 也不满足 RMT 假设），adapt Bongiorno et al. (2026) JFDS 的 rotation-invariant 神经协方差估计器，同时处理 (a) 负特征值修复 与 (b) positive spectrum 收缩——把 pairwise overlap 信息编码为因子对齐有效样本长度 \tau_k，喂 bidirectional GRU 输出正定 inverse spectrum；end-to-end 训在 5-day realized GMV variance。实证 2000–2025 美股最多 1500 只，净交易成本后：5d vol 11.17% vs 第二名 Factor 14.08%（−20.7%）, Sharpe 0.814 vs Factor 0.580（+40%）, MaxDD −41.3% (最低), MCS 99.9% 显著性下唯一保留方法。

论文身份

Bongiorno, C. & Villassero, L. (2026) End-to-End Neural Shrinkage of Indefinite Pairwise Correlation Matrices for Small-Cap-Inclusive Portfolios, August 2026 preprint (arXiv)。Université Paris-Saclay, CentraleSupélec, Mathématiques et Informatique pour la Complexité et les Systèmes。本文是 Bongiorno-Manolakis-Mantegna (2026) JFDS 12, 100179 的姊妹篇——把"rotation-invariant 神经协方差收缩"从标准矩形 panel 推到 pairwise-complete 不定矩阵场景。

关键贡献

1. Indefinite Pairwise Risk 的精确定义

  • Overlap matrix \mathbf T：\mathbf{T}_{ij} = 第 i 与第 j 资产的共同有效观测天数
  • 边际 sample moments：T_{ii}^{-1}\sum_t M_{ti} R_{ti} 等
  • Marginally standardized pairwise cross-moment \mathbf C_\cap（Eq. 2-4）：用每资产全有效历史估边际均值/方差，但 cross-moment 每个 entry 用 \mathbf{T}_{ij} 各自重叠天数——即利用最大信息，又允许 C_∩ 不定
  • 关键性质：Sylvester's law of inertia——\mathbf\Sigma_\cap = \ \mathbf{\hat D}^{1/2}\mathbf C_\cap \mathbf{\hat D}^{1/2} 与 \mathbf C_\cap 有相同特征值符号；marginal scaling 单独不能修复不定性

2. RIEnet 架构（~7,400 参数，与 n 无关）

flowchart LR
    R["R + M<br/>return panel + validity mask"] --> L["Lag transformation<br/>5 参数 (a_t, b_t)<br/>soft-clipping"]
    L --> BR["两分支并行"]
    BR --> MV["Marginal Volatility<br/>MLP 8 leaky-ReLU<br/>+ softplus<br/>× T_ii^(-1/2)"]
    BR --> CB["Correlation 分支<br/>C_∩ = pairwise standardized<br/>signed spectrum λ^∩_k"]
    CB --> T["τ_k = Σ_ij Q²_∩,ik Q²_∩,jk · T_ij<br/>因子对齐有效样本长度<br/>q_k = n / τ_k"]
    T --> TOK["Token x_k = (λ^∩_k, √n, √τ_k, q_k)<br/>per ordered k"] <!-- 核查修正 2026-10-05: 原写 (λ^∩_k, log q_k)，原文 Eq.(12) 为 (λ^∩_k, √n, √τ_k, q_k) -->
    TOK --> GRU["Bidirectional GRU<br/>32 hidden units<br/>softplus output"]
    GRU --> INV["λ^(-1)_k,NN = softplus(γᵀ h_k + ω^(-1))"]
    MV --> EIG["Q_∩,k → rescaled eigenvector"]
    INV --> EIG
    EIG --> OUT["Σ_NN = D_NN^{1/2} · C_NN · D_NN^{1/2}<br/>C_NN unit diagonal + 正定"]
    OUT --> GMV["Unconstrained analytical GMV<br/>loss = 5d realized vol<br/>end-to-end 训练"]

3. End-to-End 训练

  • 损失 = 未来 5 个交易日的 realized GMV variance——直接对 minimizer 风险建模
  • 用unconstrained analytical GMV 训练（Eq. 7），部署时再 apply long-only 约束——避免 client-specific constraint 锁定（同一估计器对长/短/全/多约束产品都可用）
  • 维度 shift 训练：每个 sample 含 n \in [50, 500], \Delta t_{in} \in [600, 1200]；test 时 n up to 1500——deliberate 跨尺寸测试泛化
  • 26 个 expanding-window 模型（1990–1999 → 2000 OOS, ..., 1990–2024 → 2025 OOS）；Adam lr=1e-4, 0.99 decay / batch 500, 100 epochs, gradient clip 1.0

4. 实证（Table 1，物理执行净成本）

方法 Vol 5d Sharpe MaxDD \beta_{\mathrm{RUI}} MCS p
RIEnet 11.17% 0.814 −41.3% 0.500 1.000
Factor 14.08 0.580 −51.5 0.592 <0.001
Bootstrap 14.46 0.563 −49.4 0.595 <0.001
Anderson 14.74 0.578 −50.8 0.603 <0.001
QIS 15.54 0.560 −50.3 0.799 <0.001
MLE 16.25 0.248 −60.3 0.683 <0.001
Ridge 18.07 0.272 −70.0 0.671 <0.001
Equal Weight 20.90 0.440 −58.5 1.125 <0.001
  • 20.7% vol 降低 vs 第二名
  • 40% Sharpe 提升 vs 第二名
  • MCS（stationary block bootstrap, 10000 reps, 显著性 0.1%）：只有 RIEnet 被保留——统计极显著
  • 不动指数复制：Russell 1000 \beta = 0.500（最低，Equal Weight 1.125）——不是机械地跟踪大盘

5. Execution diagnostics (Table 2)

  • RIEnet: n_{\mathrm{eff}} = 57.6（比 QIS 754.1 集中、比 Anderson 19.1 分散），turnover 31.53/年, market impact 2.57bps/, fees 0.92bps/, total CAGR drag 1.49 pp
  • QIS: drag 1.17 pp（最低，但其 n_{\mathrm{eff}} 太高, Sharpe 不高）
  • RIEnet 在 vol / Sharpe / DD 显著领先的同时，drag 比 MLE/Bootstrap/Anderson/Factor/Ridge 低 50%+——实现成本可控

与 quant 关联

  • A 股小盘碎片化历史极端普遍 (借壳、IPO 频繁、新三板转板、限售解禁后) —— RIEnet 路径直接迁移:
    • 中证 500 + 中证 1000 联合优化
    • 北交所碎片化历史
    • ETF 申赎 basket construction
  • 统一处理 indefinite + RMT 不适用：本文打破"RMT 仅适用同质 panel"瓶颈——把 pairwise overlap 信息通过 \tau_k 喂入网络，网络学到如何给因子分配样本权重
  • End-to-end GMV 训练 直接对 minimizer 风险优化——比"先估协方差，再 MVO"的 two-stage 偏差小
  • 维度 shift 泛化：train 50-500, test 1500 仍稳定——quant 重训练频率问题有解决潜力

与 quant 关联的局限

  • 2000–2025 美股 26 年 out-of-sample：未跨域测试 A 股 / 商品 / crypto
  • 未做分 regime 分解：2020 COVID、2022 通胀紧缩期没有单独 attribution（论文只说明优势在 26 年样本内持续、且样本末期分离更明显；明确留给未来工作的是组件级归因分析）
  • closing auction execution 限定——连续竞价市场（多数 quant 实务）需重新校准 market impact 系数
  • unconstrained GMV 训练但 long-only deploy——可能有 constraint-induced 信息损失，但论文给的是实用可分离

与 Covariance Shrinkage Estimation 谱系的关系

  • Stein (1956) / James-Stein (1961)：标量/均值向量收缩
  • LW (2003 / 2004)：协方差矩阵，identity target，闭式 oracle（Frobenius）
  • LW (2020 QIS)：基于 RMT 的二次逆特征值收缩
  • Bun-Bouchaud-Potters (2017) Physics Reports：RMT 清洗大相关矩阵综述
  • Bongiorno et al. (2026) JFDS：rotation-invariant 神经协方差收缩（标准 panel）
  • Bongiorno-Villassero (2026, 本文)：把 RINet 推到 indefinite pairwise + 小盘碎片化场景

统一视角：从 LW (2003) 的线性 closed-form → QIS 的 RMT-based 二次 → RINet 的神经可学习 spectral map → RIEnet 处理 indefinite + 异质 overlap。每一步都在增加对样本结构不规则性的容忍度。

入口