random-matrix-theorymarchenko-pasturcovariance-estimationcurse-of-dimensionalitybulk-eigenvalues

Marchenko-Pastur 分布与协方差病态

Definition. Marchenko-Pastur 分布 (MP 分布) 是随机矩阵理论 (RMT) 给出的纯噪声协方差矩阵经验谱的极限分布——当 p, n \to \infty 且 p/n \to c > 0 时,样本协方差 S 的特征值经验分布收敛到 MP 分布。落入 MP "bulk" 内的特征值统计上与噪声不可区分,由它们决定的条件数直接刻画 MVO 的病态性。

MP 分布的形式

设 X \in \mathbb{R}^{p \times n} 是 i.i.d. 标准正态矩阵,S = \frac{1}{n} X X^\top。当 p, n \to \infty, p/n \to c \in (0, \infty):

\rho(\lambda) = \frac{1}{2\pi c \lambda} \sqrt{(\lambda_+ - \lambda)(\lambda - \lambda_-)}, \quad \lambda \in [\lambda_-, \lambda_+]

其中 \lambda_\pm = (1 \pm \sqrt{c})^2。当 c \geq 1 (维度灾难) 时,\lambda_- = 0,S 出现零特征值——直接不可逆。

信号 vs 噪声的判别

真实市场里,样本协方差 S 的特征值分布通常是:

  • 少数大特征值 (出 MP bulk 之上) → 市场、风格等强趋势 → 信号。
  • 大量小特征值 (落在 MP bulk 内) → 统计上与噪声不可区分 → 稀释信号。

drop-the-bulk 启发式: 把 MP bulk 内的特征值置零或收缩,只保留 bulk 之外的少数信号特征值。MINGLE 论文的"诱导协方差"以及 Covariance Shrinkage Estimation 中的 RMT 收缩、QIS 都在用这一思想。

为什么 MP bulk 决定 MVO 病态性

设 S 的特征值按升序 \lambda_1 \leq \cdots \leq \lambda_p, 条件数 \kappa(S) = \lambda_p / \lambda_1。

  • \lambda_p 通常是大特征值 (市场),稳定。
  • \lambda_1 落在 MP bulk 内,统计上与噪声不可区分——它的具体值是噪声驱动的。

求逆 S^{-1} 把 \lambda_1^{-1} 放大,但 \lambda_1 的估计误差被 1/\lambda_1 放大得最厉害。当 \lambda_1 接近 0 (MP bulk 塌缩到 0),\kappa(S) 爆炸。

危机中的 MP bulk 扩张

跨资产相关性整体飙升时,整个谱左移:

  • 大特征值更大 (市场 dominant, 几乎所有资产同一个方向) → 集中度上升。
  • 小特征值也整体塌缩 → 留在 MP bulk 内的特征值比例上升。
  • 条件数爆炸 → Markowitz curse。

缓解策略

策略 思想 代表
Drop-the-bulk 置零 MP bulk 内特征值 经典 RMT 去噪
线性收缩 把特征值线性拉向均值 Ledoit-Wolf 2004
二次收缩 (QIS) 自适应收缩逆特征值 Ledoit-Wolf 2022
因子模型 保留前 K 大特征值,丢掉其余 Barra, PCA
联合学习 显式带低秩 + 稀疏 + 度屏障 MINGLE

MINGLE 的"低秩先验"对应于保留前 K 个大特征值,但同时由"暴露相似图"提供局部性约束,避免 co-movement 噪声污染信号。

与 Markowitz curse 的关系

Markowitz Curse (马科维茨诅咒) (MVO 在最需要它的时候最不可靠) 的物理根源就是 MP bulk 随相关性扩张。把 MP bulk 看作病态性的密度估计,缓解 curse 就是把 bulk 缩小 (drop / 收缩 / 因子化)。

Open questions

  • MP 分布假设 i.i.d. 正态性;真实收益有厚尾、序列相关、波动聚集——MP bulk 的精确边界需要修正。
  • 在 regime shift 时 MP bulk 的形状是否稳定?若不稳定,drop-the-bulk 的边界需要动态调整。
  • A 股 2015 股灾 / 2018 贸易战 / 2020 疫情三段 crisis 中,MP bulk 的实际扩张幅度是否与 S&P 500 一致?

See also

Sources