mean-variance-optimizationsample-covariancecurse-of-dimensionalityrandom-matrix-theoryportfolio-optimization

Markowitz Curse (马科维茨诅咒)

Definition. Markowitz curse = 均值-方差优化 (MVO) 在最需要它的时候最不可靠 的现象——危机期间跨资产相关性整体飙升,更大比例的协方差谱塌缩进 Marchenko-Pastur bulk,条件数爆炸,样本协方差估计的病态程度恰恰在分散化最需要的时刻达到顶峰 (Chehab et al. 2026)。

原始设定：MVO 是在什么问题上被提出的

Markowitz 1952 提出的问题不是「怎样预测收益」，而是「投资者已经形成对未来的信念之后，该持有什么」。他先把投资决策切成两段：第一段是信念形成（从观察与经验得到对证券未来表现的信念），第二段才是组合选择——后者用「期望收益-方差规则 (E-V rule)」解决：投资者偏好高期望收益、低方差，在可行组合集合中挑出「有效」的，对给定期望收益取最小方差、或对给定方差取最大期望收益。

为什么误差会被放大。 这一步的输出（组合权重）对输入的敏感度极高，原因有三层：

  1. 输入的维度本身就大。组合方差 V = \sum_i\sum_j x_i x_j \sigma_{ij} 里，N 只资产的协方差矩阵有 N(N+1)/2 个自由参数；最优权重是 w^* \propto \Sigma^{-1}\mu，\Sigma 的逆把每个参数上的微小误差同时放大到权重上。
  2. 被优化的量集中在前沿的「拐角」。有效前沿是可行集的外边界，最优点往往落在少数几个资产权重上，误差把权重推过拐角就会造成组合的大幅变化。
  3. Markowitz 自己划定的范围就止于此。1952 年论文自陈两条局限：没有对 n 证券情形做解析推导（只给出 3 证券与 4 证券的几何图形），以及假设信念是静态的——而收益的概率分布一般随时间变化。换句话说，MVO 的形式化本身不含「信念会变」这件事。

Markowitz 1990 年诺贝尔演讲给出的实证对照值得放在这里：均值-方差作为决策近似是可靠的（分散化组合上，期望效用与基于 (E,V) 的近似的相关系数通常超过 .99），单资产组合明显更差。所以本页讨论的病态性不是准则的问题，而是输入估计的问题。 详见 均值-方差框架。

病态性的来源:条件数

设 N 只资产、T 期历史观测。经典 MVO 用样本协方差 S 的逆:

w^* = \frac{S^{-1}\mu}{\mathbf{1}^\top S^{-1} \mu}

S 的条件数 \kappa(S) = \lambda_{\max}(S)/\lambda_{\min}(S) 决定了优化的稳定性:估计误差被 S^{-1} 放大 \kappa(S) 倍。当 N \sim T (用两年日频估计 300 只股票就是典型) 时,\kappa(S) 爆炸。

随机矩阵理论刻画

RMT 给出一个清晰的诊断:如果数据纯属噪声,协方差矩阵的特征值落在 Marchenko-Pastur 分布的支撑区间内。真实市场里:

  • 少数大特征值对应市场、风格等强趋势 → 信号。
  • 大量小特征值塌缩进 MP bulk → 统计上与噪声无法区分。

这些小特征值恰恰决定了条件数——它们决定 \lambda_{\min},放大求逆的不稳定性。

危机中的悖论

阶段 跨资产相关性 MP bulk 内特征值比例 条件数 优化稳定性
平静市场 中 较低 中 中
危机前期 抬升 中 上升 下降
危机中 整体飙升 大幅上升 爆炸 最差

这正是 "Markowitz curse" 的名字由来:危机时投资者最需要分散化,但 MVO 在此时最不可靠。

缓解手段

思路 代表 代价
协方差收缩 Ledoit-Wolf 线性、QIS 二次 线性参数化,保留特征向量
因子模型 Barra, APT, MINGLE 诱导 损失自由度, K 需选
图谱聚类 SPONGEsym, Adaptive CutV 只用相关性,继承 co-movement 混淆
联合因子-图学习 MINGLE 非凸, 计算 O(N^3)
稳健优化 DRO 模糊集校准
贝叶斯收缩 Black-Litterman 先验难以校准

MINGLE 的贡献是把"协方差去噪 + 暴露相似图 + 联合纠偏"打包进一个统一优化,诱导协方差条件数比样本协方差低约两个数量级,直接缓解 Markowitz curse。

这六条技术路线可以归成三条对冲 MVO 敏感性的技术路线: 鲁棒优化(把参数/收益的误差写成不确定集,求最坏情况)、收缩估计(把协方差往结构化目标拉,压掉进入 \Sigma^{-1} 之前的估计噪声)、正则化(在组合权重层面直接加罚项,绕开求逆带来的放大)。三者分别动手于「优化端加保险」「估计端少噪声」「求解端加约束」,可叠加而非互斥——鲁棒组合优化 一页给出前两条的具体分工。

缓解敏感性的另一条路:Black-Litterman 管的是 \mu

上表的六种手段几乎都在处理 \Sigma。但诅咒还有另一半——最优权重 w^*\propto\Sigma^{-1}\mu 里的 \mu 敏感性,而它比 \Sigma 那一半更难治,因为 \mu 根本没有可靠的估计方法。

Black 与 Litterman (1992) 的解法是换一个起点:用 CAPM 均衡反推出的先验 \Pi=\delta\Sigma w_{\text{mkt}} 当作期望收益的中性起点,让投资者只表达少量相对观点并标注置信度(观点矩阵 P、置信度矩阵 \Omega),再用贝叶斯方式合成后验期望收益去跑 MVO。没有观点时,模型给出的最优组合就等于市值加权组合——这意味着模型默认"什么都不做"就是一个合理起点,而不会凭空产生大额头寸。

论文用一个七国模型量化了要缓解的敏感性:只把美国债券的年化期望超额收益上调 0.8 个百分点、美国股票下调 2.5 个百分点(其余不变),标准 MVO 的最优权重就出现剧烈变化——资金从美国股票转向美国债券,还顺手做空加拿大与德国债券。

与收缩、因子模型相比,BL 的定位不同:那些方法降低的是协方差的估计误差,BL 降低的是期望收益的估计误差(通过把"全估 \mu"换成"均衡先验 + 少量观点")。两者可以叠加。代价是先验里的风险厌恶系数 \delta 需要标定,且观点权重最终由投资者给定。详见Black-Litterman 模型。

在 MINGLE 实测中的体现

策略 CAGR (0 bps) Sharpe (0 bps) 备注
MVO 5.86% 0.364 Markowitz curse 的直接受害
HRP 10.7% 0.613 局部性度量同样混淆
等权 15.5% 0.780 1/N 难以打败的老故事
CutV on sample cov 17.3% 0.860 谱分割缓解
CutV on MINGLE Σ 19.7% 0.994 协方差去噪
Contagion Cut 21.0% 1.07 全量纳入

MVO 跑输等权 —— 这是 Markowitz curse 的直接体现:估计噪声被 S^{-1} 放大,在样本外表现崩溃。"1/N 难以打败"的老故事再次上演,而打败它的钥匙是更好的市场表示,不是更复杂的优化器。

局限:MINGLE 也无法完全化解

MINGLE 在 Calm/Elevated regime 优势显著 (Sharpe 3.32 / 0.82),但Crisis regime 仍为负 Sharpe (-2.98):

  • 危机中相关性整体飙升,迫使因子模型在更少的有效驱动上填满全部 K 维。
  • 联合学习在低/中噪声下贡献显著,高噪声下互一致性无力回天 (消融 p 无显著差异)。

把 K 做成自适应的 (基于 elbow / 信息准则 / 因子去相关阈值) 是论文自陈的下一步方向。

跨文章关键启示

  • 优化器 ≠ 解决方案: 同样的 MVO/HRP 引擎,换输入表示 (Markowitz curse 缓解) 收益质变。
  • 同一 cures 路径的组合: 收缩 + 因子 + 联合学习 + 谱分割,可叠加。
  • 危机 regime 的补强: 自适应 K、regime-conditional 模糊集、贝叶斯先验切换。

一个量化这个诅咒的指标：估计复杂度 c = N/T

Kelly et al. 2023/2026 (UPSA 用一个很干净的指标刻画马科维茨诅咒的严重程度：

c = \frac{N}{T}

N 是组合里的因子数，T 是构建组合用的观测数。

  • c \approx 0：大数定律生效，Markowitz 插值组合恢复真实最优组合
  • c \gg 0：样本内表现严重上偏，样本外表现崩塌

论文特别指出：当训练观测数少于资产数时，未正则化的 Markowitz 组合的样本内 Sharpe 是无穷大的。

这个指标把「协方差估计难」变成了一个可算的数——本页讲的是诅咒的成因，UPSA 给的是可操作的解法（收缩组合权重而非协方差矩阵，实测样本外 Sharpe 1.92 vs ridge 1.59）。

See also

Sources