组合配置的正则化

Benjamin Bruder · Jean-Charles Richard · Nicolas Gaussel (Lyxor Asset Management) · Thierry Roncalli — Lyxor Asset Management 量化研究部 2013 年 6 月 · 33 页本次归档: raw/papers/201306-regularization-of-portfolio-allocation/ (paper.pdf 1.0 MB + extracted.md)

一句话核心

这是一篇综述型论文，主题是「如何让均值-方差优化 (MVO) 的解不要被估计误差毁掉」。作者指出 MVO 之所以不稳定，是因为解里含有协方差矩阵的逆（信息矩阵 I=\hat\Sigma^{-1}），而这个逆的最大特征值恰恰对应协方差矩阵的最小特征值（噪声因子）。论文把业界用的稳定化手段分成两代：第一代处理输入（重采样、协方差收缩、随机矩阵去噪、权重约束），第二代直接处理解（Lasso / ridge 惩罚），并认为第二代更令人满意。

问题与关键结构

二次效用 U(\boldsymbol{x})=\boldsymbol{x}^\top\boldsymbol{\mu}-\tfrac{1}{2}\gamma\boldsymbol{x}^\top\boldsymbol{\Sigma}\boldsymbol{x}（\gamma=1/\varphi），无约束解为

\boldsymbol{x}^\star=\frac{1}{\gamma}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}

在 \boldsymbol{\mu},\boldsymbol{\Sigma} 用历史数据极大似然估计后代入，即得「样本内最优」，也就是「样本内回测最优」。

不稳定的机制。 I=\hat\Sigma^{-1} 与 \hat\Sigma 特征向量相同、特征值互为倒数。四资产例子里，协方差矩阵特征值为 54.04、8.93、2.66、2.61，信息矩阵为 510.79、83.88、38.37、37.65——最不重要的因子获得了最大的放大倍数。

两类稳定化路径。 (1) 降低输入的估计误差（重采样、收缩、随机矩阵、Black-Litterman 融合观点）；(2) 直接收缩权重（权重上下界、目标函数惩罚、对输入参数做正则化）。

关键发现

敏感性的具体幅度。 四资产例子（\hat\mu=5\%,6\%,7\%,8\%，\hat\sigma=10\%,12\%,14\%,15\%，\hat\rho=70\%）：第二个资产波动率从 12% 变到 15%，它的权重从 +19.43% 变成 −14.04%；第一个资产的实际收益从 5% 变到 6%，它的权重从 23.49% 变成 63.19%（近三倍）。

权重约束等价于参数正则化。 Jagannathan-Ma (2003) 的结论在本文被形式化：\sum_i x_i=1 等价于对预期收益做正则化（\tilde{\boldsymbol{\mu}}=\hat{\boldsymbol{\mu}}+(\lambda/\gamma)\boldsymbol{1}）；long-only 约束等价于收缩协方差矩阵。四资产例子中加 long-only 后，权重变为 (52.23%, 42.41%, 1.36%, 0.00%)，对应的正则化协方差矩阵把第 4 个资产的波动率从 30% 降到 26.72%、相关系数从 40%/70%/100% 降到 32.90%/27.49%/53.43%。作者提醒实务中逐轮加约束的做法会让「正则化后的参数」与原始参数不再一致，且受约束解通常过拟合。

L1（Lasso）与 L2（ridge）。 L1 惩罚 \|x\|_1 相当于对预期收益做软阈值（soft-thresholding），在协方差为单位阵时有解析解；DeMiguel 等 (2009) 证明 L1 约束的 MV 解等同于 Jagannathan-Ma 的卖出约束最小方差解，L2 则等价于 MV 与等权组合的混合。S&P 100（2011 年）上 \lambda=0.2\% 时杠杆下降超过 6 倍，而效用只下降 28%。

L2 惩罚的等价形式。 加 \lambda\boldsymbol{x}^\top\boldsymbol{A}\boldsymbol{x} 相当于把协方差矩阵改成 \tilde\Sigma=\hat\Sigma+\lambda\boldsymbol{A}。\boldsymbol{A}=\boldsymbol{I}_n 时是特征值收缩（\Lambda_j/(\Lambda_j+\lambda)）；\boldsymbol{A}=\mathrm{diag}(\hat\sigma_i^2) 时等价于只保留 \eta=1/(1+\lambda) 比例的相关系数。还可以把 L2 用作「向目标组合 \boldsymbol{x}_0 收缩」，此时 \tilde{\boldsymbol{\mu}}=\hat{\boldsymbol{\mu}}+(\lambda/\gamma)\boldsymbol{x}_0，\boldsymbol{B}=\boldsymbol{I}_n+\lambda\hat\Sigma^{-1}\boldsymbol{x}_0\boldsymbol{x}_0^\top\hat\Sigma^{-1}。

信息矩阵的回归解读。 Stevens (1998) 给出 I 的对角元与非对角元的回归表达式：I_{ii} 由资产 i 对其余资产的回归 R^2 决定，非对角元由两个对偶回归组合而成。结论有二：(a) 对冲越好，暴露越大——高相关资产导致 MVO 极不稳定；(b) 多空方向由 \hat\mu_i-\hat\beta_i^\top\hat\mu_{(-i)} 的符号决定。四资产例子中 \rho_{3,4}=40\% 时权重落在 19.28%–69.80% 之间；把 \rho_{3,4} 调到 95% 后权重区间变成 −168.67% 到 239.34%。

主成分组合分解的实证。 10 类资产（4 个发达市场股指、1 个新兴市场股指、2 个债券指数、2 个汇率指数、1 个商品指数）上，用 2006 年日频估计协方差、2007 年实际收益当作完美观点、目标波动 10%。MVO 组合在主成分组合 F_{10}（做空 US HY、做多 EMBI 的债券利差套利组合）上的暴露高达 484.58%，而该主成分组合 2007 年实现波动率 16.27%、夏普 2.58。MVO 组合 2007 年实现波动 14.63%（高于目标 10%），与 F_{10} 的相关系数 73%。加 \lambda=0.1\% 的 L2 惩罚后，F_{10} 暴露降到 101.90%，组合实现波动 11.62%（接近目标 10%），夏普 2.37 与未正则化的 2.49 相当。

观点错误的代价。 若对债券指数判断错误（US HY 的预期收益写成 3.07%、EMBI 写成 −0.5%），MVO 组合 2007 年收益下降 81%，而 L2-MVO 只下降 29%。

Lasso 对冲组合。 对 10 类资产的 2006 年日频数据，用 BIC 选 \lambda 选 Lasso 对冲回归。OLS 对冲组合中 Topix 在 S&P 500 的对冲组合里权重只有 0.4%；Lasso 之后更稀疏而 R^2 只差 1%。S&P 100（2000-01 至 2011-12）月度再平衡、260 日滚动窗口下，OLS-MV 的收益 3.60%、波动 14.39%、夏普 0.25、最大回撤 −39.71%、换手 19.4；Lasso-MV 为 5.00%、13.82%、0.36、−35.42%、换手 5.9。信息矩阵的稀疏率：OLS 在 0%–0.02% 之间，Lasso 在 73.70%–87.14% 之间。Google 的对冲组合在 OLS 下由 99 只股票构成，Lasso 下只有 13 只。

作者对两代方法的判断。 第一代（重采样、去噪、收缩）不够；第二代（Lasso/ridge）直接正则化解，更令人满意，因为它们产生的组合对输入参数不那么敏感、投资押注更不激进。

重要 caveat

重采样方法被作者明确批评：重采样组合本身仍含估计误差；理论缺失；只是靠平均化产生更多分散的组合，并未解决稳健性问题（Scherer 2002）。
鲁棒优化（Tütüncü-Koenig 2004）虽然存在，但作者指出从业者不用，因为它并未显著改善 Markowitz 组合。
作者自陈的不足：约束法在实务中常用，但「正则化后的参数与原始参数不再一致」，且受约束解通常过拟合。
论文自称综述，方法部分的推导多处依赖图表（很多公式在 extracted.md 中是图片占位符），细节需要回查原文附录。
实证样本偏短（多在 2006-2012），单一市场（美股/欧洲）。

对 quant wiki 的意义

它是 Markowitz Curse 的解药清单——同一个「估计误差毁掉 MVO」的问题，本文给出全套工具箱。
与 Risk Parity 互补：风险预算方法「不需要额外加约束来正则化」，这正是本文讨论的那类手段要解决的问题。
信息矩阵 I=\hat\Sigma^{-1} 的回归解读（Stevens 1998）与 Risk Parity 里的 \Sigma^{-1} 加权传统同源，可互相引用。
Lasso 对冲组合、稀疏信息矩阵这一支，可与库内 Covariance Shrinkage Estimation 等页对照。