regularizationMVOlassoridgecovariance-shrinkageestimation-errorportfolio-optimization

组合优化的正则化 (Regularization of Portfolio Allocation)

一句话：MVO 的解里含协方差矩阵的逆，估计误差被 \Sigma^{-1} 放大；正则化就是用各种办法把这个放大器按住。正则化分两代——处理输入（第一代）与直接处理解（第二代），论文认为第二代更令人满意。

病根：信息矩阵放大噪声因子

二次效用 U(x)=x^\top\mu-\tfrac12\gamma x^\top\Sigma x（\gamma=1/\varphi）的无约束解是 x^\star=\frac{1}{\gamma}\Sigma^{-1}\mu。把 \hat\mu、\hat\Sigma 用历史数据极大似然估计后代入，得到的「样本内最优」也就是「样本内回测最优」。

放大机制。 信息矩阵 I=\hat\Sigma^{-1} 与 \hat\Sigma 特征向量相同、特征值互为倒数。四资产例子里，协方差矩阵特征值为 54.04、8.93、2.66、2.61，信息矩阵为 510.79、83.88、38.37、37.65——最不重要的因子获得了最大的放大倍数。

敏感性的具体幅度。 四资产例子（\hat\mu=5\%,6\%,7\%,8\%；\hat\sigma=10\%,12\%,14\%,15\%；\hat\rho=70\%）：第二个资产波动率从 12% 变到 15%，它的权重从 +19.43% 变成 −14.04%；第一个资产的实际收益从 5% 变到 6%，它的权重从 23.49% 变成 63.19%（近三倍）。详见 Markowitz Curse。

一句话：正则是按住 \Sigma^{-1} 这个放大器。

两代正则化手段

手段 属于哪一代 作用对象 关键结论
权重约束（上下界、long-only） 第一代 输入（等价为参数正则化） Jagannathan-Ma (2003) 结论形式化：\sum_i x_i=1 等价于对预期收益做正则化
重采样（Monte Carlo / bootstrap） 第一代 输入 作者批评：理论缺失、组合本身仍含估计误差
协方差收缩（Ledoit-Wolf） 第一代 输入 收缩到单因子或常数相关矩阵，缩小特征值离散度
特征分解去噪（PCA / 随机矩阵） 第一代 输入 删掉落在 Marchenko-Pastur 谱内的噪声因子
\ell_1 惩罚（Lasso） 第二代 解 软阈值化预期收益，产生稀疏组合
\ell_2 惩罚（ridge） 第二代 解 等价于 \tilde\Sigma=\hat\Sigma+\lambda I
风险预算方法（RB） 替代路线 解 不需要额外加约束，见 风险预算与风险平价

几组关键等价关系

权重约束 = 参数正则化。 加 long-only 约束后四资产例子的权重变为 (52.23%, 42.41%, 1.36%, 0.00%)，对应的正则化协方差矩阵把第 4 个资产的波动率从 30% 降到 26.72%、相关系数从 40%/70%/100% 降到 32.90%/27.49%/53.43%。作者提醒：实务中逐轮加约束的做法会让「正则化后的参数」与原始参数不再一致，且受约束解通常过拟合。

\ell_1 与 \ell_2 的等价形式。 L1 惩罚 \|x\|_1 相当于对预期收益做软阈值（协方差为单位阵时有解析解）；DeMiguel 等 (2009) 证明 L1 约束的 MV 解等同于 Jagannathan-Ma 的卖出约束最小方差解，L2 则等价于 MV 与等权组合的混合。L2 惩罚 \lambda x^\top A x 相当于把协方差矩阵改成 \tilde\Sigma=\hat\Sigma+\lambda A：A=I_n 时是特征值收缩（\Lambda_j/(\Lambda_j+\lambda)），A=\mathrm{diag}(\hat\sigma_i^2) 时等价于只保留 \eta=1/(1+\lambda) 比例的相关系数。L2 也可作为「向目标组合 x_0 收缩」。

超参数的选取

惩罚参数 \lambda 需要在样本外选。论文在对冲组合实验中用 BIC 准则（Zou 等 2007）选 Lasso 的 \lambda；实务上更常见的是样本外交叉验证——把时间序列切成训练/验证段，在验证段上评估组合表现，选表现最好的 \lambda。时间序列场景不能用随机打乱的 K 折，必须用前推 (walk-forward) 切分，否则验证段的信息会泄漏进训练段。

正则化如何改变有效前沿

论文给出的判断是：有效前沿本身被正则化改变了，而不是在原前沿上挑一个点。

  • 主成分组合分解。 10 类资产上用 2006 年日频估计协方差、2007 年实际收益当完美观点、目标波动 10%。MVO 组合在主成分组合 F_{10}（做空 US HY、做多 EMBI 的债券利差套利组合）上的暴露高达 484.58%（该组合 2007 年实现波动率 16.27%、夏普 2.58）；MVO 组合当年实现波动 14.63%（高于目标 10%），与 F_{10} 相关系数 73%。加 \lambda=0.1\% 的 L2 惩罚后 F_{10} 暴露降到 101.90%，实现波动 11.62%（接近目标 10%），夏普 2.37 与未正则化的 2.49 相当，与 F_{10} 的相关系数降到 −2%。
  • 观点错误的代价。 若对债券指数判断错误（US HY 的预期收益写成 3.07%、EMBI 写成 −0.5%），MVO 组合 2007 年收益下降 81%，L2-MVO 只下降 29%。
  • 换手。 S&P 100（2000-01 至 2011-12）月度再平衡、260 日滚动窗口下，OLS-MV 的收益 3.60%、波动 14.39%、夏普 0.25、最大回撤 −39.71%、换手 19.4；Lasso-MV 为 5.00%、13.82%、0.36、−35.42%、换手 5.9。信息矩阵稀疏率：OLS 在 0%–0.02% 之间，Lasso 在 73.70%–87.14% 之间。

与其他概念的关系

局限与开放问题

  • 重采样方法被明确批评：重采样组合本身仍含估计误差、理论缺失、只是靠平均化产生更多分散的组合，并未解决稳健性问题（Scherer 2002）。
  • 鲁棒优化（Tütüncü-Koenig 2004）虽存在，但从业者不用，因为它并未显著改善 Markowitz 组合。
  • 作者的结论是第二代（直接正则化解）比第一代更令人满意，因为它们产生的组合对输入参数不那么敏感、押注更不激进。
  • 实证样本偏短（多在 2006-2012），单一市场（美股/欧洲）。

来源