conceptML-for-financeMVODFLdecision-focused-learningmean-variance

Decision-Focused Learning for MVO (决策聚焦学习 for 均值-方差优化)

Lee, Tae & Lee (2024), arXiv:2409.09684v1, q-fin.PM · UNIST

定义

Decision-Focused Learning (DFL) 是一种"loss-side 改造"的训练范式: 不修改预测模型架构, 而把下游优化任务 (此处即 Markowitz MVO) 的决策误差作为反向传播的梯度信号, 替代或叠加传统的预测损失 (如 MSE)。形式上:

L_\text{Combined}(\theta) = \alpha \cdot L_\text{MVO}(\hat{\mu}_\theta) + (1-\alpha) \cdot L_\text{MSE}(\hat{\mu}_\theta, \mu^*) 其中 L_\text{MVO} = \text{Regret}(w^*(\hat{\mu}), \mu^*) = f(w^*(\hat{\mu}), \mu^*) - f(w^*(\mu^*), \mu^*) 是用预测 \hat{\mu} 解出的最优权重 w^*(\hat{\mu}) 与用 ground truth \mu^* 解出的 w^*(\mu^*) 之间的目标差; \alpha \in [0,1] 控制 DFL 倾向强度。 ## 核心机制: \Sigma^{-1} 倾斜梯度 论文 §4 推导 (Sharpe ratio 最大化特例下, 无约束): \frac{\partial \mathrm{SR}(\mu^*, \hat{\mu})}{\partial \hat{\mu}_i} = \frac{\Sigma^{-1}_i (\mu^* - \mathrm{SR}(\mu^*, \hat{\mu})\hat{\mu})}{\mathrm{SR}(\hat{\mu}, \hat{\mu})}

而 MSE 梯度为 \partial \mathrm{MSE} / \partial \hat{\mu}_i = \frac{2}{N}(\mu^*_i - \hat{\mu}_i)。两者对照:

维度 MSE 训练 DFL 训练
每资产权重 均匀 1/N 由 \Sigma^{-1}_i 第 i 行加权
关注目标 单点 \ell_2 误差 决策质量 (组合目标差)
\Sigma 角色 完全不用 通过 \Sigma^{-1} 进入梯度
预测精度 单资产 MSE 小 单资产 MSE 往往大,但次序更准

关键洞见: DFL 梯度 = MSE 梯度被 \Sigma^{-1} 倾斜。协方差矩阵的几何结构直接成为训练信号的加权者 — 与 Risk Parity / 经典 mean-variance 中"\Sigma^{-1} 作为组合权重"的对偶。

"好资产 vs 坏资产"非对称分配

论文 §5.5 正文 + Figure 3 实证 (Kenneth French 10 行业 portfolio, 2019–2024):

  • 若 \Sigma^{-1}_i 平均值小 (低 vol / 低相关 → "好资产"), DFL 让 \hat{\mu}_i 更大且误差更小
  • 若 \Sigma^{-1}_i 平均值大 (高 vol / 高相关 → "坏资产"), DFL 让 \hat{\mu}_i 更小且允许大误差

即 DFL 主动牺牲坏资产的预测精度以保护好资产的精度。这与 Risk Parity 的精神相似 — Risk Parity 给低 vol 资产更大权重, DFL 给低 vol 资产更大预测努力。

(注: Table 3 是 \Sigma^{-1} 与 \hat\mu 的相关系数矩阵, Table 4 是 cosine similarity — 都不是"好/坏资产分配"的直接数据, 该现象的实证叙述在 §5.5 正文。)

次序 > 精度

最反直觉的发现: DFL 模型的预测与 \mu^* 的 Pearson 相关 随 \alpha 增大单调上升, 同时 MSE 在 \alpha=1 爆炸式增长 (~10×)。即 DFL 完全不在乎单点 \ell_2 精度, 只在乎跨资产的 rank。这与 Markowitz 决策层仅需 \Sigma^{-1}\mu 的方向而非量级一致 — 绝对量级差一个常数, 权重方向不变。

这一观察与 Recos "次序一致胜过线性相关" 在精神上同源, 但 Recos 关注的是 embedding/相似度, DFL 关注的是组合预测。

评价指标: NDQ

论文 §5.2 用 NDQ (Normalized Decision Quality) 作为主要评价指标, 与 Sharpe / 累计收益并列报告。

DQ (Decision Quality, 论文 Eq. 13) — 模型组合在 ground truth 下的目标值:

\mathrm{DQ}(\hat\mu) = \mu^{* op} w^*(\hat\mu) - \lambda w^*(\hat\mu)^ op \Sigma w^*(\hat\mu) 即"用模型预测 \hat\mu 解出的权重 w^*(\hat\mu)", 在真实 \mu^* 与 \Sigma 下的 MVO 目标值。 NDQ (Normalized DQ, 论文 Eq. 14) — 把 DQ 标准化到 [0, 1]: \mathrm{NDQ}(\hat\mu) = \frac{\mathrm{DQ}(\hat\mu) - \mathrm{DQ}_\text{Random}}{\mathrm{DQ}_\text{Optimal} - \mathrm{DQ}_\text{Random}}

其中 \mathrm{DQ}_\text{Optimal} = \mathrm{DQ}(\mu^*) 是 ground truth 下的最优目标值, \mathrm{DQ}_\text{Random} 是随机预测 \hat\mu 解出的组合的目标值的平均值 (Monte Carlo)。

边界含义:

  • \mathrm{NDQ} = 1: 模型的 \hat\mu 解出的组合完全等于 ground truth 最优组合
  • \mathrm{NDQ} = 0: 模型的 \hat\mu 与随机预测无异
  • 0 < \mathrm{NDQ} < 1: 模型比随机好, 但未达到 ground truth 最优

为何用 NDQ 而不只是 Sharpe? NDQ 直接对应 MVO 训练目标 (loss 同维度), 是"决策层"指标; Sharpe / 累计收益是"投资层"指标, 与 out-of-sample 表现对应。三者并列报告, 但 NDQ 是论文的核心评估 (Table 1)。

实证效果 (Lee et al. 2024)

数据: Kenneth French 10 行业日收益, 2019-01-01 至 2024-01-01, 30 日滚动窗口, MLP 320 节点, 5 random seeds。

指标 \alpha=0 \alpha=1 增益
NDQ (\lambda=1) 0.218 0.607 +178%
NDQ (\lambda=10) 0.890 0.947 +6.4%
Cosine 相似度 (\lambda=10, vs Optimal) 0.815 0.917 +12.5%
Sharpe (\lambda=10) 显著低于 \alpha=1 最高 正向但论文未给具体数
MSE (\lambda=10) 0.0015 0.0155 ~10× 退化 (意料之中)

注: \lambda 为风险厌恶系数; \lambda 越大, MVO 越保守, DFL 增益空间越小 (\alpha 之间的差异收窄)。

与「直接优化 Sharpe」的路线对照（2026-10-25 补）

另一条改造路径来自 Zhang-Zohren-Roberts 2021 的深度学习直接优化组合：它连 \mu 都不预测，让网络直接输出组合权重，把 Sharpe 比率本身当损失函数做梯度上升。

DFL（Lee-Tae-Lee 2024） 直接优化 Sharpe（Zhang 等 2021）
是否预测 \mu 是 否
损失 \alpha L_\text{MVO}+(1-\alpha)L_\text{MSE} Sharpe 比率本身
\Sigma 是否进入梯度 是，MSE 梯度被 \Sigma^{-1} 倾斜 否（只通过实现收益的时序标准差隐含）
权重约束如何满足 求解优化问题（需二阶梯度） softmax（单纯形），链式法则即可
训练粒度 资产级预测，\mu 的横截面 权重级输出，n 个 ETF

共同点：两者都认为训练目标必须与最终目的对齐。DFL 的修正是"预测损失要对决策负责"（把 MSE 梯度按 \Sigma^{-1} 倾斜）；Zhang 等的修正是更彻底的一步——既然决策只关心组合的目标值，干脆把预测这一步删掉。

关键差别：DFL 的梯度里 \Sigma^{-1} 是核心机制（"好资产 / 坏资产"的非对称分配正是它造成的）；Zhang 等的梯度里根本没有 \Sigma，只有实现收益序列的均值与标准差——这使它在方法上更简单（不需要可微优化求解器），但也失去了 MVO 内部的协方差几何结构。

代价对照：DFL 的代价是单资产 MSE 爆炸（\alpha=1 时退化约 10×）；Zhang 等的代价是约束表达能力更弱（只能做单纯形约束），且资产池被压缩到几个 ETF。

与 Markowitz Curse 的对照

Markowitz Curse 指出 MVO 在最需要它时 (高条件数 / crisis) 最不可靠, 因为 \Sigma^{-1} 放大估计噪声。DFL 没有解决 Markowitz Curse, 但把它的影响重新分配 — 让低 \Sigma^{-1} 区域 (低 vol 资产, MVO 决策较稳) 的预测更精确, 让高 \Sigma^{-1} 区域 (高 vol 资产, MVO 决策本就不稳) 的预测放弃精度。这等价于把诅咒的影响集中到本来就不稳定的资产上, 让稳定资产获得双倍精度保护。

与 DRO / Risk Parity 的方法学位置

方法 \Sigma 角色 优化目标 估计方法
MVO 已知 / 样本估计 w^\top \mu - \lambda w^\top \Sigma w point estimate
Black-Litterman 已知, \mu 后验 加入主观 view Bayesian
Robust MVO 已知 worst-case over 椭球不确定集 Soyster / Ben-Tal
DRO-MVO 不确定集 worst-case over \mathcal{P}(\mu,\Sigma) Wasserstein / moment
Risk Parity 已知 ERC: w_i (\Sigma w)_i = \text{const} weight-side 调整
DFL-MVO (本文) 已知, 训练时进梯度 MVO 决策质量作为 loss 梯度侧调整

DFL 是其中唯一通过训练信号而非输入或目标改造来缓解 MVO 估计误差的方法, 处于一个独特的"loss engineering"位置。

局限与开放问题

  • 计算成本: 训练每步要解 argmin (MVO), N=10 时尚可, 股票级 N≈500 时不可行。
  • 二阶梯度: 通过 \partial w^* / \partial \hat{\mu} (Eq. 11) 需要 differentiable optimization layer (Agrawal-Amos-Barratt-Boyd-Diamond-Kolter 2019; Amos-Kolter 2017) 或 surrogate。
  • 架构局限: 论文仅用 MLP, 未测 Transformer / GBDT / GAT。
  • \alpha 调参: 仍是 ad-hoc, 论文未给出选择准则。
  • A 股 / 国内期货: 未做对照实验; A 股特有问题 (涨跌停 / T+1 / 壳价值) 让 DFL 预测的"次序"更可能被打断。

后续发展 (2026-09-20 补)

同一通讯作者谱系 (Yongjae Lee / Woo Chang Kim) 把 DFL 推进到显式基数约束稀疏切点组合 (Jeon-Choi-Bae-Lee-Kim, ICML 2026): Cholesky 重写使 \Sigma 仿射进入 → CvxpyLayers 真可微 (本文仅链式法则), 精确保基数软 top-k 选择层, 混合损失 \alpha=0.5 同款。实证 N 到 208 (本文仅 N=10), 大 universe 增益最大 — 本文"股票级 N≈500 不可行"的可扩展性担忧被部分缓解。详见 Decision-Focused Sparse Tangent Portfolio (决策聚焦稀疏切点组合) + 可微 Top-k 算子 (Differentiable Top-k Operator)。

其理论根基由姊妹篇补齐 (Jeon et al. 2025, arXiv:2509.08359): 决策损失 Hessian 特征值集中于 0 (landscape 极平)、两梯度方向冲突常态化、量级失衡 10–1000×。方案是把固定 loss 权重 \alpha 换成梯度空间融合 (角平分 + sigmoid 衰减), \kappa=0 有 Pareto 平稳点收敛保证 — 直接回应本文"α 调参 ad-hoc"局限。另注意其 portfolio 设定 (French 49, 连续 MVO) 中 PFL ≤ DFL — DFL 收益取决于决策层对预测误差的放大结构。详见 Prediction-Loss Guided DFL (预测损失引导的决策聚焦学习)。

相关概念