Predict-then-Optimize (先预测后优化)

母体范式: Lee, Tae & Lee (2024) §2.1 引述 Donti et al. 2017, Elmachtoub & Grigas 2022, Mandi et al. 2023

定义

Predict-then-Optimize (PtO) 是一种两阶段机器学习 + 优化的工程范式:

Stage 1 (Prediction): 用 ML 模型 F_\theta 学习从特征 x 到下游优化参数 \hat{c} = F_\theta(x) 的映射, 损失函数为预测精度 (MSE / cross-entropy)。
Stage 2 (Optimization): 把 \hat{c} 作为已知参数喂给下游优化问题, 求最优决策 w^*(\hat{c}) = \arg\min_w f(w, \hat{c}) s.t. 约束。

PtO 是工业界最常见的组合设计模式: 用 ML 估 \mu, 用 quant 库解 MVO / Black-Litterman / 风险预算。

根本问题: 预测精度 ≠ 决策质量

PtO 的隐含假设是 "\hat{c} 越准, 决策越好"。这在凸优化中并不总成立:

优化目标 f(w, c) 对 c 非线性 时, c 的微小扰动可能让 w^*(c) 跳变
MVO 中 w^* = \Sigma^{-1}\mu / \mathbf{1}^\top \Sigma^{-1}\mu (无约束), \Sigma 病态时 \mu 的 \ell_2 误差被放大成 w 的方向差
各 c_i 对 f 的边际贡献不同, 但 MSE 对所有 c_i 等权

→ PtO 的损失函数与下游决策目标 misaligned, 见 Decision-Focused Learning for MVO。

替代 / 改进方案

方法	损失	引用
PtO (基线)	MSE / cross-entropy	经典两阶段
Decision-Focused Learning (DFL)	\alpha L_\text{MVO} + (1-\alpha) L_\text{MSE}	Donti 2017; Elmachtoub-Grigas 2022; Lee-Tae-Lee 2024
Smart "Predict, then Optimize" (SPO)	SPO loss (convex surrogate)	Elmachtoub-Grigas 2022
End-to-end learning	整个 pipeline 一起训练	Amos-Kolter 2017 OptNet; Agrawal et al. 2019 CvxpyLayers
Contrastive losses / solution caching	加速 DFL 训练	Mulamba et al. 2020

量化金融中的应用

MVO 输入估计: ML 估 \mu, PtO 解 MVO。Lee-Tae-Lee 2024 论文主线。
Robust optimization 输入估计: ML 估椭球不确定集, 喂给 robust MVO。Costa-Iyengar 2023 Distributionally robust end-to-end portfolio construction 把 DRO + DFL 结合。
CVaR portfolio: ML 估 \mu 与尾部参数, 喂给 CVaR 优化。
Black-Litterman: ML 估主观 view, BL 给出 posterior \mu。

跳过预测的路线（2026-10-25 补）

除了"保留预测但改梯度"（DFL），还有一类做法把预测这一步整个删掉：

路线	代表	做法
删掉 \mu 预测，直接优化决策目标	Zhang-Zohren-Roberts 2021	网络直接输出组合权重，损失函数就是 Sharpe 比率
删掉显式定价方程，用经济约束代替预测损失	Chen-Pelger-Zhu 2021	不用 MSE 预测条件均值，而用无套利矩条件当损失；并用对抗网络数据驱动地造"最难被定价的检验资产"
端到端联合优化多环节	Guijarro-Ordonez-Pelger-Zanotti 2022	残差构造 / 信号提取 / 头寸配置由一个全局目标联合优化
改梯度使其被 \Sigma^{-1} 倾斜	Decision-Focused Learning for MVO	保留 \mu 预测，但决策误差进入 loss

共同动机：PtO 的隐含假设是"\hat c 越准，决策越好"，而这个假设在两步之间损失了对齐。三条修正路线的分歧只在于在哪一步改：

改损失函数（DFL）：预测还在，但 MSE 让位给决策指标。
改优化问题的形式（Zhang 等 2021）：预测取消，直接在决策空间里优化。
改约束条件（Chen-Pelger-Zhu 2021）：目标不是预测收益，而是找一个满足经济约束（无套利）的模型。

共同的代价：

可解释性下降：预测出来的 \hat\mu 至少是可读的数字；直接输出的权重与隐状态不好解读（Zhang 等用特征敏感性分析来补救）。
目标函数的样本内敏感性：直接优化 Sharpe 会被少数极端收益主导，且样本内方差估计有偏。
约束表达能力受限：跳过预测的方案通常只能处理简单约束（Zhang 等只有单纯形约束），复杂约束仍需可微优化层。
Chen-Pelger-Zhu 的教训最值得记："用更灵活的模型 + 弱目标"往往不如"用不灵活的模型 + 强经济约束"——纯深度学习预测法（FFN）在资产定价上打不过带无套利约束的线性模型。这是"跳过预测"路线最有价值的反例证据。

与"end-to-end 训练"的边界

PtO 是模块化的: ML 团队和优化团队可以分别迭代。
DFL 把两者联合训练, 共享梯度, 但需要 differentiable optimization layer。
真正的 end-to-end (OptNet) 把优化写成网络层, 前向 = 解优化, 反向 = implicit differentiation。

Lee-Tae-Lee 2024 处于中间: 用 combined loss, 但 optimization layer 不微分 (直接求解), 仅通过 \partial w^* / \partial \hat{\mu} 链式法则获取梯度 (Eq. 11)。这避免了 implicit differentiation 的数值不稳定性, 但限制在 N 较小的场景。