分布鲁棒优化综述:Rahimian & Mehrotra (2022)

对分布鲁棒优化(Distributionally Robust Optimization, DRO)的全面综述——一种建模框架,通过在一个模糊集(ambiguity set)上最小化最坏情形期望,来对冲底层概率分布的不确定性。本综述通过统一的原始(primal)形式,整合了四大优化传统:随机优化(SO)、鲁棒优化(RO)、机会约束优化(CCO)与风险厌恶型优化。

为什么需要 DRO?

经典的鲁棒优化(RO)假设只知不确定参数的支撑集(support);经典的随机优化(SO)假设已知完整分布。现实介于两者之间:我们观察到样本,并掌握部分信息(矩、支撑集、与某个基准的散度)。DRO 把这种情形形式化,让决策者求解 \min_{x\in X}\ \sup_{P\in\mathcal P}\ R_P\!\left[h(x,\tilde\xi)\right]\quad\text{s.t.}\quad \sup_{P\in\mathcal P}\ R_P\!\left[g_j(x,\tilde\xi)\right]\le 0, 其中 \mathcal P 是模糊集——通常是由散度、矩约束、拟合优度检验,或围绕某个名义测度/经验测度的 Wasserstein 半径定义的"分布球"。

关键理论桥梁

  • DRO ↔ RO(§3.2)。若 \mathcal P 包含支撑集上的所有分布,DRO 退化为 RO。当 \Xi 有限(M 个原子)时,\mathcal P 可识别为 \mathbb R^M 的一个子集,从而把 DRO 写成形如 RO 的 \inf_{x\in X}\sup_{\mathbf p\in\mathcal P} f(x,\mathbf p);此时可用于 RO 的不确定性集构造技巧即可用来构造 \mathcal P。
  • DRO ↔ 一致风险测度(§3.3.1)。在凸性/紧性条件下,最坏情形期望算子 \rho_{\mathcal P}(Z) := \sup_{P\in\mathcal P}\mathbb E_P[Z] 是一个一致风险测度(coherent risk measure)(Artzner 等 1999);当 \mathcal P 是法则不变(law-invariant)的,它还是一个法则不变的一致风险测度。这是让组合式的风险视角转化为可解 SDP/SOCP 的核心桥梁。
  • DRO ↔ 机会约束优化(§3.3.2)。一个机会约束 P(\tilde\xi\in A(x))\ge 1-\epsilon 配上基于矩或散度的 \mathcal P,可转化为可处理的凸约束。
  • DRO ↔ 正则化(§3.4)。基于 Wasserstein 的 DRO 恰好是一个正则化 ERM 问题——与 SVM、LASSO、正则化逻辑回归相连。取 \epsilon=\chi^2_{1,N,1-\alpha} 的 \phi-散度 DRO,在 Namkoong & Duchi / Duchi 等的渐近展开中给出方差正则化目标。

求解技术(§4)

  1. 割平面/交换法(cutting-surface / exchange method)——把 \mathcal P 离散化为有限原子集,每轮迭代往这个有限集合中加入一个新的概率分布,直到满足最优性判据(Pflug & Woźabal;Rahimian 等;Bansal 等)。
  2. 对偶法(dual method)——用锥对偶把 \sup_{P\in\mathcal P} 对偶化;在 Slater 型条件下强对偶成立,内层 sup 变成一个有限凸问题(Delage & Ye;Bertsimas 等;Wiesemann, Kuhn & Rustem;Ben-Tal 等) 。文献中的主流方法。

选择模糊集(§5)

家族 示例 关键参考文献
基于差异(§5.1) Wasserstein W_p、\phi-散度(KL、\chi^2、Hellinger、Burg 熵、variation)、全变差、Prohorov、\zeta-结构 Mohajerin Esfahani & Kuhn;Bayraksan & Love;Duchi 等;Hu 等
基于矩(§5.2) Chebyshev、Delage–Ye、广义矩、矩矩阵不等式 Scarf;Delage & Ye;Bertsimas & Popescu;Wiesemann, Kuhn & Sim
保形(§5.3) 对称性、单峰性、\alpha-单峰性、凸/凹单调节密度 Popescu;Van Parys 等;Hanasusanto 等;Li 等

| 基于核(§5.4) | 核回归加权(k 近邻、Nadaraya–Watson、局部线性)、核密度估计+PCA、支撑向量聚类 | Bertsimas & Kallus;Ning & You;Shang 等 |

数据驱动标定(§6):以经验分布 \mathbf P_N 为中心、半径为 \epsilon 的 Wasserstein 球可获得有限样本与渐近一致性保证(Mohajerin Esfahani & Kuhn 2018)。就半径而言,Pflug & Woźabal 依 Dudley 的界取 \epsilon = C N^{-1/d}/\alpha,保证 \mathbb P\{\mathsf d_{W_c}(\mathbb P,\mathbf P_N)\ge\epsilon\}\le\alpha;原文指出该半径依赖外生常数 C,因而过于保守、不实用。作为替代,Ji & Lejeune 对支撑集直径 \theta 的紧空间给出只依赖 \alpha、N、\theta 的闭式半径。

量化金融应用

  • 组合优化:最坏情形分布下的均值-风险与均值-CVaR(Calafiore;El Ghaoui 等;Goldfarb & Iyengar;Pflug & Pohl;Ji & Lejeune)。
  • 报童/库存问题(Scarf;Gallego & Moon;Ardestani-Jaafari & Delage;Klabjan 等)。
  • 指数跟踪与能源承诺(Hanasusanto & Kuhn;\chi^2 距离)。
  • 未定权益的多阶段接受/拒绝定价(Glanzer 等)。
  • 统计学习:SVM、LASSO、正则化逻辑回归、多任务学习都有 DRO 解释。

工具箱(§8)

原文列出四个建模工具箱:ROME(Goh & Sim,MATLAB,面向支撑与均值为锥可表示、协方差已知并带方向偏差上界的一类 DRO)、ROC(Bertsimas 等,C++,演示其自适应 DRO 模型的实用性与可扩展性)、XProg(MATLAB,实现与 ROC 相同的模型)、AROMA(Chen 等,用于展示其所提模糊集的建模能力)。

本文对 wiki 的价值