Duchi, Glynn & Namkoong (2018) — Statistics of Robust Optimization: A Generalized Empirical Likelihood Approach
论文信息
- 标题: Statistics of Robust Optimization: A Generalized Empirical Likelihood Approach
- 作者: John C. Duchi（Stanford University, 电气工程与统计系）· Peter W. Glynn（Stanford University, 管理科学与工程系）· Hongseok Namkoong（Stanford University, 管理科学与工程系）
- venue: Mathematics of Operations Research 46(1): 31–53 (2021)；arXiv 1610.03425v3（2018-06-30）
- 本地归档:
raw/papers/201806-statistics-of-robust-optimization/(paper.pdf 620 KB, 48 页 + extracted.md) - 篇幅结构: §1 引言与背景 → §2 广义经验似然与渐近展开（2.1 均值情形；2.2 渐近展开）→ §3 随机优化的统计推断（3.1 i.i.d.；3.2 依赖序列；3.3 计算问题）→ §4 与鲁棒优化的联系（4.1 上置信界作为风险测度；4.2 方差正则化）→ §5 一致性 → §6 仿真（6.1 组合优化；6.2 CVaR；6.3 多品类报童）→ §7 一般结果（Hadamard 泛函、Donsker 类）→ §8 结论 + 附录证明
一句话
把「不确定集该取多大」这个超参数交给统计推断：用非参数 f-散度球建分布不确定集，用广义经验似然为最优值造置信区间，置信水平反过来决定球的半径；并证明鲁棒形式的最优解与 SAA 一致性相同、且鲁棒化在渐近展开上等于一个按目标函数方差定尺度的正则项。
结构
- §2 广义经验似然：置信域 \mathcal C_{n,\rho} = \{T(P) : D_f(P\|\hat P_n) \le n\rho\} 与剖面散度 R_n（f(t)=-2\log t 时即剖面似然）；假设 A：f 凸、在 1 的邻域三阶可微、f(1)=f'(1)=0、f''(1)=2。Owen (1963) 的 \chi^2_{d_0} 渐近（d_0 = 协方差的秩）被推广到一般 f-散度。
- §3 随机优化：T_{\text{opt}}(P) = \inf_{x\in X}\mathbb E_P[\ell(x;\xi)] 的置信区间（定理 3，i.i.d.）；假设 B（X 紧、损失关于某范数 M(\xi)-Lipschitz、\mathbb E[M(\xi)^2]<\infty）、假设 C（极小点存在）；单侧区间的阈值修正 \rho = \chi^2_{1,1-2\alpha}；依赖序列推广到快速混合的平稳序列，含几何遍历的 Harris 循环马尔可夫链（\beta_n = O(c^n)）。
- §4.1 上置信界作为风险测度：f_k（Cressie-Read 族，k=2 给 \chi^2 散度、k=1 给 KL、k\to0 给经验似然）的对偶给出相干风险测度 R_{k^\ast}，\rho\uparrow\infty 且 k\downarrow1 时鲁棒性增强。
- §4.2 方差正则化：鲁棒形式的渐近展开（式 21）的第二项就是 SAA 问题的正则项，且它度量目标函数的方差——即使 \ell 关于 x 凸，\mathbb E[\ell(x;\xi)] 关于 x 一般不凸。朴素方差惩罚目标既不凸也不相干，鲁棒形式则是凸的。
- §5 一致性：鲁棒极小点满足与 SAA 本质相同的一致性条件。
- §6.1 组合优化示例：d=20 资产，\ell(x;\xi)=x^\top\xi，X=\{x: \mathbf 1^\top x=1, -10\le x\le 10\}（含杠杆），\xi\sim N(\mu,\Sigma)，1250 次独立模拟。
关键数字
- 表 1 覆盖率（名义 95%）：组合问题 EL 在 n=20 时覆盖 75.16%，正态近似 89.2%；n=1000 时 EL 95.25%、正态 95.15%。小样本下经验似然覆盖不足，与经验似然本身的已知性质一致。
- 报童问题 EL 在 n=20 时覆盖 30.1%，正态近似 91.38%。
- CVaR（正态尾部 \alpha=3）：EL 覆盖 29–66.87%（随 n 上升），正态近似 95–100%；尾部更厚（\alpha=5）时 EL 覆盖仍偏低。
- n=20 时鲁棒/经验似然置信区间约为 [-150, 40]，明显宽于正态近似，SAA 本身则偏乐观。
- 协方差秩降维：\mathrm{Cov}(Z) 秩 d_0\le d 时 R_n(\mathbb E_{P_0}[Z]) \Rightarrow \chi^2_{d_0}——有效维数是秩而非维数。
与已有页面的关系
- 广义经验似然与鲁棒优化统计 — 本篇抽出的概念页，完整承载构造、假设 A/B/C、\chi^2 渐近、方差正则化结论
- Distributionally Robust Optimization — 本篇给出 DRO 模糊集的统计基础，补上「为什么可以这样设、设多大」这一环
- 鲁棒组合优化 — 对照路线：那一路不确定的是参数/扰动，本篇这一路不确定的是分布本身
- 马科维茨诅咒 — 「鲁棒化 = 按方差正则化」把 DRO 与 MVO 的误差放大连起来
- 协方差收缩估计 — 同样在对付估计噪声，动机相通但方法不同
局限
论文自陈：结论全是渐近的，有限样本覆盖率只是近似；小样本下广义经验似然覆盖不足；依赖序列推广要求混合足够快；本文是理论与统计推断，不含组合投资的实证。
标准文献
Duchi, J. C., Glynn, P. W. & Namkoong, H. (2021). "Statistics of robust optimization: A generalized empirical likelihood approach". Mathematics of Operations Research 46(1): 31–53. arXiv:1610.03425.