empirical-likelihoodf-divergencerobust-optimizationstatistical-inferenceconfidence-intervalsvariance-regularizationasymptotic-analysis

广义经验似然与鲁棒优化统计 (Generalized Empirical Likelihood)

一句话：广义经验似然给随机优化问题造一个置信区间，区间宽度由统计推断而不是人工设定决定——因此它同时回答了「不确定集该取多大」和「鲁棒解靠不靠谱」两个问题。

经验似然为什么需要鲁棒化

经典经验似然（empirical likelihood）给均值 \mathbb E_{P_0}[Z] 造置信区间，特点是分布无关（不假设正态）。问题在于它只覆盖「均值」这一类泛函。要把它用到随机优化上——目标是最优值

T_{\text{opt}}(P) := \inf_{x\in X} \mathbb E_P[\ell(x;\xi)]

——需要三样东西：把经验似然从均值推广到任意泛函（广义）、把散度从 KL 推广到一族 f-散度（鲁棒化）、以及把「泛函是分布的光滑函数」这件事说清楚。

构造：f-散度球 + 剖面散度

设 Z_1,\dots,Z_n 独立同分布，T:\mathcal P\to\mathbb R 是待估泛函。广义经验似然置信域是 T 在经验分布 \hat P_n 的一个 f-散度邻域上的像：

\mathcal C_{n,\rho} = \{T(P) : D_f(P\,\|\,\hat P_n) \le n\rho\}

直接算 D_f 要在分布空间上优化，所以引入剖面散度 R_n（f(t)=-2\log t 时它就是剖面似然）：

T(P) \in \mathcal C_{n,\rho} \quad\Longleftrightarrow\quad R_n(T(P)) \le n\rho

R_n 的存在让置信域变成一个一维可算的量。

假设 A（f-散度光滑性）：f:\mathbb R_+\to\mathbb R 凸、在 1 的邻域三阶可微，且 f(1)=f'(1)=0、f''(1)=2。前两条不失一般性（f(t)+c(t-1) 给出相同的散度），第三条是归一化，让经典经验似然 f(t)=-2\log t 成为特例。论文不限制 f 在 0 附近的行为——KL 散度这类在 t\downarrow 0 时趋于无穷的散度仍被涵盖。

\chi^2 渐近与协方差秩降维

Owen (1963) 的经典结果：i.i.d. 样本下，若 \mathrm{Cov}(Z) 的秩 d_0\le d，则

R_n(\mathbb E_{P_0}[Z]) \Rightarrow \chi^2_{d_0}

有效维数是协方差的秩 d_0，不是数据维数 d。这一条解释了经验似然在 d\gg n 时仍能工作的原因——它自动按协方差张成的子空间定有效维数。论文把这一结果推广到满足假设 A 的一般 f-散度。

核心原则：置信水平决定不确定集半径

这是这套方法最有价值的一条：不要预先拍一个不确定集半径 \rho，让统计推断来定。

\rho(\alpha) = \inf\{\rho' : P(\chi^2_{d_0} \le \rho') \ge 1-\alpha\}

取这个 \rho 就得到 T(P_0) 的渐近精确 (1-\alpha) 置信区间。方向是「先要 95% 覆盖，再倒推半径」——而不是「先选半径 0.1，再看能覆盖多少」。对组合优化而言，这意味着 DRO 的 f-散度球半径有统计含义，不再是调参。

若只需单侧区间（比如只要上界），可对阈值做简单修正：给定置信水平 1-\alpha 取 \rho = \chi^2_{1,1-2\alpha}（小于双侧的 \chi^2_{1,1-\alpha}），区间因此缩短。

鲁棒解的一致性

论文证明鲁棒形式的极小点 \hat x_n 与样本平均近似（SAA）的极小点满足本质相同的一致性性质（假设 X 紧、损失 Lipschitz 且二阶矩有限、极小点存在）。这是 DRO 相对「直接用 SAA」的关键正当化：鲁棒化没有引入额外的估计偏差。

关键结论：鲁棒化 = 按方差正则化

渐近展开的第二项恰好是 SAA 问题的正则项，而这个正则项度量的是目标函数的方差（注意：即使 \ell 关于 x 是凸的，\mathbb E[\ell(x;\xi)] 关于 x 一般不是凸的）。论文在弱条件下证明该展开关于 x 一致，因此「鲁棒化即正则化」的直觉在选择 \hat x_n 为鲁棒形式的极小点时严格成立。

这条结论把 DRO 从「额外的保险」改写成有统计依据的方差控制。论文特别指出：朴素的方差惩罚目标 \mathbb E[\ell(x;\xi)] + \lambda\,\mathrm{Var}[\ell(x;\xi)] 一般既不凸也不相干，而鲁棒形式是凸的，且其最坏期望算子在模糊集凸紧时本身就是一致风险测度——于是可以用凸优化求解一个近似方差正则化的问题。论文的 §6.1 用 Markowitz 组合做模拟：d=20 资产、\xi\sim N(\mu,\Sigma)、可行域含杠杆约束，1250 次独立模拟的经验似然区间在 n=20 时约为 [-150,40]，明显比正态近似宽且更诚实地覆盖了 SAA 的乐观偏差。

依赖序列的推广

i.i.d. 假设在金融序列里不成立。论文把结果推广到快速混合的平稳序列，包括几何遍历的 Harris 循环马尔可夫链——此时存在 c\in(0,1) 使混合系数 \beta_n = O(c^n)。

局限与开放问题

  • 全部结论是渐近的，n 有限时覆盖率只是近似；论文明确说小样本下广义经验似然覆盖不足。
  • 依赖序列的推广要求混合足够快；几何遍历 Harris 循环链是较强假设，真实金融序列是否满足需要单独论证。
  • 论文本身是理论与统计推断，不含组合投资的实证。

来源