robust-optimizationregularizationmachine-learninguncertainty-quantificationut-austin

Constantine Caramanis

University of Texas at Austin 电气与计算机工程系教授，鲁棒优化、鲁棒控制与统计学习的交叉方向。

在本 wiki 的论文

方法论取向

用鲁棒优化解释正则化与学习算法的优良性质。他与 Xu、Mannor 合作的一组工作给出两条等价性：

  • Lasso 的解是一个鲁棒优化问题的解，由此给出稀疏性的鲁棒解释——稀疏不是正则化的副产品，而是鲁棒性的推论；
  • 范数正则化的 SVM 同样有隐藏的鲁棒性质，据此可以绕开稳定性与 VC 维论证，直接证明统计一致性。

另一条线是鲁棒优化与分布鲁棒的等价：他与 Xu、Mannor 证明任何鲁棒优化问题都可以写成分布鲁棒形式，从而把鲁棒优化的确定性保证搬到有样本的场景下。

第三条线是鲁棒优化的多阶段版本：他提出的「有限可调 (finite adaptability)」把后续决策写成不确定量的分段常数函数，用分段数控制可调程度——即使只分两块，求最优分区已是 NP-hard，但在不确定维度、决策维度或不确定约束数之一较小时可高效求解。

相关