personresearcherregularizationconvex-optimizationmachine-learningstanfordvariance-penalization

Hongseok Namkoong

机构:Stanford University 管理科学与工程系教授。凸优化、机器学习中的正则化与鲁棒性方向。

在本 wiki 的论文

方法论取向

Namkoong 的主线是「鲁棒与正则化是同一件事」。他与 Duchi 的配套工作 Variance-based regularization with convex objectives(arXiv:1610.02581, 2016;NeurIPS 2017)把这条结论单独做深:方差惩罚型目标一般既不凸也不相干,需要设计一个凸的、且在渐近意义上近似方差正则化的替身。

DRO 的 f-散度球恰好就是这样一个替身——它在渐近展开中给出一个方差正则项,同时保持凸性与风险相干性。这条线索把 DRO 从「额外的保险」改写成有统计依据的方差控制,也把它与 Ledoit-Wolf 收缩、组合优化的正则化在动机上接通:三者都在对付估计噪声。

相关