Prediction Loss Guided Decision-Focused Learning — 中文摘要

Jeon, Bae, C. Kim, Lee* & W. C. Kim* (KAIST / UNIST), arXiv:2509.08359 (2025-09, preprint) 本次归档: raw/papers/202509-prediction-loss-guided-decision-focused-learning/ (paper.pdf 408 KB, 11 页 + extracted.md, 2026-09-20)

一句话核心

不造代理损失、不设固定权重 — 直接在梯度空间用 \nabla L_\text{pred} 引导 \nabla L_\text{dec}: 取两梯度单位向量的角平分方向, 以 sigmoid 衰减权重 \alpha(t) 逐渐从预测梯度滑向决策梯度, 范数取几何均值。\kappa=0 变体有 Pareto 平稳点收敛保证 (O(1/\sqrt T))。

三个几何发现 (§3.2, 动机)

1. 决策损失 landscape 极平: Hessian 特征值密度 (Lanczos, 组合优化 portfolio, epoch 2) — L_\text{dec} 集中于 0 附近; L_\text{pred} 更宽 (含负值 + 少量大值, saddle 型); 凸组合居中。
2. 方向冲突常态化: \cos\angle(\nabla L_\text{pred}, \nabla L_\text{dec}) 多数为负 (budget allocation)。
3. 量级失衡 10–1000×: |\nabla L_\text{pred}| 通常远大于 |\nabla L_\text{dec}| → 朴素凸组合被 pred 侧淹没。

方法 (§3.3)

合成方向 = 角平分 \hat u 与 u_\text{dec} 的凸组合, 权重 \alpha(t) 为 sigmoid 型单调衰减 (inflection c=50, steepness \kappa); 范数 m = \sqrt{|\nabla L_\text{pred}|\cdot|\nabla L_\text{dec}|}。两个变体: \kappa=0 (\alpha\equiv 1, 恒角平分) / \kappa=1 (渐转向 \nabla L_\text{dec})。免训练即插即用, 兼容任意可微 DFL 求解器。

理论 (§3.4)

• Prop 3.2: 合成梯度永不与 \nabla L_\text{dec} 冲突; \kappa=0 时与两个梯度都不冲突。
• Theorem 3.4: M_i-Lipschitz 下 \kappa=0 收敛到 Pareto 平稳点 (两梯度的凸包含零向量), 速率 O(1/\sqrt T)。

实验 (3 问题 5 设置, normalized test regret ↓, 10 runs)

• 噪声越大 (500 fake targets) 优势越大: 0.278 vs 最强基线 0.338。
• Portfolio 中 PFL 0.515 ≤ DFL 0.517 — 预测误差与决策质量强相关 (Markowitz λ=1 无稀疏) 时 DFL 无优势; 与 ICML 2026 稀疏设定 (离散选择放大误差) DFL 明显胜形成对照。
• SEM 一致最小 — 稳定性是卖点。

定位

ICML 2026 稀疏切点组合 (姊妹篇) 混合损失 \alpha=0.5 的理论根基; 把 Decision-Focused Learning for MVO "α 调参 ad-hoc" 的局限换成梯度空间融合 + 原则性衰减。