Jeon, Bae, C. Kim, Lee & W. C. Kim (2025) — Prediction Loss Guided Decision-Focused Learning
论文信息
- 标题: Prediction Loss Guided Decision-Focused Learning
- 作者: Haeun Jeon, Hyunglip Bae, Chanyeong Kim (KAIST), Yongjae Lee (UNIST), Woo Chang Kim (KAIST)
- venue: arXiv:2509.08359 (2025-09), preprint
- 本地归档:
raw/papers/202509-prediction-loss-guided-decision-focused-learning/(paper.pdf 408 KB, 11 页 + extracted.md) - 代码: anonymous.4open.science/r/twilight-1B7C
一句话
首个显式调整 DFL 梯度方向(而非改损失)的工作: 用 \nabla L_\text{pred} 引导 \nabla L_\text{dec} — 角平分方向 + sigmoid 衰减权重 + 几何均值范数; \kappa=0 有 Pareto 平稳点收敛保证 (O(1/\sqrt T)); 噪声越大优势越大 (Budget-500 fake targets: 0.278 vs 最强基线 0.366)。
结构
- §3.2 几何发现: 决策损失 Hessian 特征值集中于 0 (landscape 极平) / 梯度方向冲突常态化 / 量级失衡 10–1000×
- §3.3 方法: 角平分 + \alpha(t) 衰减 + 几何均值范数 (Prediction-Loss Guided DFL (预测损失引导的决策聚焦学习))
- §3.4 理论: Prop 3.2 无冲突 + Theorem 3.4 Pareto 平稳收敛
- §4 实验: knapsack / budget allocation / portfolio (French 49) × PFL/DFL/凸组合/PCGrad/MGDA/DCGD 基线
方法谱系
- 多任务梯度手术对照系: PCGrad (Yu et al. 2020) / MGDA (Désidéri 2012) / DCGD (Hwang-Lim 2024) — 本文与三者在更新方向上的几何差异见原文 Figure 3
- 前后作: ICML 2026 稀疏切点组合 的理论根基 — 解释其混合损失 \alpha=0.5 为何有效 (决策损失平坦 → 需 pred 补梯度)
- 与 wiki 已有页: Song Liu Chen 2026 Label Horizon Paradox — 同属"训练端目标设计"三条路线 (loss 权重 / 梯度方向 / label 时间结构)
关键 nuance
portfolio (French 49, λ=1, 连续 MVO) 中 PFL 0.515 ≤ DFL 0.517 — 预测误差与决策强相关时 DFL 无优势; 与 ICML 2026 稀疏设定 DFL 明显胜对照 → DFL 收益取决于决策层对预测误差的放大结构。
待办
- [ ] 正式 venue (AAAI/ICML 投稿中?) 后更新 — 文中引用格式为 AAAI 风格