conceptDFLgradient-perturbationmulti-task-learningpareto-stationaryml-for-finance

Prediction-Loss Guided DFL (预测损失引导的决策聚焦学习)

Jeon, Bae, C. Kim, Lee & W. C. Kim (2025), arXiv:2509.08359 — 首个显式调整 DFL 梯度方向(而非改损失函数)的工作

问题: vanilla DFL 为什么不稳定

DFL 用精确/良好近似的梯度反传, 但决策损失 landscape "平且陡" (flat-and-sharp): 大片平台区 + 突变。已有补救 (平滑代理损失 / 固定权重混合) 三大缺陷: 问题类窄、代理学习开销大、固定权重无法随训练进程调节。

三个几何发现 (方法的经验动机)

对 \nabla L_\text{pred} 与 \nabla L_\text{dec} 的训练中观测 (budget allocation + portfolio):

维度 观测 后果
曲率 (Hessian 谱, Lanczos) L_\text{dec} 特征值集中于 0 (极平); L_\text{pred} 宽谱含负值; 凸组合居中 纯决策梯度信号弱且噪声
方向 (cosine) 多数为负 — 常态冲突 朴素相加互相抵消
量级 (范数比) \lvert\nabla L_\text{pred}\rvert / \lvert\nabla L_\text{dec}\rvert \approx 10\text{–}1000 凸组合被 pred 侧淹没, L_\text{dec} 失声

方法: 梯度空间的方向融合

flowchart LR
    A["反向传播"] --> B["∇L_pred"]
    A --> C["∇L_dec"]
    B --> D["单位化 u_pred"]
    C --> E["单位化 u_dec"]
    D --> F["角平分方向 bisect(u_pred, u_dec)"]
    E --> F
    F --> G["α(t) sigmoid 衰减加权<br/>c=50, κ∈{0,1}"]
    E --> G
    G --> H["范数 = 几何均值<br/>sqrt(||∇Lpred||·||∇Ldec||)"]
    H --> I["合成梯度 g → 更新 θ"]
  • 方向: \kappa=0 时 \alpha\equiv 1 — 恒用角平分方向 (同时改善两个目标); \kappa=1 时 \alpha 随 epoch 单调衰减, 更新方向逐渐滑向 u_\text{dec} (早期靠 pred 校准, 后期专注决策)。
  • 范数: 几何均值 — 避免任何一方 (通常是 \nabla L_\text{pred}) 淹没另一方。
  • 即插即用: 不构造代理损失、不学新参数, 可叠加到任意可微 DFL 求解器 (OptNet / CvxpyLayers / 扰动法)。

理论保证

  • Prop 3.2 (无冲突): 合成梯度与 \nabla L_\text{dec} 夹角 ≤ 90° — 永不冲突; \kappa=0 时与两个梯度都不冲突。
  • Theorem 3.4 (收敛): M_i-Lipschitz + Robbins-Monro 步长下, \kappa=0 收敛到 Pareto 平稳点 (存在 \alpha_1\alpha_2\ge 0, \alpha_1+\alpha_2=1 使 \alpha_1\nabla L_\text{pred} + \alpha_2\nabla L_\text{dec}=0), 速率 O(1/\sqrt T) — 与 PCGrad/MGDA/DCGD 同级保证。

实验 (normalized test regret ↓, 10 runs)

knapsack (unweighted/weighted, N=48) / budget allocation (±500 fake targets) / portfolio (Kenneth French 49 行业, \lambda{=}1); 基线: PFL / DFL / 凸组合 (β 五档) / PCGrad / MGDA / DCGD。

设置 PFL DFL 最强基线 Ours (\kappa{=}0)
Knapsack-UW 0.258 0.190 0.063 (Convex β=0.01) 0.066
Knapsack-W 0.360 0.330 0.216 (PCGrad) 0.201
Budget-0 0.425 0.163 0.125 (PCGrad) 0.102
Budget-500 fake 0.577 0.387 0.366 (DCGD) 0.278
Portfolio (French 49) 0.515 0.517 0.509 (MGDA) 0.504
  • 唯一未夺冠: Knapsack-UW (0.066 vs 凸组合 0.063, 边际差)。
  • 噪声越大优势越大: Budget-500 0.278 vs 0.366 (−24%)。
  • SEM 全场一致最小 — 稳定性是主要卖点。
  • 关键 nuance: portfolio 中 PFL (0.515) ≤ DFL (0.517), 凸组合偏好小 β (pred 侧重) — 预测误差与决策强相关时 (连续 MVO、无稀疏) DFL 无优势; 对照 ICML 2026 稀疏设定 (离散选择放大预测误差) DFL 明显胜。→ DFL 收益取决于决策层对预测误差的放大结构, 不是普适。

与 wiki 对位

局限 (论文自认)

(1) 假设精确决策梯度 — 与 surrogate-loss 类 DFL 的结合开放; (2) 两个梯度都灾难性差时的行为未知。