brier-scorediebold-marianoforecast-evaluationproper-scoring-rulecalibrationstub

Brier Score and Diebold-Mariano Test

Definition. 概率预测的两类评价方法学:

  • Brier score = \frac{1}{T} \sum_{t=1}^T (p_t - y_t)^2, where p_t 是预测概率, y_t 是 binary outcome。Proper scoring rule — 唯一能让 honest forecaster 得分最高的规则, 同时 reward discrimination + calibration。是 HHIt 论文主评价指标 (10-benchmark 中 Logit-RV-HHI Brier 最低 0.0430)。
  • Diebold-Mariano (DM) test = 比较两个 nested / non-nested forecasts 的预测精度; DM = \bar d / \sqrt{\widehat{\text{Var}}(d_t)/T}, d_t = L(e_{1t}) - L(e_{2t}), 弱依赖条件下渐近 N(0, 1)。论文 Table III 中比较每个 benchmark vs Logit-RV-HHI (Brier loss 差异)。

论文应用

  • Brier: 论文主评价 metric, 10 个 benchmark 排序:
    • Logit-RV-HHI: 0.0430 (最低)
    • Normal-GARCH(1,1): 0.0429 (略低, 但 calibration 100× 崩塌)
    • 其他: 0.0431 - 0.0445
  • DM test: Logit-RV-HHI-momentum (3-predictor) DM p = 0.042 → Brier loss 显著高于 proposed, 论证 HHI 是必需; 其他 8 个 benchmark DM p > 0.10 (差异不显著但 Brier 仍高)。
  • Calibration analysis: GARCH hidden gem — lowest decile 预测 0.0001 vs 实际 0.0096, 100-fold miscalibration, Brier 看不到 (总体 Brier 看似低, 但分位校准崩塌)。

Brier 的限制

  • Brier 是总体评价 metric, 不分位 — 可能隐藏 calibration 失败 (GARCH 案例)。
  • 论文用 calibration analysis (predicted decile vs observed frequency) 补充 Brier, 是更全面的 evaluation framework。
  • 与 Brier 配套的 proper scoring rules: log-loss (cross-entropy), spherical score, ranked probability score (RPS, 用于 ordinal outcomes)。

DM test 的限制

  • DM test 假设弱依赖, 长期记忆 (long-memory) 数据下需要 Harvey-Leybourne-Newbold (1997) small-sample correction 或 ... 。
  • 在 financial returns 高度 autocorrelated 时, DM test 渐近分布可能失效 — 论文用 expanding-window + 季度 re-estimation 部分缓解。
  • Diebold-Mariano 1995 原始 + Clark-West (2007) (nested) + Hansen-Lunde-Nason (2011) (model confidence set) 是 forecasting comparison 的三件套。

关键文献