predictive-regressionstambaugh-biasout-of-sampleclark-westcampbell-thompsonmultiple-testingfdrgenerated-regressoroverlapping-returns

Predictive Regression Diagnostics (预测回归的统计陷阱)

Scope. "X_t 预测 y_{t\to t+h}" 是量化研究里最常见的回归形式, 也是最容易出假阳性的一种。本页汇总六类必查项, 以 Huovinen (2026) 的 Factor Uncertainty Index (FUI) (因子不确定性指数) 为贯穿例子 —— 它同时踩中了这六项中的每一项, 是很好的教学样本。

检查清单

flowchart TB
    A["y_{t→t+h} = a + b·X_t + ε"] --> B["1. X 持久吗?<br/>→ Stambaugh 偏误"]
    A --> C["2. h > 1 且重叠?<br/>→ HAC + R² 膨胀"]
    A --> D["3. X 是估计出来的?<br/>→ 生成回归元"]
    A --> E["4. 跑了多少个假设?<br/>→ FDR 校正"]
    A --> F["5. 样本内还是样本外?<br/>→ R²_OS + Clark-West"]
    A --> G["6. 全样本还是分段?<br/>→ 子样本稳定性"]

1. Stambaugh 偏误 — 持久预测元的宿疾

当预测元 X_t 高度持久, 且其创新与被预测收益的创新相关时, OLS 的 \hat b 有系统性偏误 (Stambaugh 1999)。这在量化研究里几乎无处不在 —— 估值比率、波动率指标、情绪指标全部高度持久。

FUI 的 AR(1) 高达 0.964–0.995, 是教科书式的高危情形。修正后果:

期限 修正前后
h=12 修正后 t 仍达 5.03 (EWMA) / 8.01 (RV12) — 稳健
h=1, 3 EWMA 与 RV12 的修正 beta 转负; SV 在 h=1\sim6 全部转负 — 短期结论不成立

教训: 高持久预测元的短期预测力最可疑。若一篇论文的头条结果在 h=1 而没做 Stambaugh 修正, 应默认存疑。反过来, 长期限结果对修正稳健是相对可信的信号。

2. 重叠收益 — HAC 不是万能药

h 个月的累计收益按月滚动构造时, 相邻观测共享 h-1 个月的数据。标准做法是 Newey-West HAC (滞后阶与 h 匹配), 但两个问题仍在:

  • R^2 机械膨胀: 重叠让被预测量的有效独立观测数远小于 N。FUI 的 R^2 从 h=1 的 4% 涨到 h=12 的 28%, 其中相当一部分是这个机制而非预测力真的变强。
  • HAC 在长期限上过度保守: 论文自己指出, 660–690 个观测上用 h-1 阶 HAC 会让 h=12 的 Clark-West p 值退化到 0.08–0.12。

所以 R^2 随期限单调上升本身不是好消息 —— 需要与同口径的样本外指标对照才能判断。

3. 生成回归元 (generated regressor)

若 X_t 本身是估计出来的 (而不是直接观测的), 其估计误差会传入第二阶段回归, 使标准误低估。FUI 是双层生成: Layer 2 的条件波动率依赖 Layer 1 的估计残差。

Huovinen 的处理方式值得抄: 全流程分块 bootstrap —— 2000 次重复、块长 12 个月, 每次重跑整条流水线 (AR(1) → 波动率估计 → 聚合 → 预测回归), 而不是只对最后一步重采样。结果 bootstrap 标准误是 Newey-West 标准误的 1.03 倍, 偏误可忽略。

限制: 这只在 h=1 的离散度回归上做过, 未覆盖头条的收益预测回归。

4. 多重检验 — Benjamini-Hochberg FDR

在 13 个因子上同时跑回归, 每个期限就是 13 个假设。按 10% FDR 阈值做 BH (1995) 校正:

期限 原始 10% 水平显著 BH 后存活
h=1 7 2 (accruals, debt issuance)
h=3 12 12
h=6 12 12
h=12 10 10

短期限被砍掉三分之二, 长期限几乎不受影响 —— 与 Stambaugh 修正的结论方向一致, 交叉印证"短期预测力弱且噪声大"。

注意一个常被误用的点: 聚合的等权组合结果每个期限只是一个假设, 不受多重检验问题影响。把单因子结果和聚合结果放在同一个 FDR 框架里校正是错误的。

5. 样本外: R^2_{OS} + Clark-West

样本内拟合几乎必然高估实用价值。两个标准工具:

  • Campbell-Thompson (2008) R^2_{OS}: 1 - \mathrm{MSFE}_{\text{model}}/\mathrm{MSFE}_{\text{bench}}, 基准取历史均值。正值 = 打赢了最朴素的对手。
  • Clark-West (2007) MSFE-adjusted 检验: 嵌套模型比较中, 大模型即使真实无用也会因参数估计噪声而 MSFE 偏高, CW 对此做修正。

FUI 的样本外结果 (扩展窗, 初始训练 120 月): h=6 为 6–12%, h=12 为 5–13%, CW 多数在 10% 水平显著。h=1 上 GARCH 甚至为负 (-0.49\%)。

关键细节: 必须用扩展窗重估, 每一期只用当时可得的数据。若用全样本估计的系数去"样本外"预测, 那不是样本外。

6. 子样本稳定性 — 最容易被跳过、也最致命

全样本一个漂亮的 t 值可能完全来自某一段。FUI 的子样本表 (h=6):

子样本 \beta t R^2
pre-1990 0.249 0.77 0.80%
1990–1999 −0.407 −1.04 2.38%
post-2000 1.058 7.04 44.5%

post-2000 内部再拆更刺眼: 2010–2019 的 h=12 斜率 -1.41 (t=-2.27) 符号翻转且显著; COVID+ 时段 h=12 斜率 7.54 (t=8.25) 但 N=48。

判读这类分裂的两种解释, 必须都摆出来:

  1. 机械解释: post-2000 的 FUI 标准差是 pre-1990 的 3.5 倍。预测元本身不动时, 回归自然测不出关系 —— 这不代表关系不存在。
  2. 实质解释: 关系本身是状态依赖的 (阈值效应), 只在因子空间真正分化时激活。

Huovinen 两种都给了, 并用"post-2000 包含三次不同起源的冲击 (dot-com / GFC / COVID)"来排除"全靠单一事件"的批评。这是负责任的处理方式。但读者要清楚: 可用的样本其实只有约 25 年, 而不是标称的 73 年。

一份可直接套用的自查表

对任何"X 预测 y"的结果, 依次问:

  1. X 的 AR(1) 是多少? >0.9 就要看 Stambaugh 修正后的结果。
  2. 被预测量重叠吗? R^2 随 h 上升有多少来自重叠?
  3. X 是估计出来的吗? 标准误做过全流程 bootstrap 吗?
  4. 一共跑了多少个假设? 报告的是筛选后的最优吗?
  5. 有 R^2_{OS} 与 Clark-West 吗? 是扩展窗重估还是全样本系数?
  6. 分子样本后还在吗? 有没有某一段符号翻转?

一篇论文如果六项全过 (Huovinen 2026 基本做到了), 结论仍可能只在特定 regime 下成立 —— 但至少你知道它成立在哪里。

See also

Sources

  • summaries/202604-measuring-equity-factor-uncertainty/202604-measuring-equity-factor-uncertainty — (2026-08-12) 摘要
  • Stambaugh, R. F. (1999). "Predictive Regressions." JFE 54(3), 375–421.
  • Clark, T. E. & West, K. D. (2007). "Approximately Normal Tests for Equal Predictive Accuracy in Nested Models." Journal of Econometrics 138(1), 291–333.
  • Campbell, J. Y. & Thompson, S. B. (2008). "Predicting Excess Stock Returns Out of Sample." RFS 21(4), 1509–1531.
  • Benjamini, Y. & Hochberg, Y. (1995). "Controlling the False Discovery Rate." JRSS-B 57(1).
  • Campbell, J. Y. & Yogo, M. (2006). "Efficient Tests of Stock Return Predictability." JFE 81(1), 27–60.