regularization-hallucinationidentifiabilityeconomic-interpretationml-asset-pricingmethodology

正则化幻觉 vs 经济结构 (Regularization Hallucination vs Economic Structure)

Definition. 在欠定高维估计问题 (T ≪ N²) 中，对参数的"经济学解读"实质上是研究者选择的正则化项的产物：选择 Ridge 就得到稀疏的密度分布，选择低秩就得到因子结构，选稀疏图就得到社区，所有"看起来像网络"的结构都是先验 (prior) 而非数据 (likelihood)。清华 2026 论文把这种现象命名为"正则化幻觉" (regularization hallucination)，并以方向性网络特征在样本拆分中相关性 −0.28 的反例坐实。

形式机理

flowchart LR
    DATA["有限数据 (T 时刻)"] --> LIKE["似然 L(Ψ | data)"]
    LIKE --> UNDER["欠定: L 几乎平坦"]
    UNDER --> REG["正则化 R(Ψ)"]
    REG --> SOL["最优解 Ψ* = argmin L + λR"]
    SOL --> STORY["经济叙事 '看 Ψ* 画网络'"]
    STYLE REG fill:#fdd
    STYLE UNDER fill:#fdd
    STYLE STORY fill:#ffd

红色是"幻觉"高发区：欠定 + 正则化决定解；黄色是"幻觉放大区"：研究者把解重写为经济故事。

何时幻觉不发生

  • T/N² ≪ 1 时，几乎所有方向性幻觉
  • 但强度 (Magnitude) 仍可识别：样本拆分中 Magnitude 相关 0.77——这与方向性 (−0.28) 形成对照
  • 这解释了为什么 ML 模型预测能力可复制但解读不可复制

与"复现性危机"的关系

可视为 finance 版本的 replication crisis，与 Jensen-Kelly-Pedersen 2023 描述的 153 特征 → 13 主题聚类同源：

  • JKP2023 在因子层面做层次聚类，先验是 Ward linkage + 1−ρ 距离，本质也是正则化选择
  • 清华论文在网络层面揭示同样机理，但把论证推到极端：方向性的"反符号复现" (−0.28)

→ 先验即结论：在 T/N² ≪ 1 的设定里，"研究者的解读"在统计意义下等价于"先验选择"。

给量化研究的操作警示

操作 推荐 不推荐
N×N dense 矩阵 低秩化 / 显式 Lasso 直接对 Ψ_{ij} 做经济叙事
方向性网络特征 用外生网络作为 ground truth 用 ML 自建方向性
模型比较 用样本外 Sharpe, 不用 Ψ 解读 拿 Ψ 解释模型差异
论文叙事 "矩阵在样本外击败基准" "矩阵揭示了某传导路径"

与本 wiki 其他概念的连接

引用