lead-lagdirected-networknetwork-clusteringflow-imbalancehermitian-clusteringsignature-lead-lagdistance-correlationus-equityforecastingstatistical-arbitrage概念增量

Bennett, Cucuringu & Reinert (2022) — Lead–Lag Detection and Network Clustering for Multivariate Time Series, with an Application to the US Equity Market

作者: Stefanos Bennett (Oxford Statistics & The Alan Turing Institute)、Mihai Cucuringu (Oxford Statistics / Oxford Math Institute & The Alan Turing Institute)、Gesine Reinert (Oxford Statistics & The Alan Turing Institute)。 期刊: Machine Learning 111:4497–4538, 2022 (Springer, https://doi.org/10.1007/s10994-022-06250-4)。Editor: Joao Gama。Received 2021-12-12, published online 2022-11-01。 代码: https://github.com/stefanosbennett/mlj-lead-lag 数据: CRSP via WRDS (NYSE 5325 stocks, 2000-01-04 至 2019-12-31)。

一句话核心

把股票两两之间的"引线-滞后" (lead-lag) 关系编码为有向加权图, 然后用针对"流不平衡" (flow imbalance) 设计的谱聚类算法 (Hermitian RW) 找出"系统性 lead" 与"系统性 lag" 的股票集群。论文首次在美股上对 lead-lag 网络做数据驱动的聚类 (此前文献只能比较预定义的 SIC/GICS 行业或地理组), 并构造了一个 Sharpe 0.62、市场相关性仅 0.04 的样本外预测信号 (2000-2019, 2 月更新 / 1 年回看 / OLS)。

三步 pipeline

  1. Pairwise lead-lag metric S_{ij} — 衡量 i 在多大程度上"引线" j。论文重点比较三类:
    • ccf-lag1: F = \rho_{i \to j}(l=1) - \rho_{i \to j}(l=-1)。只用 lag±1 一步, 简单但只捕捉正相关, 且只适用于"交叉相关为正"的市场 (例如美股日收益)。
    • ccf-auc: S_{ij} = \frac{\mathrm{sign}(I(i,j)-I(j,i)) \cdot \max(I(i,j), I(j,i))}{I(i,j)+I(j,i)}, 其中 I(i,j) = \sum_{l=1}^{L} \big|\mathrm{corr}(\{Y^i_{t-l}\}, \{Y^j_t\})\big|。即对 lag 1..L 的交叉相关绝对值求和, 取较大的一侧, 用两侧之差的符号定方向 (非对称); I(i,j) 是绝对值之和故非负, 但整体 S_{ij} 可正可负且满足 S_{ij}=-S_{ji}。美股实证与合成实验均取 L=5。默认推荐。
    • Signature (Levin 2016 rough path): 路径二阶迭代积分交叉项之差 S(X)_{a,b}^{1,2} - S(X)_{a,b}^{2,1}。能处理非正、非线性依赖, 但对"负相关"区分不开 (i→j 负 vs j→i 正)。
    • \mathrm{corr} 的四个选择: Pearson (线性) / Kendall (单调非线性, 对离群点稳健) / distance correlation (Székely 2007) / mutual information (离散化值, 一般非线性)。美股实证与推荐组合为 distance correlation + ccf-auc (论文据"金融收益线性交叉相关过低"与合成实验表现选定)。
  2. Adjacency: A_{ij} = \max(S_{ij}, 0), 反对称化得 A - A^\top。
  3. Directed clustering — 找出最大化"流不平衡"的 k 类分割:
    • Naive symmetrisation: 把 A 替换为 A + A^\top 跑标准谱聚类 — 基线, 只看密度不看方向。
    • Bibliometric symmetrisation (Satuluri-Parthasarathy 2011): 度折扣 bibliometric 对称化。
    • DI-SIM co-clustering (Rohe 2016): 正则化 Laplacian + 左/右奇异向量 co-cluster, DI-SIM-L 看送出行为、DI-SIM-R 看接收行为。
    • Hermitian RW (Cucuringu 2020): 取 Hermitian 矩阵 \tilde A = i(A - A^\top) 的特征向量, 随机游走归一化后 k-means。默认推荐 — 直接优化"成对 flow imbalance"。

最后用Meta-flow 矩阵 F_{ab} = \frac{1}{|C_a| |C_b|} \sum_{i \in C_a, j \in C_b} (A_{ij} - A_{ji}) 描述 a \to b 的净流出, 再用 RowSum leadingness L(i) = \frac{1}{|C_i|}\sum_{l \in C_i}\sum_{m=1}^{p} (A_{lm} - A_{ml}) 对聚类排序, label 0 = 最 lead, label k-1 = 最 lag。

合成数据 — 五套 DGP

共享 latent Z, time series i 滞后 l_i 阶依赖 Z:

DGP 依赖形式 关键挑战
Linear g_l(Z) = Z_{-l} 简单, 检验下限
Cosine g_l(Z) = \cos(lZ) 线性协方差为 0 (正交)
Legendre g_l(Z) = P^L_{l+1}(Z) 同上, 多项式正交

| Hermite | g_l(Z) = P^H_{l+1}(Z) | 同上 |

| Heterogeneous | Z 是多维, f_i 不同 | 聚类需同时匹配 (l, f) |

结论: ccf-auc + distance correlation 在非线性场景 (Legendre / Hermite) 分类准确率最高, 在 Cosine 场景与 mutual information 并列最高; Hermitian RW 与 DI-SIM 聚类 ARI 几乎完美, naive baseline 显著差 (说明 lead-lag 确实需要利用"方向")。

美股实证 — 434 股票 (NYSE top-500 by volume), 2000-2019

显著性:

  • Permutation test (200 MC): 拒绝"无时序结构"零假设, p < 0.005。
  • 谱中最大特征值 1/201 概率, lead-lag 集群结构显著。

Hermitian RW, k=10 聚类结果 (与 SIC 行业对比):

  • Hermitian 聚类与 SIC Jaccard 系数都很低 — 解释能力超出行业。Mining 与 cluster 1 (次 lead) 强相关, Finance/Insurance/RE 与 cluster 2 (第三 lead) 相关, 与 Biely-Thurner 2008 结论一致 (finance & energy 主导 lead-lag 矩阵主特征)。
  • 与"成交量高 → lead" (Chordia-Swaminathan 2000)、"市值大 → lead" (Lo-MacKinlay 1990) 两种主流假说的 Spearman 相关分别为 0.01 / -0.15 — 不支持。lead-lag 结构不能被这三种假说解释。

时变:

  • 年间 ARI 普遍偏低 (原文仅定性描述为 relatively low; 具体数值需从 Fig. 14 热力图读取, 观测量级约 0.1–0.2) 但有持续性, 2000-2006 比 2007-2018 高, 2012 后 ARI 衰减 (与 Curme 2015 "2012 后市场信息效率提升" 现象一致)。

交易信号 — Sharpe 0.62 / p<0.004

信号构造:

  1. rolling 2 月更新 + 1 年回看, 重算 k=10 聚类 + meta-flow F。
  2. 对每对 (leading cluster i, lagging cluster j), 拟合 Y^{(j)}_t = \theta_{ij} X^{(i)}_t + \epsilon, X^{(i)}_t 是 cluster i 均值收益的指数加权 (α=0.4, 92% 权重在前 5 日)。
  3. meta-flow 阈值化: \tilde F_{nj} = \mathbf{1}\{F_{nj} > c\}, c 为流图 F 边权的 90% 分位; 聚合成 S_t(j) = \mathrm{sign}\big(\sum_{n=1}^{k} \tilde F_{nj}\, \hat Y^{(j)}_t\big), 其中 \hat Y^{(j)}_t = \theta_{nj} X^{(n)}_t。
  4. 21 日 vol-normalize 到 10% 年化波动 (动态 Kelly)。
信号 年化 Sharpe p 值 与市场相关
本方法 (cluster + EWMA + OLS) 0.62 < 0.004 0.04
LASSO-VAR baseline (5 lag) 0.27 > 0.13 —
S&P 500 买入持有 0.40 — 1.00

Ablation: 把聚类 label 随机置换 200 次 → 99.5% 分位 Sharpe < 0.62 (MC 概率 1/201), 拒绝"lead-lag 集群结构无信息"零假设 (p<0.005)。

未做交易成本。但信号是周级别 EWMA, turnover 低, 实际可行性需自行补 TC 估计。

论文的"概念增量"

  1. lead-lag 网络上第一次数据驱动聚类 (此前文献只能分析预定义组, 如行业/地理)。
  2. Hermitian 谱方法对金融 lead-lag 网络的特化适配 — 把"找 lead/lag 集群"显式映射到"找 flow imbalance 集群"。
  3. meta-flow graph + RowSum leadingness 提供可解释的"全局 lead-lag ranking", 与 PageRank 类方法 (Wu 2010 / Basnarkov 2019) 的 ranking 视角互补。
  4. rolling clustering + cluster-level OLS 提供"先降维再预测"的范式, 与 LASSO-VAR 等"全维预测"形成对比, 显著样本外 Sharpe 0.62 vs 0.27。
  5. 对美股 lead-lag 三大主流假说 (行业/成交量/市值) 全部否证 — 留下一个未识别的 lead-lag 机制开放问题 (cross-firm information flow / news-driven / microstructure 都可能)。

概念锚点