Distance Correlation (Székely 2007)
Definition. Székely, Rizzo & Bakirov (2007) 提出的非线性 + 鲁棒依赖度量。\mathcal{R}(X, Y) = 0 当且仅当 X, Y 独立 (与 Pearson \rho = 0 仅刻画"无线性相关" 截然不同): \mathrm{dCor}^2(X, Y) = \frac{\mathcal{V}^2(X, Y)}{\sqrt{\mathcal{V}^2(X, X) \mathcal{V}^2(Y, Y)}} 其中 \mathcal{V}^2 是基于成对距离的经验二阶距离协方差。
关键性质
| 性质 | Pearson \rho | Distance correlation |
|---|---|---|
| 零假设 H_0 | X \perp\!\!\!\perp Y 且联合正态 | X \perp\!\!\!\perp Y (与分布无关) |
| 独立性零假设成立 | 仅当正态 | 一般分布 |
| 检测非线性 | 否 (正弦非线性下可能为 0) | 是 |
| 检测线性 | 是 | 是 |
| 复杂度 | O(T) | O(T^2) |
| 对重尾鲁棒 | 弱 (outlier 拉偏) | 强 (距离对极端值衰减) |
| 取值范围 | [-1, 1] | [0, 1] (仅非负) |
公式
样本形式: 给定 x = (x_1, \ldots, x_n), y = (y_1, \ldots, y_n),
# 1. 中心化距离矩阵
A_{ij} = |x_i - x_j|, A_{ij} -= mean(A[i,:]) + mean(A[:,j]) - mean(A)
# 2. 经验距离协方差
dCov^2 = (1/n^2) * sum_{i,j} A_{ij} * B_{ij} # B 同理从 y 算
# 3. 距离方差
dVar^2(x) = (1/n^2) * sum A^2
# 4. 距离相关
dCor = sqrt(dCov^2 / sqrt(dVar^2(x) * dVar^2(y)))
在金融 lead-lag 中的角色
Bennett, Cucuringu, Reinert (2022) 把 distance correlation 选为美股日收益的默认 corr 函数, 与 ccf-auc 组合 (lag L=5), 原因是:
- 美股日收益 linear cross-correlation 极低 (信噪比差), Pearson 失效。
- 波动率 lead-lag 比收益 lead-lag 强 5-10x (Billio 2012), 这是非线性现象, Pearson 抓不住。
- 重尾 (Cont 2001) + outlier 拉偏 Pearson 估计; distance correlation 对极端值衰减更稳。
- 距离相关的 O(T^2) 在 p=434, T=5000 量级可接受; 更大需用 fastGCD (Huang 2020) 或 GPU 加速。
邻近概念
- XICOR — Chatterjee ξ Coefficient — 同样"0 ↔ 独立" 族, 但 O(n\log n) 且不对称; lead-lag 网络中 dCor 的快速方向化对位
- Lead-Lag Detection — 上游应用
- Cross-Correlation Functional (ccf-auc, ccf-lag1) — 与 ccf-auc 配对
- Hermitian Spectral Clustering — 下游聚类
起源 / 标准文献
- Székely, Rizzo, Bakirov (2007) "Measuring and testing dependence by correlation of distances" Annals of Statistics 35(6):2769-2794 — 原始定义 + 渐近正态性
- Székely & Rizzo (2009) "Brownian distance covariance" Annals of Applied Statistics 3(4):1236-1265 — 多元扩展
- Bennett, Cucuringu, Reinert (2022) Machine Learning 111:4497–4538 — 金融 lead-lag 的应用 (本 wiki 摘要)
- Fiedor (2014) — 用 distance correlation 做 lead-lag 网络的早期工作
Open Questions
- 大 p (A 股 ~5000) 下 O(p^2 T^2) 不可行, fastGCD 类加速 / GPU 方案是否成熟?
- distance correlation 只取非负, 无法直接表示"负相关"; 配合 sign(corr_Pearson) 拼接能否补足?
- 与"copula-based dependence" (Rank-based Kendall) 在美股 lead-lag 上的 head-to-head 实证。