Chatterjee (2019) — A New Coefficient of Correlation (XICOR ξ)

TL;DR — Chatterjee 提出新的相关系数 ξ ∈ [0,1], 同时满足 (a) 计算简单 (O(n\log n)) / (b) 真的度量依赖强度 (0 iff 独立, 1 iff Y=f(X) 可测函数) / (c) 独立假设下有闭式渐近正态。三条性质前人系数一个都凑不齐——Pearson/Spearman/Kendall 只刻画单调, maximal correlation / MIC 没有闭式渐近, distance correlation 是 O(n^2)。R 包 XICOR 落地 (Chatterjee & Holmes 2020)。

定义 (无 ties 简化版)

把样本 (X_1,Y_1),\ldots,(X_n,Y_n) 按 X 升序重排得 (X_{(i)},Y_{(i)}), 令 r_i = \#\{j : Y_{(j)} \le Y_{(i)}\} 为 Y 在该重排中的秩。Chatterjee 系数定义为

\xi_n(X,Y) \;=\; 1 \;-\; \frac{3 \sum_{i=1}^{n-1} |r_{i+1}-r_i|}{n^2-1}. 有 ties 时改用 \ell_i = \#\{j : Y_{(j)} \ge Y_{(i)}\} (并在 X 的 ties 中随机打破), 定义为 \xi_n(X,Y) = 1 - \frac{n \sum_{i=1}^{n-1} |r_{i+1}-r_i|}{2 \sum_{i=1}^{n} \ell_i(n-\ell_i)}. 无 Y 的 ties 时分母化为 n(n^2-1)/3, 回到上式。所有计算基于秩, 故对 X, Y 的严格单调变换不变, 且 O(n \log n) 即可得到。

一致性定理 (Theorem 1.1)

Theorem 1.1. 若 Y 非常数, 则当 n\to\infty 时 \xi_n(X,Y) 几乎处处收敛到确定极限 \xi(X,Y) \;=\; \frac{\int \mathrm{Var}\bigl(\mathbb E[\mathbf{1}_{\{Y\ge t\}}\mid X]\bigr)\, d\mu(t)}{\int \mathrm{Var}\bigl(\mathbf{1}_{\{Y\ge t\}}\bigr)\, d\mu(t)}, 其中 \mu 是 Y 的分布。该极限取值 [0,1]: 为 0 iff 独立, 为 1 iff 存在可测 f 使 Y=f(X) a.s.。

注: 与 Pearson/Spearman/Kendall 关键区别——0 真的等价于独立 (Pearson 的 0 只是"无线性相关"), 而 1 真的等价于函数关系 (MIC 与 maximal correlation 即使在噪声关系下也可达到 1)。

独立假设下的渐近正态 (Theorem 2.1–2.3)

Theorem 2.1. 若 X \perp\!\!\!\perp Y 且 Y 连续, 则 \sqrt{n}\,\xi_n(X,Y) \xrightarrow{d} N(0, 2/5).

Theorem 2.2 把结果推广到任意离散 Y (Bernoulli(1/2) 时 \tau^2=1 而非 2/5)。Theorem 2.3 给出 \tau^2 的数据驱动估计量, 计算时间 O(n\log n), a.s. 收敛。

数值验证 (n=20 时 histogram 与渐近密度已高度吻合; n=1000 几乎完全贴合, 见 Figure 3)。

关键性质速览

功效对比 (Section 4.3, n=100, 500 次模拟)

核心结论: \xi_n 在振荡型 (W-shaped / Sinusoid) 与 step function 信号下功效最强或接近最强; 在光滑非振荡信号 (linear / circular / heteroskedastic) 下功效明显低于 dCor / MIC / HSIC / HHG——这是作者列出的唯一缺点。计算速度上 \xi_n 快出几个数量级, 是唯一能在样本量达数千时于合理时间内算完的统计量 (但它用闭式渐近检验而非 permutation test)。

在金融/数据科学中的应用前景

1. 特征筛选: 与 dCor / MIC 一起作为非线性特征与目标独立性测试的默认三选, 在金融因子筛选 / 截面特征工程中替换或补充 Pearson。
2. Lead-lag 网络: 配合 Bennett-Cucuringu-Reinert (2022) 的 pairwise dependence 框架, 用 \max\{\xi(X,Y),\xi(Y,X)\} 替代 dCor——计算快几个数量级, O(n\log n) vs O(n^2), 且保留"非对称 = 有引线滞后方向"的语义。
3. 非参数因果发现: \xi 的不对称性直接编码 "Y 是否为 X 的函数" 这一方向性, 适合用于 lead-lag / Granger-like 结构推断 (Azadkia-Chatterjee 2019 已扩展出多变量 / 条件依赖版本)。
4. 重尾收益序列: 基于秩, 不受极端 outlier 影响 (与 Cont 2001 重尾实证互补)。

局限 / Open Questions

• 小样本偏差: Remark 9, 无 ties 时最大可能值仅 (n-2)/(n+1) (n=20 时 ~0.86), 用绝对阈值需校正。
• 强负相关检测弱: i.i.d. 假设下 \xi \in [0,1]; 但非 i.i.d. (时序 / 强反相关) 时 \xi_n 可负至 -1/2。需要判断样本是否 i.i.d. 后再用。
• 对称化版本 max(ξ(X,Y), ξ(Y,X)) 渐近分布未证明 (Remark / Section 2)。
• A 股 / 国内期货横截面回归: 是否能用 \xi 替代 Pearson 做 IC 计算, 在 A 股截面强非线性 (涨跌停 / 动量反转) 下提升因子筛选?
• lead-lag 网络: 与本 wiki 现有的 Cross-Correlation Functional (ccf-auc, ccf-lag1) / Distance Correlation (Székely 2007) 做 head-to-head 实证, 比较美股 / A 股的 Sharpe 与计算时间。
• 条件依赖版本 (Azadkia-Chatterjee 2019) 在因子条件独立性测试中的应用。

Wiki 触及页面 (本轮 3 个新页)

• wiki/concepts/models-theory/XICOR — Chatterjee ξ Coefficient.md — 主概念页
• wiki/entities/Chatterjee 2019 A New Coefficient of Correlation.md — 论文 entity
• wiki/entities/Sourav Chatterjee.md — 作者 entity

回链现有页: Distance Correlation (Székely 2007) / Lead-Lag Detection / Cross-Correlation Functional (ccf-auc, ccf-lag1) / Lead-Lag Equity Forecasting / Microstructure Noise / Hermitian Spectral Clustering — XICOR 是 lead-lag 网络中 dCor 的自然快速替代, 也填补 wiki 现有的"rank-based dependence measure"空缺。

Asset class: cross-asset (理论工具, 不限于特定资产) 归类: Models & Theory (主) — 与 Distance Correlation (Székely 2007) / MIC / Hermitian Spectral Clustering 同级