Chatterjee (2019) — A New Coefficient of Correlation

Title. A New Coefficient of Correlation

Bibliographic info

• Author: Sourav Chatterjee (Department of Statistics, Stanford University)
• Date: 2019-09-23 (arXiv); published 2021 in JASA
• Venue: Journal of the American Statistical Association 116(536):2009–2019 (DOI 10.1080/01621459.2020.1758115)
• arXiv: 1909.10140
• Pages: 11 (JASA 全文)
• MSC: 62H20, 62H15
• Keywords: Independence; measure of association; correlation; rank-based; nonparametric
• 本地 PDF: raw/papers/201909-a-new-coefficient-of-correlation/paper.pdf
• Funding: NSF grant DMS-1855484

Key contribution

提出新的秩型非线性相关系数 \xi_n, 同时满足三个长期被认为不可调和的性质:

1. 简单 — O(n\log n) 计算 (基于秩 + 一遍扫描)。
2. 真的度量依赖强度 — 极限 \xi(X,Y) = 0 iff X \perp\!\!\!\perp Y, =1 iff \exists f measurable s.t. Y=f(X) a.s.
3. 独立假设下闭式渐近正态 — \sqrt{n}\xi_n \to N(0, 2/5) (任何 Y 连续), 可直接做 p-value, 无需 permutation。

对照: Pearson/Spearman/Kendall 只刻画单调; maximal correlation / MIC 即使在噪声关系下也可达 1; distance correlation 是 O(n^2)。

Main results

Theorem 1.1 — 一致性

\xi_n(X,Y) \xrightarrow{\text{a.s.}} \xi(X,Y) = \frac{\int \mathrm{Var}(\mathbb E[\mathbf 1_{\{Y\ge t\}}\mid X])\, d\mu(t)}{\int \mathrm{Var}(\mathbf 1_{\{Y\ge t\}})\, d\mu(t)}.

极限定理的关键: 没有任何对 (X,Y) 分布的正则性假设 (除 Y 非常数), 离散 / 连续 / 重尾 / 轻尾通吃。

Theorem 2.1 — 独立假设渐近

X\perp\!\!\!\perp Y 且 Y 连续 ⇒ \sqrt{n}\xi_n \xrightarrow{d} N(0, 2/5)。

Theorem 2.2 — 离散推广

X\perp\!\!\!\perp Y (允许 Y 离散) ⇒ \sqrt{n}\xi_n \to N(0, \tau^2(Y)), 其中 \tau^2 是 Y 分布的函数; Y 连续时 \tau^2 = 2/5 (因 F(Y), G(Y) \sim U[0,1]); Y 越离散 \tau^2 越大 (Bernoulli(1/2) 时 \tau^2 = 1)。

Theorem 2.3 — \tau^2 数据驱动估计

\hat\tau_n^2 可在 O(n\log n) 内计算且 a.s. 收敛到 \tau^2, 无需 permutation。

Simulation highlights (Section 4)

Equitability & 噪声稳定性 (Section 4.1, Figure 2)

对 Y = f(X) + \text{noise} 型信号 (三类函数: 线性 / 折点 / 振荡), n=100 时 \xi_n 随噪声线性下降, 表现出 Reshe 2019 意义上的 "equitable" — 同样噪声水平给出类似分数。95% 独立假设阈值约 0.066, 所有 functional 关系都远高于此。

独立假设渐近拟合 (Section 4.2, Figure 3)

• n=20 时 histogram 已与渐近密度高度吻合
• n=1000 时几乎完全贴合
• Uniform 与 Binomial(3,0.5) 两种分布都验证

功效 / 速度对比 (Section 4.3, Figure 5 + Table 2, n=100, 500 次模拟)

速度优势: 在 n=1000 量级, \xi_n 比 HHG 快 ~30 万倍, 是唯一能在数万样本上做 permutation 的统计量。

应用: Galton 豌豆数据 (Section 3)

经典 Galton 父子身高数据, n=700, \xi_n(\text{parent}, \text{child}) \approx 0.50; Pearson r \approx 0.46; Spearman \rho \approx 0.49。三者数量级吻合, 但 \xi_n 表明额外有少量非线性成分。

应用: 酵母基因表达 (Section 5)

Spellman 1998 经典细胞周期振荡数据集 (6223 基因, 23 时间点): \xi_n 把"周期基因"与"非周期基因"的 separation 比 MIC 显著更清晰。

Limitations explicitly stated / observed

• i.i.d. 之外: Remark 9, 时序 / 强反相关下 \xi_n 可负至 -1/2 (非 i.i.d. 信号)。需要判断数据生成机制。
• 小样本天花板: 无 ties 时最大可能值仅 (n-2)/(n+1) (n=20 时 ~0.86), 绝对阈值 (e.g. "\xi_n > 0.5 即强相关") 在小样本下需校正。
• 对称化版本的渐近分布未知 (Section 2 末): max(ξ(X,Y), ξ(Y,X)) 在独立下可能仍是高斯极大值, 但作者未证明; permutation test 仍适用。
• 功效不全胜: 对纯光滑单调信号, HSIC / dCor 功效更高; \xi_n 的真正优势在强非线性 (振荡/折点) 场景。
• MIC 的 "1 iff 函数关系" 反驳 (Section 6): 用反例证明 MIC 即使在噪声很大的非函数关系上也可达 1, 即 MIC 不是好的 "function detector"。

Relation to prior literature

Open questions (forward-looking)

• \xi 的不对称性是否能直接用于 lead-lag 方向性推断 (替代 ccf-lag1 + sign)?
• 条件依赖版本 (Azadkia-Chatterjee 2019) 在因子条件独立性 / PC 算法类因果发现中的应用。
• A 股 / 国内期货截面回归 IC 中用 \xi 替代 Pearson, 是否能提升因子筛选?
• 美股 / A 股 lead-lag 上 \xi vs dCor vs HSIC head-to-head 实证——尤其 p > 1000 时 \xi 的速度优势。

Concepts introduced / referenced

• XICOR — Chatterjee ξ Coefficient — 核心新概念
• Distance Correlation (Székely 2007) — 同族对照, wiki 现有
• Lead-Lag Detection / Lead-Lag Equity Forecasting — 金融应用方向
• Cross-Correlation Functional (ccf-auc, ccf-lag1) — lead-lag 主流 metric
• Microstructure Noise — 非线性 / 重尾源头

Related entities

• Sourav Chatterjee — 唯一作者
• (待收录) Azadkia-Chatterjee 2019 — 多变量 / 条件依赖扩展

Sources

• summaries/201909-a-new-coefficient-of-correlation/201909-a-new-coefficient-of-correlation — (2026-09-01) 中文摘要
• 原文: Journal of the American Statistical Association 116(536):2009–2019; arXiv:1909.10140
• 本地 PDF: raw/papers/201909-a-new-coefficient-of-correlation/paper.pdf