XICOR — Chatterjee ξ Coefficient
Definition. Chatterjee (2019, 2021 JASA) 提出的秩型非线性相关系数 \xi_n(X,Y) \in [-1/2, 1], 同时满足 (a) 简单 (O(n\log n)) / (b) 真的度量依赖 (0 iff 独立, 1 iff Y=f(X) a.s.) / (c) 独立假设下闭式渐近 N(0, 2/5n)。是 wiki 现有 Distance Correlation 的快速、方向化对位。
定义 (无 ties)
把样本按 X 升序重排为 (X_{(i)}, Y_{(i)}), r_i 是 Y_{(i)} 在该重排中的秩:
\xi_n(X,Y) \;=\; 1 \;-\; \frac{3 \sum_{i=1}^{n-1} |r_{i+1}-r_i|}{n^2-1}. 有 ties 时分母改为 n^2 - \sum_i \ell_i^2/n, 其中 \ell_i = \#\{j : Y_{(j)} \ge Y_{(i)}\}。 ## 一致性定理 (Chatterjee 2021, Theorem 1.1) > 若 Y 非常数, 则 \xi_n \to \xi(X,Y) a.s., 其中 > \xi(X,Y) \;=\; \frac{\int \mathrm{Var}\bigl(\mathbb E[\mathbf 1_{\{Y\ge t\}}\mid X]\bigr)\, d\mu(t)}{\int \mathrm{Var}\bigl(\mathbf 1_{\{Y\ge t\}}\bigr)\, d\mu(t)}.
0 iff X\perp\!\!\!\perp Y; 1 iff \exists f measurable s.t. Y = f(X) a.s.。
核心意义: 这是第一个同时满足 "0 ↔ 独立" + "1 ↔ 函数关系" + "闭式渐近正态" 三条性质的系数。
关键性质速查表
| 性质 | Pearson \rho | Spearman \rho | Distance correlation | MIC | Chatterjee \xi |
|---|---|---|---|---|---|
| 0 iff 独立 | 否 (无线性) | 否 (无单调) | 是 | 否 | 是 |
| 1 iff Y=f(X) | 否 | 否 | 否 | 否 | 是 |
| 闭式独立渐近 | N(0,1/n) 需正态 | 需连续 | 有 | 无 | N(0,2/5n) 任何分布 |
| 复杂度 | O(n) | O(n\log n) | O(n^2) | O(n^{1.5}) | O(n\log n) |
| 重尾鲁棒 | 弱 | 中 | 强 | 中 | 强 (秩型) |
| 对称性 | 对称 | 对称 | 对称 | 对称 | 不对称 (可定向) |
独立假设下的渐近分布
- Y 连续: \sqrt{n}\,\xi_n \to N(0, 2/5), 与分布无关。
- Y 离散: \sqrt{n}\,\xi_n \to N(0, \tau^2(Y)), 其中 \tau^2 由 \mathbb{E}[\phi(Y,Y')\phi(Y,Y'')\phi(Y',Y'')] 类公式给出; Y 越离散 \tau^2 越大 (Bernoulli(1/2) 时 \tau^2=1)。Theorem 2.3 给出 O(n\log n) 数据驱动估计。
- 功效: n=100 时 histogram 已高度吻合渐近密度 (Figure 3); n=1000 几乎完全贴合。
在金融 lead-lag / 特征筛选中的角色
- Lead-lag 网络 pairwise dependence: Bennett-Cucuringu-Reinert (2022) 在美股日收益上用 dCor + ccf-auc (lag 5) 拿到 Sharpe 0.62。复杂度对比: dCor O(n^2) vs \xi O(n\log n)——在 p=434, T=5000 量级两者都可接受, 但 p 到 A 股 ~5000 时 O(p^2 T^2) 不可行, \xi 仍能落地。
- 方向性: \xi(X,Y) 不对称, 适合"是否 Y 由 X 推动"的有向推断, 替代或补充现有的 ccf-auc (后者用 sign-of-corr 模拟方向性, 但本质上对称度量)。
- 非线性: 美股日收益 linear cross-correlation 极低 (信噪比差), Pearson 失效; Microstructure Noise + 波动率 lead-lag 比收益 lead-lag 强 5-10x (Billio 2012) 均为非线性现象。\xi 与 dCor / HSIC 同为非线性族, 但唯一带闭式渐近。
- 振荡型信号最强: Section 4.3 仿真在 sinusoid / W-shaped / circular 三类上功效显著高于 HSIC/MIC/HHG, 对应金融里"周期性 regime / 月度效应 / 季节性"信号。
邻近概念
- Distance Correlation (Székely 2007) — 同为"非线性 + 鲁棒", 但 O(n^2) 且无闭式正态; \xi 是其快速方向化对位
- Cross-Correlation Functional (ccf-auc, ccf-lag1) — lead-lag 主流 metric (对称, 配合 sign 模拟方向)
- Lead-Lag Detection — 上游应用
- Hermitian Spectral Clustering — 下游聚类 (用 pairwise dep matrix 喂入)
- Lead-Lag Equity Forecasting — Bennett 2022 Sharpe 0.62 信号
- Microstructure Noise — 非线性 / 重尾的源头
局限 (Chatterjee 自己点出)
- 小样本最大值仅 (n-2)/(n+1) (n=20 时 ~0.86), 绝对阈值需校正。
- i.i.d. 之外可负至 -1/2: 时序 / 强反相关数据下 \xi_n < 0, 不是 bug 而是 "样本不像 i.i.d." 的信号; 用户需先判断数据生成机制。
- 对称化版本 max(ξ(X,Y), ξ(Y,X)) 渐近分布未证明, 实际应用中可用 permutation。
- 不替代 Pearson: 对纯线性信号, Pearson 功效与解释力更强; \xi 的真正优势在强非线性场景。
工具
- R 包 XICOR (Chatterjee & Holmes 2020, CRAN):
xicor(X, Y, pvalue = TRUE)——直接计算 \xi_n + 渐近 p-value。 - 多元 / 条件依赖扩展: Azadkia-Chatterjee (2019, arXiv:1910.12327) 给 \xi 的多变量与条件依赖版本, 用于条件独立性 / 因果发现。
Open Questions
- A 股 / 国内期货截面回归 (IC 计算) 中用 \xi 替代 Pearson, 是否能提升因子筛选功效? (尤其 A 股涨跌停 / 强反转结构下)
- 与 Cross-Correlation Functional (ccf-auc, ccf-lag1) / Distance Correlation (Székely 2007) 在美股 / A 股 lead-lag 上的 head-to-head 实证——尤其是 p 突破 1000 时 \xi 的速度优势能否转化为更宽的 universe。
- \xi 的不对称性是否真能给出比 ccf-lag1 + sign 更稳健的 lead-lag 方向性?
- 条件依赖版本 (Azadkia-Chatterjee 2019) 在因子条件独立性 / 因果发现 (PC 算法类) 中的应用。
起源 / 标准文献
- Chatterjee, S. (2021). A New Coefficient of Correlation. Journal of the American Statistical Association 116(536):2009–2019. (arXiv:1909.10140, 2019-09-23)
- Chatterjee, S. & Holmes, S. (2020). XICOR: Association measurement through cross rank increments. R package, CRAN.
- Azadkia, M. & Chatterjee, S. (2019). A simple measure of conditional dependence. arXiv:1910.12327. — 多变量 / 条件依赖扩展
- Székely, G., Rizzo, M. & Bakirov, N. (2007). Measuring and testing dependence by correlation of distances. Annals of Statistics 35(6):2769–2794. — dCor 原始论文