graphical-modelpartial-correlationprecision-matrixggmsmall-n-large-pnetwork-inferencefdr

Graphical Gaussian Models (图形高斯模型 / GGM)

Definition. 图形高斯模型 (GGM)，又名 covariance selection 或 concentration graph model：在多元正态假设下，p 个变量的条件独立图与精度矩阵（precision matrix）\Sigma^{-1} 一一对应——\Sigma^{-1}_{ij} = 0 当且仅当变量 i,j 在其余变量条件下独立。图 \mathcal G 的边由 partial correlation \widetilde\rho_{ij} = -\Sigma^{-1}_{ij}/\sqrt{\Sigma^{-1}_{ii}\Sigma^{-1}_{jj}} 的非零集决定。这是 partial correlation 与精度矩阵建模的统计底层，与 quant 的因子暴露网络、跨资产相关性网络、风险溢出网络直接同构。

边与条件独立的等价

flowchart LR
    X["变量 X_i, X_j<br/>+ 其余 p-2 个变量"] --> R["精度矩阵 Σ⁻¹<br/>partial corr ρ̃_ij = -Σ⁻¹_ij / √(Σ⁻¹_ii·Σ⁻¹_jj)"]
    R --> E{"ρ̃_ij = 0 ?"}
    E -->|"yes"| NO["X_i ⊥ X_j | 其余<br/>无 GGM 边"]
    E -->|"no"| YES["GGM 边<br/>条件相关"]
    NO --> NET["稀疏关联网络"]
    YES --> NET

区别于 relevance network（边 = |\rho_{ij}| 超过阈值，捕捉边际相关），GGM 边捕捉直接条件依赖，避免把"两变量都跟第三个变量相关"的传递性误判为连接。在基因网络（Schäfer-Strimmer 2005）、跨资产溢出（CCM/Granger 风格的关联网络）、风险因子 loading 网络中应用同样适用。

小样本 n \ll p 的三大难题与 Schäfer-Strimmer (2005) 路线

经典 GGM 理论（Whittaker 1990）假设 n \gg p。n \ll p 时出现三联问题：

  1. \mathbf S 不可逆 → partial correlation Eq. 12 无法直接用 Moore-Penrose 替代。
  2. pseudo-inverse 替代方案 → 在 n = p 处出现"维度共振"伪迹（Schäfer-Strimmer 2005 Fig. 2 复现）。
  3. bootstrap 聚合（Schäfer–Strimmer 2005a）虽然稳定但 O(p^2) × 500 bootstrap 重采样，p = 10^3 时不可承受。

SS05 给出的完整路线：

flowchart LR
    S["样本协方差 S<br/>n<<p 时奇异"] -->|"LW (2003) 解析<br/>λ* 公式代入"| STAR["收缩协方差 S*<br/>target D<br/>总是正定"]
    STAR -->|"Σ*⁻¹ 数值稳定"| PART["partial corr ρ̃_ij<br/>Hotelling 1953 精确零分布"]
    PART -->|"empirical-Bayes<br/>mixture (Efron locfdr)"| FDR["边级 local fdr"]
    FDR -->|"阈值 0.2"| NET["GGM 边集合<br/>网络拓扑"]

复杂度 O(p^2)，与 S 同阶；p = 10^4、n = 20 都可在数秒内完成（SS05 §3.5 实测 p=102, n=8 几分钟）。

lasso 路径 / GGM（Meinshausen-Bühlmann 2005 对照）

把每个节点 X_i 对其余 p-1 变量做 lasso 回归，逐节点 sparsity \Rightarrow GGM 边 = 双方回归系数都非零。优势：单节点稀疏，可并行；劣势：

  • 结构性 hub 排除：每个节点 out-degree 受 \ell_1 范数限制，E. coli 数据中 sucA 这种度数十几的 hub 被压制。
  • PPV 失控：SS05 Fig. 3b lasso 路径 PPV ≈ 0.2（在所有 n 下），而 shrinkage GGM PPV ≈ 0.9。
  • ad-hoc 调 \alpha（SS05 用 \alpha = 0.05，即"两连通分量虚假连接的概率"），对图结构假设较强。

量化金融对应

GGM 概念族在 quant 中以多种面貌出现，全部共享 SS05 的 n \ll p 困境：

Quant 场景 GGM 类比 边 =
跨资产溢出网络（concepts/跨资产溢出矩阵与 SDF 估计） p = 资产数，n = 时序长度 条件 Granger / partial corr 因非零
因子 loading 网络（暴露相似图） p = 股票，n = 月度收益 两股票条件独立于其余因子？
风险因子聚类（Hermitian Spectral Clustering） 在 GGM 邻接矩阵上做谱聚类 同 cluster 内部精度大
配对交易 / Pairs Trading partial correlation 替代 Pearson 协整 + 条件独立
资产图 / Graph Embedding（concepts/Recos (Rearrangement-Cosine Similarity)） 在 \mathbf\Sigma^{-1} 上做谱嵌入 embedding 距离

SS05 §4 末句直接指认 "small n, large p" covariance estimation problems have recently arisen also in computational econometrics. Specifically, the inference and modeling of large financial networks requires methods akin to those for gene relevance and association networks"——把本文方法直接当作 quant 因子网络的协方差稳定入口是合法的。

局限与对照

  • 正态假设：GGM 数学性质依赖正态；非正态/重尾下需 bootstrap（SS05a）或 copula 改造（Genest-Favre 2007）。
  • 稀疏假设：\eta_A \approx 0.04 时 PPV ≈ 0.9；密集网络（\eta_A > 0.3，如因子 loading）需要换 fdr 阈值或换 lasso 族。
  • target D 过度收缩强正相关：A 股行业因子间典型 \rho > 0.6，target D 把这些缩到 0；target F（constant correlation，LW 2003 用）更适合典型股票协方差。
  • p > n 时部分损失函数不可用：Stein 损失、对称 KL 在 p > n 时涉及无法观测的总体零特征值，应避免；Frobenius 损失安全。

量化版操作清单（SS05 → quant 网络）

  1. 选 target：股票相关矩阵默认 target F（LW 2003）；行业因子相关用 target D。
  2. 用 LW (2003) Eq. 6 闭式算 \widehat\lambda^\star（分子 = \overline{\mathrm{Var}(r_{ij})}，分母 = \overline{(r_{ij})^2}，皆经验量的均）。
  3. 收缩 S \to S_\star，取 \Sigma^{-1}_\star 作 partial correlation。
  4. 边级 fdr 阈值 0.2（Efron 2005b）—稀疏网络时 PPV ≈ 0.9；若密集网络，改用 Benjamini-Hochberg FDR + 选择性 hub 过滤。
  5. 在 GGM 邻接上做后续谱方法（Hermitian Spectral Clustering / Lead-Lag Detection）。

See also