dirichletgamma-constructionvariance-sharemathematical-foundationstub

Dirichlet Distribution

Definition. 概率单纯形 (probability simplex) \{(s_1, \ldots, s_n) : s_i \ge 0, \sum s_i = 1\} 上的连续分布, 是 categorical / multinomial 的 conjugate prior。参数 (\alpha_1, \ldots, \alpha_n) 控制形状, \alpha = 1 是 uniform, \alpha < 1 是 sparse, \alpha > 1 是 dense。Level-Independent Diffusion Baseline (3n(n+2)) 论文的 HHIt Proposition 1 证明中, 关键步骤 是从 Z_j^2 \sim \text{Gamma}(1/2, 2) 推出 variance share 序列 \sim \text{Dirichlet}(1/2, \ldots, 1/2)。

Gamma-to-Dirichlet 构造

如果 G_1, \ldots, G_n 独立 \sim \text{Gamma}(\alpha_i, \theta) (common scale \theta), 则

\left( \frac{G_1}{\sum_k G_k}, \ldots, \frac{G_n}{\sum_k G_k} \right) \sim \text{Dirichlet}(\alpha_1, \ldots, \alpha_n) 这正是 HHIt 论文 Proposition 1 证明的 Step 3: Z_j^2 \sim \chi^2_1 = \text{Gamma}(1/2, 2) → (s_1, \ldots, s_n) \sim \text{Dirichlet}(1/2, \ldots, 1/2)。 ## 数学性质 - \text{Dirichlet}(\alpha, \ldots, \alpha) (symmetric case) 的二阶矩: E[s_j^2] = \frac{\alpha(\alpha+1)}{\alpha_0(\alpha_0+1)}, \quad \alpha_0 = n\alpha

  • HHIt 论文代入 \alpha = 1/2, \alpha_0 = n/2: E[s_j^2] = \frac{(1/2)(3/2)}{(n/2)(n/2+1)} = \frac{3}{n(n+2)}
  • E[\text{HHI}_t] = n \cdot E[s_j^2] = \frac{3}{n+2}, 与 \sigma_t 无关 — Proposition 1 的核心。

关键文献