GMM

Clustering/GMM.md

@@ -17,4 +17,19 @@ $$
 p(x \mid z = k) = \mathcal{N}_k(x)
 $$
 
-而 $z$ 并非是观测出来的值，因此我们称其为隐变量（latent variable）。
+考虑 $z$ 和 $x$ 是 iid 的，因此其联合分布可以写作：
+
+$$
+p(x, z)
+= p(x \mid z) p(z)
+$$
+
+而 $z$ 并非是观测出来的值，因此我们称其为隐变量（latent variable）。
+
+考虑我们有 $k$ 个高斯分布，我们需要知道我们怎么混合这个高斯分布。我们可以用 $\phi$ 表示，即我们可以认为 $\phi_j$ 为数据点属于第 $j$ 个高斯分布权重，假设有 3 个高斯分布，且 $\phi = [0.3, 0.5, 0.2]$，则数据点属于第 1 个高斯分布的概率为 0.3，属于第 2 个高斯分布的概率为 0.5，属于第 3 个高斯分布的概率为 0.2。$\phi$ 控制着各个高斯分量在混合模型中的"比重"，实际上定义了多项分布（Multinomial）的参数，这个分布用于随机选择使用哪个高斯分量。即：
+
+$$
+z \sim \text{Multinomial}(\phi) \text{ where }\sum ^k _{j=1 } \phi_j = 1
+$$
+
+