Mean-field 推断 \quad 我们开发variational inference的下一步是选择近似族 \mathcal Q 的选择。 机器学习文献包含了数十种参数化这类分布的建议，这些包括指数族、神经网络、高斯过程、 …

How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large …

动机变分推断（Variational Inference, VI）是贝叶斯近似推断方法中的一大类方法，将后验推断问题巧妙地转化为优化问题进行求解，相比另一大类方法马尔可夫链蒙特卡洛方法（Markov …

变分推理是一种确定式的（deterministic）近似推理（approximate inference）方法。 近似推理简单地说就是一种用来近似一个计算复杂（intractable）的分布或者至少获得目标分布的一些统 …

而这一概率通常难以计算，之前我们提到了利用MCMC马尔科夫链蒙特卡洛算法做近似，但是对于大量数据， MCMC算法 计算较慢，变分推断 (Variational Inference)就为我们提供了一种更快 …

Jan 27, 2025 · 为了应对这一挑战， 变分推理 （Variational Inference，VI）应运而生。 变分推理的核心思想是： 1）假设一个简单的分布 q (Z) ，该分布易于计算； 2）通过调整该分布的参 …

在变分推断中，变分族（variational family）的概念对于理解整个框架至关重要。 变分族指的是一组潜在变量分布的集合，这些分布用于近似真实后验分布。

最近学习了David Blei的"Variational Inference: Foundations and Innovations"，在这里记录下主要的内容。 课程主要包括三大部分： Foundations of Variational Inference: Conditionally …

至此，整个variational inference (VI)的框架就结束了，而算法的发展就是围绕这个框架的每一个环节，每做一步改进（变化），就可以生成一个新的算法（paper）。

变分推断（Variational Inference）是一种近似推断方法，它通过优化一个简单的分布 q (z) 来近似后验分布 p (z|x) 。 假设存在一个分布的族 Q 刻画了所有关于 z 的分布，那么 q (z) \in Q 和 p …