粒子滤波与平滑的教程：十五年后.md

粒子滤波与平滑的教程：十五年后

• 初稿 1.0 - 2008 年 4 月
• 当前 1.1 - 2008 年 12 月

摘要

非线性非高斯状态空间模型的最优估计问题通常求不出解析解。自 1993年 问世以来，粒子滤波方法已成为一类非常流行的算法，可以在线地（即随着观测值的获得而迭代地）以数值方式解决这些估计问题。如今粒子滤波已广泛用于计算机视觉，计量经济学， 机器人学与导航问题。本教程的目的是提供截至 2008 年该领域最新、最完整的介绍。包括用于过滤以及平滑的基本和高级粒子滤波算法。

关键词：中心极限定理、滤波、隐马尔科夫模型、马尔科夫链蒙特卡洛、粒子方法、重采样、序贯蒙特卡洛、平滑、状态空间模型

1 概述

2.1 节概述了一般状态空间的隐马尔可夫模型，为建立时间序列模型提供了一个非常灵活的框架。这些模型的超强描述能力是以处理难度为代价的：除了少数特别简单的情况，不可能获得对感兴趣的推理问题的解析解。本教程介绍的“粒子”方法是过去十五年中（译者注：1993~2008）开发出来的，在今天广泛且流行的蒙特卡洛算法，以为这些棘手的推理问题提供近似解。

1.1 初步说明

自从 1993 年引入粒子滤波器 [22] 以来，粒子滤波器已经成为解决非线性非高斯场景中最优估计问题的一种非常流行的数值方法。与标准的近似方法（例如流行的扩展卡尔曼滤波器）相比，粒子方法的主要优点是它们不依赖于任何局部线性化技术或任何粗函数近似。这种灵活性必须付出计算上的代价：这些方法计算开销极大。但是，有赖于可用算力的不断提高，因此这些方法已经用于各种实时应用领域，包括化工，计算机视觉，金融及计量经济学，目标跟踪和机器人学等。此外，即使在无实时性约束的场合，这些方法也可以成为马尔科夫链蒙特卡洛（MCMC）算法的有力替代——或者，用它们来设计效率极高的 MCMC 方案。

由于粒子方法的流行，一些关于该主题的教程已经出版 [3, 8, 18, 29]。最受欢迎的 [3] 可以追溯到 2002 年，就像2001 年的修订本 [16] 一样，现在已经有些过时了。本教程与以前发布的教程有两个不同之处。首先，显然：截至2008 年 12 月，这是该主题的最新教程，因此有可能包含一些有关用于过滤和平滑的高级粒子方法的最新材料。其次，更重要的是，本教程并非旨在成为一本字典。为此，所有算法都在一个简单的统一框架中提出。特别是，我们会展现基本上所有用于粒子滤波的基本方法和高级方法都可以重新解释为单个通用序贯蒙特卡洛（SMC）算法的一些特殊实例。我们认为，该框架不仅优雅，而且可以发展对粒子方法的更好的直观和理论理解。本文还展示了基本上任何粒子过滤器都可以使用简单的计算框架来实现，例如 [24] 提供的框架。彻底的初学者在阅读本教程之前，先阅读 [17] 可能有帮助，该书提供了对该领域的基本介绍。

1.2 教程的组织结构

本文的其余部分组织如下。在第 2 节，我们提出了隐马尔可夫模型和相关的贝叶斯递归来进行滤波和平滑分布。在第 3 节，我们介绍了一种通用 SMC 算法，该算法可从任何概率分布序列中提取加权样本。在第 4 节，我们将展示如何将文献中开发的所有（基本和高级）粒子滤波方法解释为第 3 节中介绍的通用 SMC 算法的特殊实例。第 5 节专门介绍粒子平滑，第 6 节中提到了一些未解决的问题。

2 隐马尔可夫模型中的贝叶斯推理

2.1 隐马尔可夫模型和推理目标

考虑一个关于 $X$ 的离散时间马尔可夫过程 ${X_{n}}_{n \geq 1}$ 满足

$$X_1 \sim \mu(x_1)\ and\ X_n|(X_{n-1}=x_{n-1}) \sim f(x_n|x_{n-1})$$

其中 $\sim$ 表示分布服从，$\mu(x)$ 是一个概率密度函数，而 $f(x|x')$ 表示从 $x'$（状态）迁移到 $x$（状态）的概率密度。所有的密度都是关于一个主要的测量，我们把它表达为一个烂俗的符号 $dx$。我们希望能估计 ${X_n}{n \geq 1}$，但只能获得关于 $Y$ 的过程 ${Y_n}{n \geq 1}$。我们假设，若给定 ${X_n}{n \geq 1}$，观测值 ${Y_n}{n \geq 1}$ 在统计上是独立的，其边际密度（相对于主导度量 $dy_n$）由下式给出：

$$Y_n|(X_n-x_n) \sim g(y_n|x_n)$$

为了简单起见，我们在这里只考虑了平稳情况；也就是说，转移和观测分布与时序号 $n$ 无关。很容易扩展到非平稳情况。这里假设所有的模型参数都是已知的。

与 $(1)(2)$ 兼容的模型称为隐马尔可夫模型（HMM）或一般状态空间模型（SSM）。此类包括许多有趣的模型。 后面的示例说明了可以在此框架内处理的几个简单问题。 还可以考虑更复杂的方案。

---

示例 1 -

示例 2 -

示例 3 -

示例 4 -

---