PRML 学习笔记（二）- 概率分布 (Probability Distributions)

二、概率分布 (Probability Distributions)

参数方法 (Parametric method)：

• 预先假设数据服从一个特定的分布

非参数方法 (Nonparametric method)：

• 数据的分布依赖于数据集的大小，且仅有控制模型复杂度的参数

共轭先验 (Conjugate prior)：

• 使后验分布具有与先验分布相同的函数形式，进而简化贝叶斯分析

2.1 二元变量 (Binary Variables)

伯努利分布：

• 概率质量函数：

• 期望推导：

• 方差推导：

二项分布：

2.1.1 贝塔分布 (The beta distribution)

伽马函数 (The gamma function)：

• 定义： $\Gamma(x) \equiv \int_{0}^{\infty} u^{x-1} e^{-u} \mathrm{~d} u$

• 性质：

• $\Gamma(x+1)=x\Gamma(x)$

• $\int_{0}^{1} \mu^{a-1}(1-\mu)^{b-1} \mathrm{~d} \mu=\frac{\Gamma(a) \Gamma(b)}{\Gamma(a+b)}$

贝塔分布 (beta distribution)：

• 定义：

• 性质：

将贝塔分布作为先验分布，则后验分布也将为贝塔分布，这个性质为共轭 (conjugacy)：

共轭先验推导方式：

• 根据似然概率，确定先验分布的大致函数形式（与什么成正比）

• 再通过归一化确定系数

共轭先验 (Conjugate prior)的意义：

• sequential Bayesian inference：得到一个 observation 后，可以算出 posterior；由于选取的是共轭先验，所以 posterior 和原来的 prior 形式一样，可以把该 posterior 当作新的 prior，用于下一个 observation，如此迭代下去。对于 stream of data 的情况，这种方式可以实现 real-time learning

2.2 多元变量 (Multinomial Variables)

若变量的类别有 $K$ 个，则用 $K$ 维向量来表示该变量，例如：

数据定义：

• $\mu_i$ ：变量为第 $i$ 类的概率

• $m_i$ ：原始数据中为 $i$ 类的数据数量

2.2.1 狄利克雷分布 (The Dirichlet distribution)

定义：

共轭先验：

2.3 高斯分布 (The Gaussian Distribution)

一元高斯：

多元高斯：

接下来推导多元高斯的一阶矩、二阶矩以及协方差，推导前需要做如下设定：

• $\boldsymbol{\Sigma}$ 为实对称矩阵，因此可以正交对角化，其中 $\lambda_{i},\mathbf{u}_{i}$ 分别为特征值和特征向量

• 为了接下来推导方便，定义 $y_{i}=\mathbf{u}_{i}^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})$ ，由此可以得到：

• 此处深入一步，推导 $p(\mathbf{y})$ 表达式

首先推导一阶矩 $\mathbb{E}[x]=\boldsymbol{\mu}$ ：

• 令 $\mathbf{z}=\mathbf{x}-\boldsymbol{\mu}$

• 积分中 $(\mathbf{z}+\boldsymbol{\mu})$ 的部分，第一部分根据奇函数消除，第二部分积分为 $1$

接下来推导二阶矩 $\mathbb{E}\left[\mathbf{x} \mathbf{x}^{\mathrm{T}}\right]=\boldsymbol{\mu} \boldsymbol{\mu}^{\mathrm{T}}+\mathbf{\Sigma}$ ：

• 积分式中 $(\mathbf{z}+\boldsymbol{\mu})(\mathbf{z}+\boldsymbol{\mu})^{\mathrm{T}}$ 只需考虑 $\mathbf{z}\mathbf{z}^{\mathrm{T}}$

• 求解 $\mathbf{z}=\sum_{j=1}^{D} y_{j} \mathbf{u}_{j}$ ，进而推出 $\mathbb{E}\left[\mathbf{x} \mathbf{x}^{\mathrm{T}}\right]=\boldsymbol{\mu} \boldsymbol{\mu}^{\mathrm{T}}+\mathbf{\Sigma}$ ，下式积分坐标转换采用雅可比行列式的方法， $U$ 为正交矩阵，行列式绝对值为 $1$

最后可以直接求出：

不同协方差矩阵对应的图像：

多元高斯特点：

• 参数太多，计算复杂

• 单峰函数，难以建模多峰函数，但可以进行扩展来支持多峰

• introducing discrete latent variables (Gaussian Mixtures model)

• introducing continuous latent variables (Linear Dynamic System)

2.3.1 条件高斯分布 (Conditional Gaussian distributions)

本章重点：证明 $p(\mathbf{x_a,x_b})$ 为高斯分布时， $p(\mathbf{x_a|x_b})$ 也是高斯分布

前提准备：

• $\mathbf{x}\sim\mathcal{N}(\mathbf{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})$ ，将 $\mathbf{x}$ 如下划分：

• 将 $\boldsymbol{\mu},\boldsymbol{\Sigma}$ 进行相同分解：

• 定义精度矩阵 (precision matrix)：

证明 $p(\mathbf{x_a|x_b})$ 也是高斯分布：

• 下式可以表示为 $\mathbf{x_a}$ 的二次型，由此得证

接下来需要求解 $p(\mathbf{x_a|x_b})$ 的均值与协方差矩阵，这里可以使用如下技巧 (completing the square)，即求解二次项与一次项的系数：

由此求出均值与协方差矩阵如下：

将精度矩阵用原始协方差矩阵代替，则需要应用下述分解方式，其中 $\mathbf{M}^{-1}$ 为矩阵的 Schur complement：

由此最终得到：

观察上述均值与方差，可得到如下结论：

• $p(\mathbf{x_a}|\mathbf{x_b})$ 的均值是 $\mathbf{x_b}$ 的线性函数

• $p(\mathbf{x_a}|\mathbf{x_b})$ 的方差与 $\mathbf{x_b}$ 无关

• 由此 $p(\mathbf{x_a}|\mathbf{x_b})$ 是线性高斯 (linear-Guassian) 模型

2.3.2 边缘高斯分布 (Marginal Gaussian distributions)

求解 $p(\mathbf{x_a})=\int p(\mathbf{x_a},\mathbf{x_b})d\mathbf{x_b}$ 的概率分布。

与条件高斯分布的过程一致，先只关注 $p(\mathbf{x_a},\mathbf{x_b})$ 指数项中包含 $\mathbf{x_b}$ 的部分：

由此对 $x_b$ 积分如下 (忽略常数)：

对 $x_b$ 积分结束后，再次关注 $p(\mathbf{x_a},\mathbf{x_b})$ 指数项中包含 $\mathbf{x_a}$ 的部分：

采用与条件高斯推导一样的方式，求出均值与协方差矩阵如下：

利用矩阵的 Schur complement，将精度矩阵用原始协方差矩阵代替：

总结一下：

• 条件高斯分布 (Conditional Gaussian distribution)：

• 边缘高斯分布 (Marginal Gaussian distribution)：

• 举例图示：

2.3.3 高斯变量的贝叶斯定理 (Bayes’ theorem for Gaussian variables)

本节主要目的是根据给定的高斯分布 $p(\mathbf{x}),p(\mathbf{y|x})$ ，求出 $p(\mathbf{x},\mathbf{y}),p(\mathbf{y}),p(\mathbf{x|y})$ 。

首先给出已知先验与似然：

定义 $\mathbf{x},\mathbf{y}$ 的联合 $\mathbf{z}=(\mathbf{x}\ \mathbf{y})^{\mathrm{T}}$ ，进行 $p(\mathbf{x},\mathbf{y})$ 的求取，依旧只关注指数内的一次项与二次项：

提取指数中的二次项，得到：

提取指数中的一次项，得到：

因此可以得到 $p(\mathbf{z})$ 的分布：

得到 $p(\mathbf{z})$ 后，可以根据之前对于条件高斯与边缘高斯的探究，得到后验与证据因子分布，总结如下：

2.3.4 高斯极大似然估计 (Maximum likelihood for the Gaussian)

似然函数：

极大似然估计：

检验极大似然估计的期望：

极大似然估计的协方差矩阵与真实情况有偏差 (bias)，因此进行修正：

2.3.5 序列估计 (Sequential estimation)

序列估计：

• 基于在线学习，实时更新模型

Robbins-Monro algorithm (更通用的方法)：

• 对于下述式子，寻找到根 (root) 使 $f(\theta^*)=0$

• 假设 $\mathbb{E}[(z-f)^2\mid \theta]<\infty$， 且 $f(\theta)>0$ 当 $\theta>\theta^*$； 并且 $f(\theta)<0$ 当 $\theta<\theta^*$

• 因此可以使用如下序列迭代求解 $\theta^*$ ：

• 其中 ${a_N}$ 需要满足如下条件：

2.3.6 高斯的贝叶斯推断 (Bayesian inference for the Gaussian)

设随机变量 $x\sim\mathcal{N}(\mu,\sigma^2)$ ，进行高斯的贝叶斯推断。

第一种情况，已知 $\sigma^2$ ，求 $\mu$ 的概率分布 $p(\mu \mid \mathbf{X})$ 。

使用共轭先验的常规做法：

• 写出似然函数

• 仿照似然函数的形式，给出共轭先验的形式，即高斯分布

• 给出后验的形式

此处有一些性质值得我们进行观察，当观测数据 $N=0$ 时，后验的 $\mu_N$ 等于先验的 $\mu_0$ ，后验的 $\sigma_N$ 也等于先验的 $\sigma_0$ ；而当观察数据 $N \rightarrow \infty$ 时，后验的 $\mu_N$ 将等于极大似然估计得到的 $\mu_{\text{ML}}$ ，后验的 $\sigma_N$ 将等于 0，即后验分布变为 $p(\mu=\mu_{\text{ML}} \mid \mathbf{X})=1$ 。具体情况如下图所示，其中 $\mu_0=0,\mu_{\text{ML}}=0.8$ 。

另外，由于似然函数假设数据点之间独立，因此上述贝叶斯推断可以很容易地扩展成在线学习：

This sequential view of Bayesian inference is very general and applies to any problem in which the observed data are assumed to be independent and identically distributed.

接下来是第二种情况，已知 $\mu$ ，求 $\sigma^2$ 的分布，此处令 $\lambda \equiv 1 / \sigma^{2}$ ，其中 $\lambda$ 为精度 (precision)。

依然是相同的套路：

• 写出似然函数

• 因为似然函数中 exp 里只有 $\lambda$ 的一次项，因此用 gamma 分布来表示先验，其中 gamma 分布的期望和方差可以通过积分时将 $b\lambda$ 换元为 $t$ 得到；另外若 $a>0$ ，则函数积分值有限，若 $a\geq 1$ ，则分布有限，且概率存在极大值

• 给出后验形式 $\operatorname{Gam}\left(\lambda \mid a_{N}, b_{N}\right)$ ，其中 $\sigma_{\mathrm{ML}}^{2}$ 可以通过令 $p(\mathbf{X} \mid \lambda)$ 导数为 0 得到

然后是第三种情况， $\mu$ 与 $\lambda$ 均未知时， $p(\mu,\lambda)$ 的分布。此时略为复杂，因此只推导共轭先验的形式，后验的形式也可根据之前的方法继续推出。

• 写出似然函数

• 将与 $\mu$ 和 $\lambda$ 无关的变量均变为常数，得到共轭先验的形式

由于 $p(\mu, \lambda)=p(\mu \mid \lambda) p(\lambda)$ ，刚好对应表达式中的一、二部分，因此整理后得到：

此时 $p(\mu,\lambda)$ 服从 normal-gamma / Gaussian-gamma 分布：

当问题扩展成多变量时 $\mathcal{N}\left(\mathbf{x} \mid \boldsymbol{\mu}, \mathbf{\Lambda}^{-1}\right)$ ，已知 $\mathbf{\Lambda}^{-1}$ ， $\boldsymbol{\mu}$ 分布依然为高斯；但其它两种情况发生了改变。

已知 $\boldsymbol{\mu}$ ， $\mathbf{\Lambda}^{-1}$ 的共轭先验为 Wishart distribution，其中 $\nu$ 为分布自由度：

另外， $\boldsymbol{\mu}$ ， $\mathbf{\Lambda}^{-1}$ 均未知时，共轭先验为 normal-Wishart or Gaussian-Wishart distribution:

最后总结一下：

2.3.7 t-分布 (Student’s t-distribution)

假设 $x\sim \mathcal{N}\left(x \mid \mu, \tau^{-1}\right)$ ，其中 $\mu$ 已知，而 $\tau^{-1}$ 服从 $\operatorname{Gam}(\tau \mid a, b)$ 的分布，则 $x$ 的边缘分布如下：

其中第二步的推导如下：

令 $\nu=2 a, \lambda=a / b$ ，替换上式中的 $a,b$ 后，即可推导出学生分布 (Student’s t-distribution)：

其中 $\lambda$ 被称为 t-分布的精度 (precision)，而 $\nu$ 被称为自由度，其对分布的影响如下：

当 $\nu=1$ 时，t-分布变为柯西分布 (Cauchy)；当 $\nu\rightarrow\infty$ 时，t-分布变为 $\mathcal{N}\left(x \mid \mu, \lambda^{-1}\right)$ 。

t-分布可以看作是无限个高斯分布的组合，这使得 t-分布比起高斯分布在分布图像上 tail 更长，这也使得 t-分布更加鲁棒。由此，基于高斯分布下极大似然的最小二乘法在面对离群点时可能效果较差，可以考虑换成 t-分布。

接下来进行多元变量的 t-分布推导。

回到 $p(x \mid \mu, a, b)=\int_{0}^{\infty} \mathcal{N}\left(x \mid \mu, \tau^{-1}\right) \operatorname{Gam}(\tau \mid a, b) \mathrm{d} \tau$ 式子中，令 $\nu=2a,\lambda=a/b,\eta=\tau b / a$ ，目的是在 $p(x \mid \mu, a, b)$ 中加入高斯分布的 $\lambda$ ，转换后得到：

将 $x$ 扩展成 $\mathbf{x}$ ，得到：

求出积分后得到：

其中 $D$ 为 $\mathbf{x}$ 的维度， $\Delta^2$ 为 squared Mahalanobis distance，具体推导过程如下：

最后，我们求解 t-分布的期望、方差以及最值点：

2.3.8 周期变量 (Periodic variables)

本章以角度 ( $\theta$ ) 为例，讲解如何用高斯分布来度量周期变量。

我们用单位圆上的 $\mathbf{x}=(x_1,x_2)$ 来代表 $\theta$ ，则假设 $\mathbf{x}\sim \mathcal{N}(\boldsymbol{\mu}=\left(\mu_{1}, \mu_{2}\right),\boldsymbol{\Sigma}=\sigma^{2} \mathbf{I})$ ，即：

接下来用极角坐标 $(r,\theta)$ 来代替 $\mathbf{x}$ ，即令 $x_1=r\cos\theta,x_2=r\sin\theta,\mu_1=r_0\cos\theta_0,\mu_2=r_0\sin\theta_0$ ，则高斯分布 exp 中的内容变换为：

令 $m=r_0/\sigma^2$ ， $p(\theta)$ 转换为：

上述即为 von Mises distribution, or the circular normal，其中 $\theta_0,m$ 分别表示均值与浓度参数 (concentration parameter)。如下为分布图：

该分布有两条性质：

• 当 m 很大时，分布图集中在峰值 $\theta_0$ 处

• 当 m 很大时，将变为高斯分布

接下来对该分布进行极大似然估计：

分别对 $\theta_0$ 和 $m$ 求导，可以得到如下估计值：

最后，von Mises distribution 有一个局限，即其是单峰分布；但我们可以通过将多个该分布组合 (mixtures)，来得到能够处理多峰分布的周期变量。

2.3.9 高斯混合 (Mixtures of Gaussians)

高斯混合，即将多个高斯分布线性组合。理论上来说，如果高斯分布的数量足够多，且可以任意调节均值、方差以及线性组合系数，几乎任何连续分布图都可以在任意的精度上拟合出来。

高斯混合 (mixture of Gaussians)：

• $\mathcal{N}\left(\mathbf{x} \mid \boldsymbol{\mu}{k}, \boldsymbol{\Sigma}{k}\right)$ 为混合的一个部分 (component)

• $\pi_{k}$ 为混合系数 (mixing coefficients)，满足 $\sum_{k=1}^{K} \pi_{k}=1$ 与 $0 \leqslant \pi_{k} \leqslant 1$

从贝叶斯推断视角出发：

• 其中 $p(k|\mathbf{x})$ 被称为 responsibilities

从极大似然估计出发：

• 无法直接得到必式解，需要使用迭代求解的优化方法

2.4 指数族 (The Exponential Family)

指数族形式：

• $\mathbf{x}$ 可以是标量或向量

• $\eta$ 是分布的自然参数 (natural parameters)

• $g(\eta)$ 用来标准化分布 $g(\boldsymbol{\eta}) \int h(\mathbf{x}) \exp {\boldsymbol{\eta}^{\mathrm{T}} \mathbf{u}(\mathbf{x})} \mathrm{d} \mathbf{x}=1$

接下来以三个指数族分布进行举例。

首先是伯努利分布 (Bernoulli distribution)：

先关注 exp 中的形式，求出 $\eta$ ：

最后得到指数族的标准形式：

接下来是多项式分布 (multinomial distribution)：

其指数族标准形式如下：

最后是高斯分布 (Gaussian distribution)：

其对应参数为：

2.4.1 极大似然与充分统计量 (Maximum likelihood and sufficient statistics)

上式是指数族分布需要满足的基础条件，对上式等号两边同时对 $\eta$ 求导，则可以得到下式：

进一步化简可以得到 $\eta$ 的表达式：

接下来对于数据 $\mathbf{X}={\mathbf{x_1},…,\mathbf{x_n}}$ 进行极大似然估计：

对 $\eta$ 求导并令其等于 0 后，得到下式：

可以发现对于 $\eta$ 的求解，我们只需要保存 $\sum_{n=1}^{N} \mathbf{u}(\mathbf{x}_{n})$ 的数值，而不用保存整个数据集，因此该数值为指数族分布的充分统计量 (sufficient statistic)。

2.4.2 共轭先验 (Conjugate priors)

In general, for a given probability distribution $p(x|\eta)$ , we can seek a prior $p(\eta)$ that is conjugate to the likelihood function, so that the posterior distribution has the same functional form as the prior.

对于指数族分布，其共轭先验形式如下：

• $f(\boldsymbol{\chi}, \nu)$ 为归一化参数

验证一下上述形式是否成立，似然函数形式：

由此可以得到后验形式：

与先验形式一致，因此上述共轭形式成立。

2.4.3 无信息先验 (Noninformative priors)

在很多情况下，我们都对先验概率的形式一无所知，这时我们倾向于让先验形式对后验分布的影响越小越好，此时的先验就被称为无信息先验 (noninformative prior)。

当参数的取值有界时，可以根据均匀分布制定无信息先验；但当参数的取值无界时，均匀分布则无法归一化，是 improper 的。

但在实际应用中，improper priors 也可以使用，只要对应的后验分布可以归一化。

书中举了两个例子，第一个是已知 $\sigma^2$ 求 $\mu$ 分布的无信息先验 $p \left(\mu \mid \mu_{0}, \sigma_{0}^{2}\right)=\mathcal{N}\left(\mu \mid \mu_{0}, \sigma_{0}^{2}\right)$ ，此时令 $\sigma_0^2\rightarrow \infty$ 则先验不对后验产生影响。

第二个是已知 $\mu$ 求 $\sigma^2$ 的情况，此时先验符合 $\text{Gam}(\lambda|a_0,b_0)$ 分布，令 $a_0=b_0=0$ ，则先验不对后验产生影响，满足无信息先验的条件。

2.5 非参数化方法 (Nonparametric Methods)

参数化方法 (parametric methods)：

• 预先确定好数据分布的函数形式，再根据数据来确定函数中的参数

• 缺点：预先选好的形式对数据的拟合能力可能很差

非参数化方法 (nonparametric methods)：

• 对数据的分布形式不做或做很少的假设

本节从最直观的直方图统计方法引入，介绍非参数化方法：

• 将数据的定义域分为若干个等大的 bins

• 每个 bins 的概率用频率 $p_{i}=\frac{n_{i}}{N \Delta_{i}}$ 来定义

在上图中，绿线为原始数据分布， $\Delta$ 为 bins 选取的大小。不难发现， $\Delta$ 太大和太小都不能很好的拟合数据，大小适中的 $\Delta$ 反而效果好一些。

总结一下，直方图统计法的优缺点：

• 【优点 1】直方图计算出来后，无需再保存原始数据

• 【优点 2】比较方便处理顺序到达的数据 (online learning)

• 【缺点 1】由于每个 bins 区间的左右开闭性，导致分布不连续

• 【缺点 2】如果数据是 D 维，每维开 M 个 bins，则 bins 的数量将达到 $M^D$ ，指数爆炸

在实际中，直方图统计法主要用于在某一两个维度上对数据分布有一个粗糙的直观理解，一般不用于概率分布估计。

但从该方法依然给了我们一些启发：

• 估计某点的概率密度，我们需要考虑该点附近的数据；直方图统计中，bins 的宽度就相当于一个自然平滑参数 (natural smoothing parameter)，对局部区域的空间大小进行了描述

• 在选取自然平滑参数时，太大和太小都不合适

2.5.1 核密度估计 (Kernel density estimators)

根据之前得到的启发，假设一个小区域 $\mathcal{R}$ 包含 $\mathbf{x}$ ，则 $\mathbf{x}$ 落入 $\mathcal{R}$ 的概率为：

进一步地，我们可以求出 $N$ 个数据，共 $K$ 个数据落入 $\mathcal{R}$ 中的概率：

不难发现这是一个二项分布，因此可以直接求出下述期望与方差：

继续观察可以发现，当 $N\rightarrow\infty$ 时， $K/N$ 的分布将聚集在均值 $P$ 的附近，即：

另外，如果区域 $\mathcal{R}$ 足够小，则假设该区域内概率处处相等，令其容量为 $V$ ，得到：

最终，依据两条看似有些矛盾的假设，得到 $p(x)$ 表达式：

• 【假设 1】 $N$ 足够大

• 【假设 2】 $\mathcal{R}$ 容量足够小，即 $V$ 足够小

根据这两条假设，可以衍生出两种非参数估计方法：

• 【方法 1】固定 $K$ ，根据数据确定 $V$ ，即 $K$ 近邻方法 (K-nearest-neighbour technique)

• 【方法 2】固定 $V$ ，根据数据确定 $K$ ，即核方法 (kernel approach)

It can be shown that both the K-nearest-neighbour density estimator and the kernel density estimator converge to the true probability density in the limit $N\rightarrow \infty$ provided $V$ shrinks suitably with $N$, and $K$ grows with $N$ (Duda and Hart, 1973).

本小节主要介绍核方法，即固定 $V$ ，由数据确定 $K$ ，因此首先定义 $k(\mathbf{u})$ 函数 (kernel function / Parzen window)，用于 $K$ 的确定：

进一步地，我们可以根据直接确定 $K$ ：

上述式子思想较简单，即根据有多少个数据落在了以 $\mathbf{x}$ 为中心的各维度为 $h$ 的超几何体内，来确定 $K$ 。其中 $h^D$ 可以当作 $V$ 的度量，因此 $p(\mathbf{x})$ 如下：

但这种直接的度量方法有一个缺点，即在每个超几何体的边界仍然是不连续的，因此可以将 kernel function 改为高斯分布，得到如下模型：

上述模型可以理解为每一个数据点都代表了一个高斯分布，新数据点的概率等于，其它所有数据点对应的高斯分布对其概率的贡献均值。下图中蓝色为高斯 kernel function 的拟合结果，绿色为真实分布。

当然 kernel function 也可以进行修改，只需满足下述两个条件即可：

最后总结下该方法的优缺点：

• 【优点】无需训练集

• 【缺点】需要保存数据集的所有数据

2.5.2 最近邻法 (Nearest-neighbour methods)

固定 K，对于新的数据点不断扩大 V 使得包含 K 个数据，这种方法被称为 K 近邻 (K nearest neighbours)，该方法拟合效果如下：

另外需要注意，K 近邻模型不是真正的概率密度模型，因为在所有空间上的积分是发散的，不满足归一化的性质。

接下来考虑用 KNN 进行分类，假设共 $N$ 个数据，其中类别为 $C_k$ 的数据有 $N_k$ 个。先对于一个新数据，其包含 $K$ 个数据的空间大小为 $V$ ，且其中 $C_k$ 类别的数据共 $K_k$ 个，则可根据贝叶斯进行类别估计：

为了让分类错误率最低，该数据点的类别由最近的 K 个数据中，最多出现的类别决定。应用该模型，可以得到如下的示例结果图：

当 K = 1 时，且 $N\rightarrow\infty$ ，K 近邻方法的错误率不高于最优分类器错误率的两倍，证明如下：

K 近邻方法与 kernel 方法一样，当平滑参数较小时，会拟合噪音；太大时，则可能丢失结构。另外这两种方法都需要固定 K 或 V，但在实际数据分布中，数据空间中的不同区域，需要不同的 K、V 选择才能实现更准确的估计，而这也是非参数估计的一种局限。

• Previous
  PRML 学习笔记（一）- 介绍 (Introduction)
• Next
  PRML 学习笔记（三）- 线性回归模型 (Linear Models for Regression)