7. 凸优化参数估计

# 参数估计基础

参数估计是统计学和机器学习中的核心问题，旨在从观测数据中推断未知参数的值。

1. 最大似然估计 (Maximum Likelihood Estimation, MLE)

   似然函数的定义

   假设我们有一个由参数集 $\theta$ 控制的密度函数 $f(x \mid \theta)$（通常我们已经知道 $f$ 的确切形式）。似然函数 $L$ 是通过交换 $x$ 和 $\theta$ 的角色得到的函数，即我们将 $\theta$ 视为变量，$x$ 视为给定信息：

   $$L(\theta \mid x) = f(x \mid \theta)$$

   最大似然估计的定义

   在最大似然方法中，我们试图找到参数 $\theta$ 的一个值 $g(x)$，使得对于 $X$ 中的每个 $x$，$L(\theta \mid x)$ 达到最大。这里 $g(x)$ 称为 $\theta$ 的最大似然估计量（maximum likelihood estimator）。

   独立同分布假设下的似然函数

   给定观测值 $x_1, \ldots, x_n$，$\theta$ 的似然函数为：

   $$L(\theta \mid x) = f(x_1, \ldots, x_n \mid \theta)$$

   假设这些数据是独立同分布（independent and identically distributed, i.i.d.）的，则样本的联合密度可以写为：

   $$L(\theta \mid x) = \prod_{i=1}^n f(x_i \mid \theta)$$

   对数似然函数

   根据定义，我们试图找到最可能产生观测数据的参数值，这导致优化问题：

   $$\max_{\theta \in \Theta} L(\theta \mid x)$$

   注意到自然对数函数 $\ln(\cdot)$ 是严格递增的。如果 $L(\theta \mid x)$ 的最大值存在，它将出现在与 $\ln[L(\theta \mid x)]$ 相同的点。这个函数称为对数似然函数（log likelihood function），在许多情况下比似然函数更容易处理，因为密度 $f(x \mid \theta)$ 通常具有乘积结构。

   单参数情况

   如果 $L(\theta \mid x)$ 可微，我们通过令（为什么？）

   $$\frac{\partial L(\theta \mid x)}{\partial \theta} = \frac{\partial}{\partial \theta} \prod_{i=1}^n f(x_i, \theta) = 0$$

   得到解 $\hat{\theta}$，并检查

   $$\left.\frac{\partial^2 L(\theta \mid x)}{\partial \theta^2}\right|_{\theta=\hat{\theta}} < 0$$

   多参数情况

   对于 $k$ 个参数的情况，如果 $L(\theta \mid x)$ 可微，我们通过令

   $$\frac{\partial \ln L(\theta \mid x)}{\partial \theta_j} = \frac{\partial}{\partial \theta_j} \sum_{i=1}^n \ln f(x_i, \theta) = 0, \quad j=1,2,\ldots,k$$

   得到解 $\hat{\theta}$，并检查关联的 Hessian 矩阵 $U = \{U_{ij}(\hat{\theta})\}$ 是负定的：

   $$U_{ij}(\hat{\theta}) = \left.\frac{\partial^2 \ln L(\theta \mid x)}{\partial \theta_i \partial \theta_j}\right|_{\theta=\hat{\theta}}$$

   例子：Poisson 分布

   对于观测到的 Poisson 过程 $x_i$，其概率密度函数为：

   $$f(x \mid \lambda) = \frac{\lambda^x e^{-\lambda}}{x!}$$

   对数似然函数为：

   $$\begin{aligned} L(\theta) &= \ln\left[\prod_{i=1}^n f(x_i \mid \theta)\right] = \sum_{i=1}^n [x_i \ln \lambda - \lambda - \ln(x_i!)] \\ &= \ln \lambda \sum_{i=1}^n x_i - n\lambda - \sum_{i=1}^n \ln(x_i!) \end{aligned}$$

   研究 $L(\theta)$ 的导数，我们找到最大值：

   $$\frac{dL}{d\lambda} = \frac{1}{\lambda} \sum_{i=1}^n x_i - n = 0$$

   由于 $\left.\frac{\partial^2 l}{\partial \lambda^2}\right|_{\lambda=\hat{\lambda}} = -\frac{1}{\hat{\lambda}^2} \sum_{i=1}^n x_i < 0$，这暗示了下面的估计量：

   $$\hat{\lambda} = \frac{1}{n} \sum_{i=1}^n x_i$$

   即 Poisson 分布参数 $\lambda$ 的最大似然估计是样本均值。

   例子：正态分布

   对于观测过程 $x_i$，假设其服从正态分布：

   $$f(x \mid \mu, \sigma) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

   在 i.i.d. 假设下，对数似然函数为：

   $$\ln L(\mu, \sigma \mid x) = -\frac{n}{2}\ln(2\pi) - n\ln\sigma - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2$$

   对 $\mu$ 和 $\sigma$ 求偏导并令其为零，可以得到：

   $$\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i, \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \hat{\mu})^2$$

   即正态分布的均值和方差的最大似然估计分别是样本均值和样本方差。

2. 带独立同分布噪声的线性测量 (Linear Measurements with iid Noise)

   考虑线性测量模型：

   $$y_i = a_i^T x + v_i, \quad i = 1, \ldots, m$$

   其中 $x \in \mathbb{R}^n$ 是未知参数向量，$a_i \in \mathbb{R}^n$ 是已知的测量向量，$v_i$ 是独立同分布的噪声项。

   高斯噪声情况

   如果噪声 $v_i \sim \mathcal{N}(0, \sigma^2)$ 是独立同分布的高斯噪声，则观测 $y_i$ 的条件分布为：

   $$y_i \mid x \sim \mathcal{N}(a_i^T x, \sigma^2)$$

   对数似然函数为：

   $$\ln L(x \mid y) = -\frac{m}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^m (y_i - a_i^T x)^2$$

   最大似然估计等价于最小二乘问题：

   $$\min_x \quad \sum_{i=1}^m (y_i - a_i^T x)^2$$

   其解析解为：

   $$\hat{x} = (A^T A)^{-1} A^T y$$

   其中 $A = [a_1, \ldots, a_m]^T$，$y = [y_1, \ldots, y_m]^T$。

   一般噪声分布

   对于一般的噪声分布 $f_v(v)$，最大似然估计为：

   $$\max_x \quad \sum_{i=1}^m \ln f_v(y_i - a_i^T x)$$

   这通常是一个凸优化问题（如果 $-\ln f_v$ 是凸函数）。

3. 带独立同分布噪声的非线性测量 (Nonlinear Measurements with iid Noise)

   考虑非线性测量模型：

   $$y_i = h_i(x) + v_i, \quad i = 1, \ldots, m$$

   其中 $h_i: \mathbb{R}^n \to \mathbb{R}$ 是非线性函数，$v_i$ 是独立同分布的噪声项。

   最大似然估计

   如果噪声 $v_i$ 的概率密度函数为 $f_v(v)$，则最大似然估计为：

   $$\max_x \quad \sum_{i=1}^m \ln f_v(y_i - h_i(x))$$

   高斯噪声情况

   如果噪声是高斯噪声 $v_i \sim \mathcal{N}(0, \sigma^2)$，则最大似然估计等价于非线性最小二乘问题：

   $$\min_x \quad \sum_{i=1}^m (y_i - h_i(x))^2$$

   这通常是一个非凸优化问题，需要使用迭代优化方法（如 Gauss-Newton 方法、Levenberg-Marquardt 方法等）求解。

   凸优化情况

   如果 $h_i$ 是仿射函数，或者问题可以转化为凸优化问题，则可以使用凸优化方法求解。

# EM 估计

EM（Expectation-Maximization）算法是一种用于从不完整数据中估计参数的最大似然方法。它通过迭代地执行期望步骤（E-step）和最大化步骤（M-step）来找到参数的最大似然估计。

1. 高斯混合模型参数估计 (GMM Parameter Estimation)

   高斯混合模型 (Gaussian Mixture Model, GMM)

   高斯混合模型假设数据来自 $K$ 个高斯分布的混合：

   $$p(x \mid \theta) = \sum_{k=1}^K \pi_k \mathcal{N}(x \mid \mu_k, \Sigma_k)$$

   其中：

   • $\pi_k$ 是混合权重，满足 $\sum_{k=1}^K \pi_k = 1$，$\pi_k \geq 0$
   • $\mu_k$ 是第 $k$ 个高斯分布的均值
   • $\Sigma_k$ 是第 $k$ 个高斯分布的协方差矩阵
   • $\theta = \{\pi_k, \mu_k, \Sigma_k\}_{k=1}^K$ 是参数集

   完整数据与不完整数据

   • 完整数据：如果知道每个样本 $x_i$ 来自哪个高斯分量（即隐变量 $z_i \in \{1, \ldots, K\}$），则可以直接使用最大似然估计
   • 不完整数据：在实际应用中，我们只观测到 $x_i$，不知道其对应的 $z_i$，这称为不完整数据

   隐变量模型

   引入隐变量 $z_i$ 表示样本 $x_i$ 来自哪个高斯分量：

   • $z_i = k$ 表示 $x_i$ 来自第 $k$ 个高斯分布
   • $p(z_i = k) = \pi_k$
   • $p(x_i \mid z_i = k) = \mathcal{N}(x_i \mid \mu_k, \Sigma_k)$

   对数似然函数

   对于观测数据 $X = \{x_1, \ldots, x_N\}$，对数似然函数为：

   $$\ln p(X \mid \theta) = \sum_{i=1}^N \ln \left[\sum_{k=1}^K \pi_k \mathcal{N}(x_i \mid \mu_k, \Sigma_k)\right]$$

   由于对数内部有求和，直接最大化这个函数很困难。

2. EM 算法理论 (The Theory of EM)

   EM 算法的基本思想

   EM 算法通过引入隐变量，将不完整数据的最大似然估计问题转化为完整数据的最大似然估计问题。

   算法步骤

   E-step（期望步骤）：

   • 给定当前参数估计 $\theta^{(t)}$，计算隐变量的后验分布：

     $$q(z_i = k) = p(z_i = k \mid x_i, \theta^{(t)}) = \frac{\pi_k^{(t)} \mathcal{N}(x_i \mid \mu_k^{(t)}, \Sigma_k^{(t)})}{\sum_{j=1}^K \pi_j^{(t)} \mathcal{N}(x_i \mid \mu_j^{(t)}, \Sigma_j^{(t)})}$$

   • 这称为责任（responsibility）或后验概率

   M-step（最大化步骤）：

   • 给定隐变量的后验分布，最大化完整数据的对数似然函数的期望：

     $$\theta^{(t+1)} = \arg\max_{\theta} \mathbb{E}_{Z \mid X, \theta^{(t)}}[\ln p(X, Z \mid \theta)]$$

   • 对于 GMM，更新公式为：

     $$\begin{aligned} N_k &= \sum_{i=1}^N q(z_i = k) \\ \pi_k^{(t+1)} &= \frac{N_k}{N} \\ \mu_k^{(t+1)} &= \frac{1}{N_k} \sum_{i=1}^N q(z_i = k) x_i \\ \Sigma_k^{(t+1)} &= \frac{1}{N_k} \sum_{i=1}^N q(z_i = k) (x_i - \mu_k^{(t+1)})(x_i - \mu_k^{(t+1)})^T \end{aligned}$$

   算法流程

   1. 初始化参数 $\theta^{(0)}$
   2. 重复直到收敛：
      • E-step：计算 $q(z_i = k) = p(z_i = k \mid x_i, \theta^{(t)})$
      • M-step：更新参数 $\theta^{(t+1)} = \arg\max_{\theta} Q(\theta, \theta^{(t)})$
   3. 返回最终参数估计 $\theta^*$

   辅助函数 $Q(\theta, \theta^{(t)})$

   EM 算法最大化辅助函数（也称为 Q 函数）：

   $$Q(\theta, \theta^{(t)}) = \mathbb{E}_{Z \mid X, \theta^{(t)}}[\ln p(X, Z \mid \theta)]$$

   这个函数是完整数据对数似然函数关于隐变量后验分布的期望。

3. EM 算法的理论保证

   单调性定理

   EM 算法保证对数似然函数在每次迭代中单调递增：

   $$\ln p(X \mid \theta^{(t+1)}) \geq \ln p(X \mid \theta^{(t)})$$

   证明思路

   通过 Jensen 不等式和 KL 散度的性质，可以证明：

   $$\ln p(X \mid \theta) = Q(\theta, \theta^{(t)}) - \text{KL}(q(Z) \| p(Z \mid X, \theta)) + \text{const}$$

   其中 $q(Z) = p(Z \mid X, \theta^{(t)})$。由于 KL 散度非负，最大化 $Q(\theta, \theta^{(t)})$ 会使得对数似然函数增加。

   收敛性

   • EM 算法保证收敛到局部最大值（不是全局最大值）
   • 收敛速度通常是线性的
   • 收敛速度取决于数据的信息量和初始值的选择

4. EM 算法的优势与局限性

   优势

   • 适用于不完整数据的参数估计
   • 算法简单，易于实现
   • 保证对数似然函数单调递增
   • 适用于多种概率模型（GMM、隐马尔可夫模型等）

   局限性

   • 只能找到局部最优解，不能保证全局最优
   • 收敛速度可能较慢
   • 对初始值敏感
   • 需要知道隐变量的形式

5. EM 算法的应用

   高斯混合模型

   • 聚类分析
   • 密度估计
   • 图像分割

   隐马尔可夫模型 (HMM)

   • 语音识别
   • 序列标注

   其他应用

   • 因子分析
   • 主成分分析（概率 PCA）
   • 缺失数据填充

6. EM 算法的变种

   广义 EM 算法 (Generalized EM)

   • M-step 不需要完全最大化，只需要增加 Q 函数即可

   增量 EM 算法

   • 每次只处理一个或少量样本
   • 适用于在线学习场景

   变分 EM 算法

   • 使用变分推断近似后验分布
   • 适用于复杂模型

# K-L 散度

Kullback-Leibler 散度（Kullback-Leibler Divergence，KL 散度）是衡量两个概率分布之间差异的重要工具，在信息论、统计学和机器学习中有广泛应用。

1. KL 散度的定义

   离散分布情况

   对于两个离散概率分布 $P$ 和 $Q$，KL 散度定义为：

   $$D_{KL}(P \| Q) = \sum_i P(i) \ln \frac{P(i)}{Q(i)}$$

   其中 $P(i)$ 和 $Q(i)$ 分别是分布 $P$ 和 $Q$ 在事件 $i$ 上的概率。

   连续分布情况

   对于两个连续概率分布 $p(x)$ 和 $q(x)$，KL 散度定义为：

   $$D_{KL}(P \| Q) = \int p(x) \ln \frac{p(x)}{q(x)} dx$$

   条件 KL 散度

   对于条件分布，条件 KL 散度定义为：

   $$D_{KL}(P(Y \mid X) \| Q(Y \mid X)) = \mathbb{E}_{X \sim P(X)} \left[ \int p(y \mid x) \ln \frac{p(y \mid x)}{q(y \mid x)} dy \right]$$

2. KL 散度的性质

   非负性

   • KL 散度总是非负的：$D_{KL}(P \| Q) \geq 0$
   • 等号成立当且仅当 $P = Q$（几乎处处）
   • 这可以通过 Gibbs 不等式或 Jensen 不等式证明

   非对称性

   • KL 散度不是对称的：$D_{KL}(P \| Q) \neq D_{KL}(Q \| P)$
   • 因此 KL 散度不是真正的距离度量（不满足三角不等式）
   • 有时使用对称版本：$D_{KL}(P \| Q) + D_{KL}(Q \| P)$

   不满足三角不等式

   • KL 散度不满足距离的三角不等式
   • 因此不是真正的度量（metric）

3. KL 散度的解释

   信息论解释

   • KL 散度可以理解为：使用分布 $Q$ 来编码来自分布 $P$ 的数据所需的额外比特数
   • $D_{KL}(P \| Q)$ 衡量了用 $Q$ 近似 $P$ 的信息损失

   统计学解释

   • KL 散度衡量了两个概率分布之间的"距离"
   • 在最大似然估计中，最小化 KL 散度等价于最大化似然函数

4. KL 散度在 EM 算法中的应用

   在 EM 算法中，KL 散度用于证明算法的单调性：

   $$\ln p(X \mid \theta) = Q(\theta, \theta^{(t)}) - D_{KL}(q(Z) \| p(Z \mid X, \theta)) + \text{const}$$

   其中 $q(Z) = p(Z \mid X, \theta^{(t)})$。由于 KL 散度非负，最大化 $Q(\theta, \theta^{(t)})$ 会使得对数似然函数增加。

5. KL 散度的应用

   变分推断

   • 在变分贝叶斯方法中，通过最小化 KL 散度来近似后验分布

   模型选择

   • 用于比较不同模型的拟合优度

   信息论

   • 衡量信息量和编码效率

# 概率主成分分析 PPCA

概率主成分分析（Probabilistic Principal Component Analysis, PPCA）是主成分分析（PCA）的概率扩展，提供了 PCA 的概率解释和更灵活的框架。

1. PPCA 的模型

   生成模型

   PPCA 假设观测数据 $x \in \mathbb{R}^D$ 由低维隐变量 $z \in \mathbb{R}^M$（$M < D$）通过线性变换生成：

   $$x = Wz + \mu + \epsilon$$

   其中：

   • $W \in \mathbb{R}^{D \times M}$ 是载荷矩阵（loading matrix）
   • $\mu \in \mathbb{R}^D$ 是均值向量
   • $z \sim \mathcal{N}(0, I_M)$ 是隐变量（潜在变量）
   • $\epsilon \sim \mathcal{N}(0, \sigma^2 I_D)$ 是噪声项

   概率分布

   给定隐变量 $z$，观测变量 $x$ 的条件分布为：

   $$p(x \mid z) = \mathcal{N}(x \mid Wz + \mu, \sigma^2 I_D)$$

   隐变量的先验分布为：

   $$p(z) = \mathcal{N}(z \mid 0, I_M)$$

   观测变量的边缘分布为：

   $$p(x) = \int p(x \mid z) p(z) dz = \mathcal{N}(x \mid \mu, WW^T + \sigma^2 I_D)$$

2. PPCA 与 PCA 的关系

   最大似然估计

   对于观测数据 $X = \{x_1, \ldots, x_N\}$，PPCA 的参数可以通过最大似然估计得到：

   $$\max_{W, \mu, \sigma^2} \quad \ln p(X \mid W, \mu, \sigma^2)$$

   与 PCA 的等价性

   当噪声方差 $\sigma^2 \to 0$ 时，PPCA 的最大似然解收敛到标准 PCA：

   • $W$ 的列向量是数据协方差矩阵的前 $M$ 个主特征向量
   • $\mu$ 是数据的样本均值

   优势

   • PPCA 提供了 PCA 的概率解释
   • 可以处理缺失数据
   • 可以自然地扩展到更复杂的模型（如因子分析）

3. PPCA 的参数估计

   EM 算法求解

   PPCA 可以使用 EM 算法求解：

   E-step：计算隐变量的后验分布

   $$p(z \mid x) = \mathcal{N}(z \mid M^{-1}W^T(x - \mu), \sigma^2 M^{-1})$$

   其中 $M = W^T W + \sigma^2 I_M$。

   M-step：更新参数

   $$\begin{aligned} W^{(t+1)} &= \left[\sum_{i=1}^N (x_i - \mu^{(t)}) \mathbb{E}[z_i \mid x_i]^T\right] \left[\sum_{i=1}^N \mathbb{E}[z_i z_i^T \mid x_i]\right]^{-1} \\ \mu^{(t+1)} &= \frac{1}{N} \sum_{i=1}^N x_i \\ \sigma^{2(t+1)} &= \frac{1}{ND} \sum_{i=1}^N \left[\|x_i - \mu^{(t+1)}\|^2 - 2\mathbb{E}[z_i \mid x_i]^T W^{(t+1)T}(x_i - \mu^{(t+1)}) + \text{tr}(\mathbb{E}[z_i z_i^T \mid x_i] W^{(t+1)T} W^{(t+1)})\right] \end{aligned}$$

   解析解

   对于 PPCA，存在解析的最大似然解：

   • $W = U_M (\Lambda_M - \sigma^2 I_M)^{1/2} R$
   • 其中 $U_M$ 是数据协方差矩阵的前 $M$ 个特征向量
   • $\Lambda_M$ 是对应的特征值矩阵
   • $R$ 是任意正交矩阵
   • $\sigma^2 = \frac{1}{D-M} \sum_{i=M+1}^D \lambda_i$

4. PPCA 的应用

   • 降维：与 PCA 类似，用于数据降维
   • 缺失数据填充：利用概率模型处理缺失值
   • 数据生成：可以生成新的数据样本
   • 异常检测：利用概率模型检测异常值

# 联合估计

联合估计（Joint Estimation）是指同时估计多个相关参数的问题，在测试任务难度估计和测试者排名等应用中有重要作用。

1. 联合估计问题

   问题设定

   考虑联合估计问题：同时估计测试任务的难度参数 $\{\alpha_i\}_{i=1}^m$ 和测试者的能力参数 $\{\beta_j\}_{j=1}^n$。

   观测数据

   观测数据为 $x_{i,j} \in \{0, 1\}$，表示测试者 $j$ 在任务 $i$ 上的表现（成功或失败）。

   概率模型

   假设每个测试者-任务对 $(i, j)$ 有一个潜在的成功概率 $\theta_{i,j} \in [0, 1]$，且 $\theta_{i,j}$ 服从 Beta 分布：

   $$\theta_{i,j} \sim \text{Beta}(\alpha_i, \beta_j)$$

   观测数据 $x_{i,j}$ 服从伯努利分布：

   $$x_{i,j} \mid \theta_{i,j} \sim \text{Bernoulli}(\theta_{i,j})$$

   边缘分布

   通过积分消除隐变量 $\theta_{i,j}$，得到 $x_{i,j}$ 的边缘分布：

   $$\begin{aligned} f(x_{i,j} \mid \alpha_i, \beta_j) &= \int_0^1 f(x_{i,j} \mid \theta_{i,j}) \pi(\theta_{i,j} \mid \alpha_i, \beta_j) d\theta_{i,j} \\ &= \frac{\alpha_i^{x_{i,j}} \beta_j^{1-x_{i,j}}}{\alpha_i + \beta_j} \end{aligned}$$

2. 最大似然估计

   似然函数

   对于所有观测数据，似然函数为：

   $$L = \prod_{i=1}^m \prod_{j=1}^n f(x_{i,j} \mid \alpha_i, \beta_j) = \prod_{i=1}^m \prod_{j=1}^n \frac{\alpha_i^{x_{i,j}} \beta_j^{1-x_{i,j}}}{\alpha_i + \beta_j}$$

   对数似然函数

   对数似然函数为：

   $$\ln L = \sum_{i=1}^m \sum_{j=1}^n \left[x_{i,j} \ln \alpha_i + (1-x_{i,j}) \ln \beta_j - \ln(\alpha_i + \beta_j)\right]$$

   优化问题

   最大似然估计等价于：

   $$\max_{\alpha_i, \beta_j} \quad \ln L$$

   注意：这不是一个凸优化问题，因此需要使用迭代优化方法。

3. 坐标下降算法

   算法思想

   使用坐标下降（coordinate descent）算法来寻找局部最优参数集 $\{\alpha_i\}$ 和 $\{\beta_j\}$。

   算法步骤

   1. 固定 $\beta_j^{(k)}$：对于每个 $\alpha_i$，使用梯度下降算法数值求解局部最优解 $\alpha_i^*$，使得在 $\alpha_{r \neq i}^{(k)}, r=1,\ldots,m$ 固定且考虑 $\alpha_i > 0$ 的约束下，$\ln L(\alpha_i, \alpha_{r \neq i}^{(k)}, \beta_j^{(k)})$ 达到最大。然后设置 $\alpha_i^{(k+1)} = \alpha_i^*$。

   2. 固定 $\alpha_i^{(k)}$：对于每个 $\beta_j$，使用梯度下降算法数值求解局部最优解 $\beta_j^*$，使得在 $\beta_{r \neq j}^{(k)}, r=1,\ldots,n$ 固定且考虑 $\beta_j > 0$ 的约束下，$\ln L(\beta_j, \beta_{r \neq j}^{(k)}, \alpha_i^{(k)})$ 达到最大。然后设置 $\beta_j^{(k+1)} = \beta_j^*$。

   3. 终止条件：当所有 $\alpha_i^{(k)}$ 和 $\beta_j^{(k)}$ 收敛，或达到最大迭代次数 $k_{\max}$ 时终止。

4. 应用场景

   测试任务难度估计和测试者排名

   • 在测试数据较少时，使用 Beta 分布型的先验假设，有助于同时估计测试任务的难度和测试系统的智能程度
   • $\alpha_i$ 可以解释为任务 $i$ 的难度参数
   • $\beta_j$ 可以解释为测试者 $j$ 的能力参数
   • 通过联合估计，可以同时推断任务难度和测试者能力

   优势

   • 利用任务和测试者之间的关联信息
   • 在数据稀疏时仍能进行有效估计
   • 提供概率解释和不确定性量化