隐马尔可夫模型HMM学习笔记

一个模型
HMM定义为$\lambda = (N,M,\pi,A,B)$

**N：**模型中马尔可夫链的状态数目$[s_1,s_2,...,s_N]$。如果记t时刻Markov链所处的状态$q_t$，那么$q_t \in (s_1,s_2,...,s_N)$。

**M：**每个状态可能输出的观测符号数目$[\theta_1,\theta_2,...,\theta_M]$。如果记t时刻Markov链所处的观测值维$O_t$，那么$O_t \in (\theta_1,\theta_2,...,\theta_M)$。

**$\pi$：**初始状态概率分布矢量，$\pi = (\pi_1,\pi_2,...,\pi_N)$。某一时刻处于某一状态的概率。$\pi = P(q_t=s_i),1 \leq i \leq N $。

**A：**状态转移概率矩阵。$A=\{ a_{ij} \}_{NN}$ 。$a_ij = P(q_{t+1}=s_j,q_t = s_i);1\leq i,j\leq N$表示两个状态之间的转移概率。

**B：**观测符号概率分布，$B = \{ b_j(k)\}_{NM}$。其中：$b_j(k) = P(O_t=V_k \mid q_i = s_j)$。对于连续HMM，B是一组观察值概率函数，即$B = \{b_j(X),j=1,2,...,N \}$。

两个假设：
齐次Markov假设：t+1时刻的隐藏状态只与t时刻的隐藏状态有关。
观察独立假设：t时刻的隐藏状态只与t时刻的观测变量有关。

三个问题：
Evaluation：当已知各个参数，如何求得某个观测序列的概率。
Learning：参数训练，EM算法（Baum-Welch）
Decoding：已知观测序列，求的参数使对应隐藏序列概率最大