我们先从马尔科夫模型说起。
Markov Model
马尔科夫模型(The Markov chain, sometimes called the observed Markov model)本质上是一个加权的有限状态机(weighted finite automaton),它描述了不同状态之间的转换关系以及转换概率(这里的权重就是状态转移概率)。示意图如下:
一个严格定义的马尔科夫模型由以下几个部分组成:
$$
\begin{align*}
& Q = q_1,q_2,…,q_N \\
& A = a_{01},a_{02},…,a_{nn} \\
& q_0, q_F
\end{align*}
$$
其中,
- \(Q\)是大小为\(N\)的状态集合;
- \(A\)是状态转移矩阵(transition probability matrix),矩阵内的元素\(a_{ij}\)表示的是从状态\(i\)转移到状态\(j\)的概率,他们之间满足:对于任意\(i\)都有\(\sum_{j=1}^{n}a_{ij} = 1\),也就是所有从状态\(i\)[……]