月度归档：2018年03月

Speech and Language Processing-笔记(一)

发表评论

最近这大半个月的时间一直在看一本书《Speech and Language Processing (3rd ed. draft)》（完整版），不得不说这真是一本极好的书，很多概念解释的非常清楚，而且还难能可贵地引入了一些非常前沿的内容（介绍了2017年NLP领域一些比较好的学术成果），看完之后肯定能对NLP在整体上有个很好的感知。因为我没读过其他的NLP书籍，所以不好断言这是最好的入门读物，但我个人强烈推荐此书。然后再说说看完这本书的感受吧。全英文的书看起来有点小累和压抑，主要原因是里面有几个章节涉及到一些语言学（英文语法）的知识让人很头大，的确需要较大的耐心，比较沉闷和乏味吧。虽然看完之后对整个NLP领域有一个清晰的认识，但是也正因如此才感到很失落和失望。那些听起来高大上的NLP技术真的没有想得那么牛逼，比如命名实体识别（Named Entity Recoginition），人机对话（Siri，cotana，Amazon Alex），问答系统（IBM Watson），在明白了其背后的原理后才发现：这些看起来很智能的应用实际上跟智能毫无关系。底层的算法还是太过愚蠢了，本质上还是基于统计[……]

继续阅读

隐马尔可夫模型（Hidden Markov Model）

1条回复

我们先从马尔科夫模型说起。

Markov Model

马尔科夫模型（The Markov chain, sometimes called the observed Markov model）本质上是一个加权的有限状态机（weighted finite automaton），它描述了不同状态之间的转换关系以及转换概率（这里的权重就是状态转移概率）。示意图如下：
imgur
一个严格定义的马尔科夫模型由以下几个部分组成：

$$
\begin{align*}
& Q = q_1,q_2,…,q_N \\
& A = a_{01},a_{02},…,a_{nn} \\
& q_0, q_F
\end{align*}
$$

其中，

  • \(Q\)是大小为\(N\)的状态集合；
  • \(A\)是状态转移矩阵（transition probability matrix）,矩阵内的元素\(a_{ij}\)表示的是从状态\(i\)转移到状态\(j\)的概率，他们之间满足：对于任意\(i\)都有\(\sum_{j=1}^{n}a_{ij} = 1\)，也就是所有从状态\(i\)[……]

    继续阅读